Могут ли забрать детей?

Я развелась и после развода у меня осталось двое детей. По суду дети остались со мной, а бывший муж и остальные родственники просто имеют право с ними видеться. Я хочу переехать жить в другой город. Если я перееду, то бывший муж, свекровь и пр. не смогут с ними видеться так часто, как им этого хотелось бы. Я детей от них скрывать не собираюсь, пусть приезжают, видятся. Но бывший муж мне угрожает этим, что если я уеду жить в другое место, то он обратиться к юристам с заявлением, что я от него скрываю детей. У меня вопрос: могут ли в таком случае у меня забрать детей?