Право на выселение мужа

Я проживаю в квартире которая принадлежит мне и моим детям. эта квартира сначала принадлежала моей матери. я согласилась на приватизацию родительской квартиры( её получал мой отец). потом мою и доли своих детей я обменяла на эту квартиру(мамину). я не хочу чтобы здесь проживал мой бывший супруг. он никогда не был здесь не прописан не зарегистрирован. он же утверждает что я его отсюда не выселю т.к. он имеет право проживать на долях своих детей. постоянно мне угрожает что у детей больше долей и я здесь никто. имею ли я право его выселить. или надо обращаться в суд.