Можно ли выселить из квартры маминого мужа?

После смерти папы мама купила себе новую квартиру, прожив там несколько лет она снова выходит замуж, и под жестким давлением о котором она сама рассказывает прописывает нового мужа на постоянно. Из за постоянных скандалов и заявлений в полицию на этого мужа мы с ней решили составить законно договор пожизненного иждивения который я оплатила. Там прописано что этот её муж сохраняет право на пользование квартирой на условиях предусмотренных ЖКХ РФ. Если моя мама умрет, смогу ли я выписать из квартиры этого человека? Ведь квартра уже оформлена на меня, сама я без жилья. У него есть дети которые готовы забрать его к себе. Он пенсионер но работает. Спасибо за ответ.