Человек выселен судом из квартиры

После развода с бывшей женой в нашей с ней совместной собственности осталась двухкомнатная квартира. Суд разделил квартиру по 1/2 мне и бывшей жене. Порядок пользования не определен. Бывшая жена привела туда без моего согласия сожителя, который пять лет не давал мне возможности пользоваться моей половиной квартиры. Я выселил его по суду из квартиры. Теперь он приходит к ней в гости и утверждает, что имеет на это право, хотя приставы дали ему понять, что без моего согласия он не имеет права приходить туда. Имеет ли он права приходить в квартиру без моего согласия ? Если не имеет, то что мне делать , чтоб он это понял ? С уважением, Леонид Фруслов.