Возможно ли лишить отца ребенка права видеться с ребенком?

Исчерпывающие основания для лишения родительских прав перечислены в статье 69 ск рф. вы, конечно, можете попытаться подвести действия отца под "уклонение от выполнения обязанностей родителя", но если он платит алименты (если вы их требовали) и иногда видится с сыном, то вам это вряд ли удасться.
попробуйте установить график общения с сыном и при систематических пропусках жаловаться в органы опеки. получите доказательства уклонения от родительских обязанностей.
возможно, получится получить у лечащего врача заключение, что регулярное общение с отцом может помочь развитию ребенка, но именно регулярно, что нечастые посещения наоборот ухудшают ситуацию. но это обоюдоострое оружие, на его основе могут вынести решение как в вашу пользу, так и наоборот.