Отмена договора купли-продажи

Пол года назад купил дачу, договор оформлялся в нотариальной конторе имеется свидетельство о собственности на руках.

При оформлении членской книжки в садовом обществе выяснилось что за прежним владельцем числиться долг, который предложили оплатить мне, так как такой договорённости не было я отказался платить его долг, а заплатил только за себя.

Садовое общество подало в суд на прежнего владельца на возмещение долга, теперь этот человек на меня обиделся и говорит что хочет отменить договор купли-продажи.

Это вообще возможно, и если да то по какой причине?