我是一个离婚的女人，六年前和一个有妇之夫有了这种情人关系，期间他在我身上用掉些钱，后来他的一些...

我是一个离婚的女人，六年前和一个有妇之夫有了这种情人关系，期间他在我身上用掉些钱，后来他的一些做法让我很反感，就决定和他分手，结果他索要20万元损失，我就先给了他12万，立下字据说明是分手费，可是过了几天他又反口要30万，我就决定剩下的一分钱都不给了，即使给了他，他也不会停止对我的纠缠，现在他已经象疯子一样影响我正常的生活了，请问我该如何摆脱，我决得该用法律保护自己了