我家盖房子之前,跟别人签订租赁协议,收了押金6.5万元,合同在房子盖好后生效,押金变为租金6万元,5000元作为滞纳金,当时约定双方有一方违约,则承担5000元的违约金责任,现在我们家房子盖好了,有别的原因想撤销合同,是不是只需返还押金之外再缴纳违约金5000元就行了?