甲盖的房子占用了邻居乙50平方米的宅基地。经村委会调整，甲、乙均签字达成协议，由甲一次给乙五千元。在甲的房子盖了一米多高时，乙反悔，不准甲建房。甲又给乙三千元后，乙才同意甲继续建房。请问：甲能否收回后支付的三千元钱？甲应如何处理？
