我们最近买了一套房,之前不知道卖房者已与老婆离婚,买房也是与男的交易的,可是他老婆来闹,说房子有她的一半,卖房时她根本不知情,现在他来要她的一半房款,说我们的协议是无效的,这种情况下我的购房协议是无效的吗?