二手房买卖，买方违约并且不来解除合同，卖方可以出售房屋吗？

我是卖房方，今年4月24日通过中介签了一份二手房买卖合同，当时买方交了定金1万在中介，并按合同约定3日后交另外3万定金，但是买方不想要，就不来交定金了，现在都已经过了合同约定的期限了（4月27日为交另外3万定金的期限，5月23日为交监管资金的期限，并且合同注明买方未在最后期限之后的5日内履行合同条款就算违约），于是让中介联系买方过来解除合同，但是买方就是不同意过来，我可以继续出售房屋吗？另外中介的1万订金也一直没有要回来（中介的答复是买方没有解除合同不能给定金），难道买方一直不来解除合同，我就没有办法拿回定金了吗？