我家是农村的,2010年我家和大队签订了租赁合同,租了我家房子后面的荒地使用年限二十年,由于没有规划好,我家先垒起来围墙,但前两天邻居趁家里每人的时候,拆了围墙进去种菜,他说荒地谁都可以种菜,他很不讲理,村委会调解不了,我想起诉,请问他侵犯了我什么权利