我父亲在他5周岁的时候因爷爷奶奶不喜欢我爸经常欺负他（我父亲兄弟二人，我爸是弟弟还有一姐一妹）...

我父亲在他5周岁的时候因爷爷奶奶不喜欢我爸经常欺负他（我父亲兄弟二人，我爸是弟弟还有一姐一妹）一个亲戚看我爸可怜就收养了我爸去了外县（我爷爷奶奶在村里还是比较有钱的谈不上什么养不起）到我父亲18岁的时候爷爷奶奶说想我父亲就把我爸要了回来（其实就是让我父亲回来干活的以前怎么不想），应为收养我父亲的亲戚无儿无女也跟着过来了后来我父母结婚后收养我父亲的亲戚因为身体的原因去逝了，财产由爷爷奶奶拿走了（具体多少不知道总之在农村里是可观了）后来我出生后因为家里没钱就靠父母种地勉强维持爷爷奶奶也不管我们一分钱也不给也不来看我们，我小时候母亲没奶也买不起奶粉只能喝小米粥，我爷爷当时是村里的首富，我爸找他要过钱，他说我爸不是他儿子所以就没给收养我父亲的亲戚的遗产也没给我父亲，后来家里条件好了我也大了但爷爷奶奶一直不认我这个孙子和我父亲这个儿子，把钱全给我大伯和二个姑姑了，说老了不用我们养他大儿子和二个女儿养。现在爷爷奶奶没钱了来找我父亲要钱说是赡养费不给就告我们。这样的老人法律规定我们必须养吗？我父亲说宁可进监狱都不养他们，会判什么刑？还有如果法律必须让我们养的话我父母就离婚然后把钱全部移交给我，这样我和我母亲就不用赡养爷爷奶奶了吧？