协议离婚后孩子归父亲,现在孩子的父亲不务正业,不回家,对孩子不闻不问,家中有个偏瘫的爷爷,孩子现在正在读初中,我是孩子妈妈,已再婚,学校离我家很近,我想抚养孩子,经济由孩子爷爷负担,让孩子住到了我家,我丈夫把孩子赶了出去,不让再登家门,孩子无辜,我该怎样说服丈夫,让孩子和我在一起呢?