我离婚三年多了,我们是协议离婚的,由于是我提出的离婚我前夫说不给我小孩才和我离婚呢,所以我就没要小孩,可是我们离婚后他没有抚养过他孩子都是跟我的,现在小孩六岁了也在上学,我找过我前夫好多次我向他要回孩子并要回抚养权;他老是故意躲我,没办法是就说不给我,还有我前夫现在还是单身,可是他在吸毒,孩子的奶奶又嫁人了,像这样的情况我想要回孩子的抚养权可以吗、