李某和张某在婚姻存续期间,共同收养了一个孤儿。双方离婚后,孩子由张某抚养,李某一直没有支付孩子的抚养费。张某要求李某支付孩子的抚养费,李某以两人已经离婚,孩子由张某抚养,李某与孩子的收养关系自然解除为由拒绝。请问:养父母与养子女的收养关系是否因养父母离婚而解除?