杨某与男友牛某在未办理结婚登记的情况下,按照当地风俗举行了结婚仪式,并生下一子。之后,两人由于感情不和经常吵架,欲解除同居关系,但就孩子的抚养问题争执不下。请问:男女双方非法同居期间所生子女应由哪一方抚养?