我与妻子都是二婚，我有一儿一女，女儿归我抚养；妻子也有一儿一女，大女儿归我妻抚养，现已大学毕业，小儿子归妻子前夫抚养，妻子前到目前为止都和一直和一女子同居至今，没有拿结婚证，他们也没有再生养孩子。由于其前夫不务正业，也没有正当经济来源，造成其前夫与其同居女子关系也不和睦，从而使我妻的儿子生活也无着落，加上没有家庭温暖，现已辍学。现今我妻前夫的家庭人员及其前夫现在同居的女子都打电话让我妻抚养孩子，可是我家庭一家四口，仅靠一小店维持生计，生活也不宽容裕，面对现状，我妻精神状态十分不好，我也感无能为力。特此咨询律师，我们该怎么办？注：我妻和其前夫离婚时，由于当时其前夫一直与其现在同居女子鬼混，我妻通过法院调解离婚，净身离家。