2017年骑自行车一位老人在过斑马线，我不小心将老人碰在地上，造成其坐骨骨裂，经过住院治疗在没有手术的情况下，老人已恢复出院，老人住院期间以及出院后的所有费用均由我承担，在老人出院后经过后续治疗现已能拄拐棍行走，为了查看伤情是否好转，并在其家属陪同下到昆明军区医院经专家候诊并无大碍，为了双方能够和解在处理赔偿事宜上发生分歧，被害人及其家属要求赔偿五万四千元，我实在无力承担，前期我就已经花费了四万多，我应该怎样处理？