根据《中华人民共和国残疾人保障法》和《中华人民共和国劳动法》的相关规定,残疾人享有平等的就业权利,任何单位和个人不得歧视残疾人。如果残疾人能够胜任工作,单位不能仅因其残疾而解除劳动合同。对于您提到的这种情况,如果该残疾人能够胜任其工作,单位不能无故解除劳动合同。如果单位以他“没怎么上班”为由解除劳动合同,需要有充分的证据证明该残疾人严重违反了单位的规章制度,或者不能胜任工作,且经过调整工作岗位后仍不能胜任工作。此外,根据《劳动合同法》的规定,解除劳动合同需要遵循法定程序,包括提前通知、支付经济补偿等。如果单位违反法律规定解除劳动合同,残疾人可以向劳动争议仲裁委员会申请仲裁,维护自己的合法权益。我是济南的殷德友律师,如果仍有疑问,欢迎追问或一对一咨询。