需要具体判断您是以自己的名义与买房人签订的还是作为代理人以被代理人的名义与买方签订的,这涉及到合同效力的判断。如果您是以自己的名义与买方签订合同,那么您就不是代理人,您和对方签订的合同是有效的,对方没有按照合同约定付款的,构成违约,您可以要求对方承担违约责任并且要求解除合同。但是如果您确实是代理人,并且是以被代理人的名义与买方签订的合同,没有委托书并不一定影响代理权,如果根据外观进行判断,对方相信您是有代理权的,那么买卖合同依然有效。这时如果买方违约的,那么可以要求对方赔偿以及解除合同的就不是您,而是委托人。您作为被委托人在没有获得委托人授权的情况下是不能自行决定解除合同的。