可不予支付佣金,但需要酌情支付房产中介在居间过程中所花费的人力、物力等必要费用。居间合同是居间向委托人报告订立合同的机会或者提供订立合同的媒介服务,委托人支付报酬的合同。你与卖房人虽然在中介的居间下签订了房屋买卖中介合同,但之后买卖双方自愿终止了该房屋的买卖,房屋买卖中介合同虽载有房屋交易的一些条款,但并不影响交易双方此后对签订房屋买卖合同的进一步磋商,故该协议并非双方对于房屋买卖合同中权利义务的最终确认,房屋买卖合同未成立,也不必支付佣金。但居间人为促成合同成立,可以要求委托人支付从事居间活动支出的必要费用。