这得看你当时的实际情况。要是你回击的那几下儿算是正当防卫的话,而且也没超出防止自己被攻击所必须的程度,那一般来说是不用掏腰包赔给人家。但是如果你反击得太过分了,对别人造成了不应该出现的损伤,那估计得负担一定的民事赔偿责任咯。判断到底算不算正当防卫,可不是单凭你觉得怎样就可以的得把整个事情的原因、手法、强调、伤害结果等等都考虑进去才行。比如说,对方动手打得轻也好重也好,还有你反击时用的力道以及最后造成的伤害效果都是需要考虑到的要素。要是对方只轻轻地动了下手指头,而你反手就是一个大耳刮子,结果对方半天爬不起来,那你很有可能就已经超过了必要的限度。所以说到底要不要赔钱这个事儿,可不能简单地一刀切,还是要看具体发生的事实和你懂得的法律知识来做决定。