要是被打的人坚决不肯接受调解的话,那这个案子就得按正规流程走了。比如说在那种老大不小的小纠纷里头,公安局的警察他们就会看具体的事情和证据,然后决定对打人的那个人进行行政处罚之类的,比如罚点款,或者就关几天牢房什么的。但是如果被打的人受伤比较严重,也就是到了轻伤或者更厉害些的程度,那打人的那个家伙可就惨了,他也许会被认定为有意伤人,这可是个犯罪行为。这时候公安局那边就要积极地去调查取证,把材料送检察院那边去审查,看看是不是要对他提起诉讼。而检察院那边如果觉得要闹这么大,就会把案子交给法院审理。最后法院经过仔细考虑后给出判决结果。总而言之,对方有可能会受到行政处罚甚至可能触犯刑法,具体怎么处置要看老天爷怎么决定,看事情的严重性、程度,还有各种各样的证据等等。