被撤销的治安处罚公安机关如何处理？

结论：
行政处罚决定被撤销后，对于已经交纳的罚款，收取罚款的行政机关要退回。
解析：
公安分局以执法监督委员会的名义撤销此行政处罚是不合法的。我们暂且不论公安分局的处罚是否合理合法，但公安机关应当告知当事人不服治安处罚申请复议（申诉）的期限是六十日，六十日之后，当事人无权再提起申诉。因为法律有其合理性和安定性，在法的合理性和安定性之间，安定性优先。
法律依据：
《中华人民共和国行政复议法》
第二十八条?行政复议机关负责法制工作的机构应当对被申请人作出的具体行政行为进行审查，提出意见，经行政复议机关的负责人同意或者集体讨论通过后，按照下列规定作出行政复议决定:
(一)具体行政行为认定事实清楚，证据确凿，适用依据正确，程序合法，内容适当的，决定维持;
(二)被申请人不履行法定职责的，决定其在一定期限内履行;
(三)具体行政行为有下列情形之一的，决定撤销、变更或者确认该具体行政行为违法;决定撤销或者确认该具体行政行为违法的，可以责令被申请人在一定期限内重新作出具体行政行为:
1.主要事实不清、证据不足的;
2.适用依据错误的;
3.违反法定程序的;
4.超越或者滥用职权的;
5.具体行政行为明显不当的。
(四)被申请人不按照本法第二十三条的规定提出书面答复、提交当初作出具体行政行为的证据、依据和其他有关材料的，视为该具体行政行为没有证据、依据，决定撤销该具体行政行为。