5000元的保证金应当退还,因为派出所无权收取该5000元的保证金,也就是派出所收取此保证金没有法律依据。派出所在收取保证金、采取行政拘留并罚款时,派出所是,所采取的是行政处罚。任何行政处罚都必须有法律依据,没有法律依据的行政处罚是违法的,应予撤销。本案中,派出所收取5000元保证金,没有任何法律依据,因此依法应当返还。当然,如果行政处罚中的罚款1000元未履行,那么派出所可以退还4000元,另1000元充当罚款。这样,拘留结束后,可以要求派出所返还4000元。不过,因为是因打架被行政处罚的,所以还应当赔偿受害人的经济损失,当然,赔偿问题属于民事纠纷,派出所无权强行介入。