不予行政处罚也会出具行政处罚决定书吗

解析：
关于免予裁处之事项，须向当事人发出相应之决议书以及告知文书。
在特定情况下，对未经许可进行行政经营的行为，若情节轻微且能及时纠正，未产生任何实质性损害结果者，可免于行政处罚。
此外，如存在其他法定情形，亦可考虑免除处罚。
法律依据：
《行政处罚法》第三十三条
违法行为轻微并及时改正，没有造成危害后果的，不予行政处罚。
初次违法且危害后果轻微并及时改正的，可以不予行政处罚。
当事人有证据足以证明没有主观过错的，不予行政处罚。
法律、行政法规另有规定的，从其规定。
对当事人的违法行为依法不予行政处罚的，行政机关应当对当事人进行教育。