限制人身自的行政处罚只能由谁来处罚

解析：
所谓行政处罚的设定，乃是指国家有关权力机构依据法律授予其在行政处罚立法领域内的权力分配与任命机制。
在此过程中，国务院及其授权的省、自治区、直辖市人民政府具有最终决定权，可通过法定程序赋予特定行政机关行使相关行政处罚权，然而对于涉及人身自由权益的行政处罚行为，则只能委托公安机关行使。
法律依据：
《行政诉讼法》第十二条
人民法院受理公民、法人或者其他组织提起的下列诉讼：
（一）对行政拘留、暂扣或者吊销许可证和执照、责令停产停业、没收违法所得、没收非法财物、罚款、警告等行政处罚不服的；
（二）对限制人身自由或者对财产的查封、扣押、冻结等行政强制措施和行政强制执行不服的；
（三）申请行政许可，行政机关拒绝或者在法定期限内不予答复，或者对行政机关作出的有关行政许可的其他决定不服的；
（四）对行政机关作出的关于确认土地、矿藏、水流、森林、山岭、草原、荒地、滩涂、海域等自然资源的所有权或者使用权的决定不服的；
（五）对征收、征用决定及其补偿决定不服的；
（六）申请行政机关履行保护人身权、财产权等合法权益的法定职责，行政机关拒绝履行或者不予答复的；
（七）认为行政机关侵犯其经营自主权或者农村土地承包经营权、农村土地经营权的；
（八）认为行政机关滥用行政权力排除或者限制竞争的；
（九）认为行政机关违法集资、摊派费用或者违法要求履行其他义务的；
（十）认为行政机关没有依法支付抚恤金、最低生活保障待遇或者社会保险待遇的；
（十一）认为行政机关不依法履行、未按照约定履行或者违法变更、解除政府特许经营协议、土地房屋征收补偿协议等协议的；
（十二）认为行政机关侵犯其他人身权、财产权等合法权益的。
除前款规定外，人民法院受理法律、法规规定可以提起诉讼的其他行政案件。
（六）申请行政机关履行保护人身权、财产权等合法权益的法定职责，行政机关拒绝履行或者不予答复的；
（七）认为行政机关侵犯其经营自主权或者农村土地承包经营权、农村土地经营权的；
（八）认为行政机关滥用行政权力排除或者限制竞争的；
（九）认为行政机关违法集资、摊派费用或者违法要求履行其他义务的；
（十）认为行政机关没有依法支付抚恤金、最低生活保障待遇或者社会保险待遇的；
（十一）认为行政机关不依法履行、未按照约定履行或者违法变更、解除政府特许经营协议、土地房屋征收补偿协议等协议的；
（十二）认为行政机关侵犯其他人身权、财产权等合法权益的。
除前款规定外，人民法院受理法律、法规规定可以提起诉讼的其他行政案件。