两个以上行政机关对行政处罚都有管辖权的由谁来进行管辖

两个以上行政机关都有管辖权的，由最先立案的行政机关管辖。
一、行政处罚的管辖规定如下：
1、行政处罚由违法行为发生地的行政机关管辖。
2、行政处罚由县级以上地方人民政府具有行政处罚权的行政机关管辖。
3、两个以上依法享有行政处罚权的实施机关如对同一行政违法案件都有管辖权，在案件管辖上发生争议，双方又协商不成的，应报请共同的上一级行政机关指定管辖。
4、对行政违法案件有管辖权的行政机关若发现相应违法行为构成犯罪的，行政机关必须依法及时将案件移送司法机关，依法追究刑事责任。违法行为经人民法院依法审判认定构成犯罪判处拘役或有期徒刑时，行政机关已经给予当事人行政拘留的，应当依法折抵相应刑期。违法行为构成犯罪，人民法院判处罚金时，行政机关已经处以罚款的，应当折抵相应罚金。
二、行政处罚的种类：
1、警告、通报批评；
2、罚款、没收违法所得、没收非法财物；
3、暂扣许可证件、降低资质等级、吊销许可证件；
4、限制开展生产经营活动、责令停产停业、责令关闭、限制从业；
5、行政拘留；
6、法律、行政法规规定的其他行政处罚。
【法律依据】
《中华人民共和国行政处罚法》第二十五条，两个以上行政机关都有管辖权的，由最先立案的行政机关管辖。
对管辖发生争议的，应当协商解决，协商不成的，报请共同的上一级行政机关指定管辖；也可以直接由共同的上一级行政机关指定管辖。