我出轨方，也不算出轨，就是我经常骗他，他受够了，威胁我，说我不回去他就过来，让这个地方的人都知道

结论：你是出轨方、对方威胁你“不回去就过来闹”，这种威胁本身可能违法，要分情况应对。第一，如果对方只是口头吓唬、没实质行为，你保留聊天记录作为证据，表明你不愿继续这种关系，可明确分手、断联。第二，如果对方真的上门吵闹、跟踪、骚扰，干扰你正常生活，违反治安管理处罚法，可报警要求制止，严重的可申请人身安全保护令。第三，关于“出轨”本身，婚姻内过错方在离婚分割时可能少分，但对方不能以此暴力胁迫你。建议：把聊天记录、骚扰证据固定好；若已想结束婚姻，走协议或诉讼离婚，把过错和财产一并理清；对方以曝光、闹事相逼，属于侵权甚至敲诈边缘，别妥协、依法处理。保护自身安全放首位，必要时暂时避开、求助亲友或警方，别独自硬扛。