你邻居的行为显然侵犯了你的相邻权,他的做法是不妥当,不合法的。
根据《民法通则》第八十三条:不动产的相邻各方,应当按照有利生产、方便生活、团结互助、公平合理的精神,正确处理截水、排水、通行、通风、采光等方面的相邻关系。给相邻方造成妨碍或者损失的,应当停止侵害,排除妨碍,赔偿损失。
第一种途径,你可以邻居的行为对你的通行权长期造成影响,并且经常谩骂、侮辱你,你可以依据《民法通则》第83条向法院起诉,但是要注重收集证据,不过实践中,就算判你胜诉了,也未必能得到落实,法官处理这个问题也比较棘手,而且诉讼成本比较高。
第二种方式,我觉得你还是找当地的村委会多出面协调几次吧,让他们多做你邻居的思想工作,村委会解决不了,你就找村委会的上级主管部门。