我家是在农村里，九几年我家从旧屋搬出田地外面建好的房子，当时只有我们一家在那里，为了方便出入，我家用地和钱跟人家换地和买地修建一条泥路，后来零八年左右时间，有一户人家在我家旁边建房子住，当时他们是没有路的，都是走我家修好的路，现在有政策可以修水泥路，自己家要出一些钱，其余的是政府出钱帮修路，我家叫他家出三千块都不出，后来我家不要他做份，他家说这条路他家也有份，还跑来我家骂人，骂得特别难听，就是侮辱人那种语言，说我家反骨，还想打人，最后我家找他的在外地做生意，工作的兄弟回来沟通，我在想，肯定他的兄弟帮他出主意，当时他家当着大家的面说，不做份了，不参与了，而现在他家又反悔说他家有份，还说我家自己修好水泥路，他家就把路搞烂掉。我家现在不想让步了，就是不想给他家走这条路了，这种情况我家该怎么办呢？