我家住址位于湖南宁远县附近的农村（已经城市化了）但我家不是本村人，在20年前买房到此村（集体手续，一层平房，房屋左侧有窗户），房屋左侧是卖主的地皮，正面是马路。后来卖主把左侧的地皮卖给别人建房，并在左侧修有一条马路，直接挨着我家房子修的马路（我家房屋的左侧挨着的）方便他的买主出入。再后来2016年我家重建此房，房屋朝向、面积都变化都没有变化。而且在建房期间问过那个卖主是否可以在房屋左侧开窗户，他也答应了。建房成功期间请客他还来吃过饭。可是后来房屋装修过后，他却以左侧建房没有退后，踩了他的光为由要求给他赔偿一个窗户2000元（30个窗户）。说是他建房了也会退让给我家踩光（马路上建房谁信？）。我家说之前他答应可以开窗的，他却以没想到开这么多窗子为借口反驳。叫来了村长说是他们村他们说的算，我家不是本村的，要按他们的规矩来。反正就是要赔钱。请问这是否合法？怎么合理的解决纠纷？