先要分清两件事:一是宅基地使用权归谁,二是协议里约定的义务是什么。
关于宅基地本身。 农村宅基地属集体所有,农户享有使用权,权属一般以宅基地使用权证、不动产权登记或村集体分配记录为准。若这块地原本登记或分配在您名下,对方占用即构成对您使用权的妨害,您可要求其停止占用、返还;若权属本身存在争议(例如双方都主张是自家的),则属于土地权属争议,通常需先向乡级或县级以上人民政府申请处理,对处理决定不服再起诉,不宜直接提起民事诉讼。
关于协议书。 对方不按协议履行,属于违约。您可依协议主张继续履行、赔偿损失,或在符合约定或法定条件时主张解除协议。若协议内容涉及宅基地互换、转让,还需注意其是否经过村集体同意、是否符合宅基地管理规定,否则协议效力本身可能被质疑。
建议的操作顺序: 第一步,找出协议书原件、宅基地权证或分配凭证、现场照片、聊天记录、转账凭证、知情人证言,固定"地是谁的""对方做了什么"两个事实;第二步,请村委会、乡镇调解组织出面协商,形成书面记录;第三步,协商不成,权属清楚的按合同纠纷起诉,权属有争议的先走政府处理程序。另需留意,合同纠纷的诉讼时效一般为三年,从您知道权利受侵害之日起算,拖延过久可能影响主张。
具体能否要回、以何种名义要回,取决于协议书的具体内容和权属凭证,建议带着材料当面咨询当地律师或法律服务所。