可以要回。虽然口头协议也是合同的一种方式,但因为非宅基地是不能用于建房的,是违法的,所以协议内容属于无效合同。《土地管理法》第三十一条国家保护耕地,严格控制耕地转为非耕地。第六十二条农村村民一户只能拥有一处宅基地,其宅基地的面积不得超过省、自治区、直辖市规定的标准。农村村民建住宅,应当符合乡(镇)土地利用总体规划,并尽量使用原有的宅基地和村内空闲地。农村村民住宅用地,经乡(镇)人民政府审核,由县级人民政府批准;其中,涉及占用农用地的,依照本法第四十四条的规定办理审批手续。农村村民出卖、出租住房后,再申请宅基地的,不予批准。第七十四条违反本法规定,占用耕地建窑、建坟或者擅自在耕地上建房、挖砂、采石、采矿、取土等,破坏种植条件的,或者因开发土地造成土地荒漠化、盐渍化的,由县级以上人民政府土地行政主管部门责令限期改正或者治理,可以并处罚款;构成犯罪的,依法追究刑事责任。第七十七条农村村民未经批准或者采取欺骗手段骗取批准,非法占用土地建住宅的,由县级以上人民政府土地行政主管部门责令退还非法占用的土地,限期拆除在非法占用的土地上新建的房屋。超过省、自治区、直辖市规定的标准,多占的土地以非法占用土地论处。《合同法》第十条 当事人订立合同,有书面形式、口头形式和其他形式。第五十二条 有下列情形之一的,合同无效:
(一)一方以欺诈、胁迫的手段订立合同,损害国家利益;
(二)恶意串通,损害国家、集体或者第三人利益;
(三)以合法形式掩盖非法目的;
(四)损害社会公共利益;
(五)违反法律、行政法规的强制性规定。