直接按照双方在离婚时的约定处理即可,因为夫妻之间的约定对双方具有法律约束力。约定房屋是个人财产就归个人所有,约定房屋是夫妻共同财产就归夫妻共同所有。
《民法典》第一千零六十五条 男女双方可以约定婚姻关系存续期间所得的财产以及婚前财产归各自所有、共同所有或者部分各自所有、部分共同所有。 约定应当采用书面形式。 没有约定或者约定不明确的,适用本法第一千零六十二条、第一千零六十三条的规定。 夫妻对婚姻关系存续期间所得的财产以及婚前财产的约定,对双方具有法律约束力。 夫妻对婚姻关系存续期间所得的财产约定归各自所有,夫或者妻一方对外所负的债务,相对人知道该约定的,以夫或者妻一方的个人财产清偿。