应该回避据《最高人民法院关于审判人员在诉讼活动中执行回避制度若干问题的规定》第十三条第二款:“本规定所称法院其他工作人员,是指审判人员以外的在编工作人员。”
鉴于目前法院系统书记员有聘任制书记员和行政编书记员两种,上述规定的适用对象是行政编书记员。因此,原则上法院行政编书记员离职后2年内不得以律师身份担任诉讼代理人或者辩护人,终身不得担任原任职法院所审理案件的诉讼代理人或者辩护人。
如果一方代理人或辩护人曾经是该法院的聘任制书记员,与本案的审判人员之间存在其他利害关系,可能影响案件公正审理的,对方当事人可以申请审判人员回避,但是不能申请对方代理人或辩护人回避