要是有证据能表明这个借款是婚外情的女方为了自己的事儿找男方借的,并且双方把借款的事儿都清楚地约定好了,像借款的金额、还款的时间之类的,一般来说是可以要回来的。男方得拿出借款的相关证据,像借条、转账的记录之类的。
不过,如果在借款的时候没有明确说好借款是用来干什么的,还有还款的相关事宜等等,并且很难证明这个借款跟婚外情没有关系,那要回借款可能就会遇到一些困难。
从法律层面来讲,借款的关系是受民法来管理的,只要符合借款的那些条件,出借人就有权利让借款人把借款还回来。但在实际做事的时候,收集证据以及运用法律程序是特别关键的。
总而言之,能不能要回借款得根据具体的情况来确定,最好是去咨询专业的律师,这样能得到更准确的法律建议。