1、通常来讲,在这个情况里,离婚的时候彩礼不用退。《民法典》婚姻家庭编的相关司法解释有规定,要是有人想让对方返还按照习俗给的彩礼,法院在查明属于下面几种情况时,会支持返还请求。一是双方没办结婚登记手续;二是双方办了结婚登记手续,但是实际上并没有一起生活;三是婚前给彩礼,让给彩礼的一方生活变得困难。这里要注意,后两种情况得是双方离婚了才可以。
2、从你说的情况看,双方结婚都3年了,还有两个孩子。这说明他们既办了结婚登记,又一起生活,还组建家庭生儿育女,不符合前面说的要退还彩礼的法定情况。
3、当然了,如果婚前给彩礼让给彩礼的一方生活陷入困难,比如靠自己的财产和离婚时分到的财产,都没办法维持当地基本生活水平,那给彩礼的一方可以要求退还一部分彩礼。不过能不能得到法院支持,得看法官根据实际证据和具体情况来判定。