因诈骗罪被行政拘留的退还赃款后就会被拘留吗

首先构成了诈骗罪的，给予的是刑事拘留而不是行政拘留。对于刑事拘留，即使退还了赃款的，也不会释放嫌疑人，除非最终经过公安机关的侦查没有充分的证据证明犯罪事实存在，检察院不批捕的，才会释放嫌疑人。
法律依据：
《刑事诉讼法》第九十一条
公安机关对被拘留的人，认为需要逮捕的，应当在拘留后的三日以内，提请人民检察院审查批准。在特殊情况下，提请审查批准的时间可以延长一日至四日。
对于流窜作案、多次作案、结伙作案的重大嫌疑分子，提请审查批准的时间可以延长至三十日。
人民检察院应当自接到公安机关提请批准逮捕书后的七日以内，作出批准逮捕或者不批准逮捕的决定。人民检察院不批准逮捕的，公安机关应当在接到通知后立即释放，并且将执行情况及时通知人民检察院。对于需要继续侦查，并且符合取保候审、监视居住条件的，依法取保候审或者监视居住。