证据不足的话应当立即释放或者变更强制措施。《刑事诉讼法》第九十四条规定:人民法院、人民检察院对于各自决定逮捕的人,公安机关对于经人民检察院批准逮捕的人,都必须在逮捕后的二十四小时以内进行讯问。在发现不应当逮捕的时候,必须立即释放,发给释放证明。
《刑事诉讼法》第九十五条规定:犯罪嫌疑人、被告人被逮捕后,人民检察院仍应当对羁押的必要性进行审查。对不需要继续羁押的,应当建议予以释放或者变更强制措施。有关机关应当在十日以内将处理情况通知人民检察院。
《刑事诉讼法》第九十六条 人民法院、人民检察院和公安机关如果发现对犯罪嫌疑人、被告人采取强制措施不当的,应当及时撤销或者变更。公安机关释放被逮捕的人或者变更逮捕措施的,应当通知原批准的人民检察院。