我觉得你解除担保责任协议书是有效的:你作出撤回保证承诺的意思表示时,借款10万元尚未交付,对应的借贷关系虽然成立,但并未生效,你有权请求解除担保合同。《合同法》第二百一十条规定:“自然人之间的借款合同,自贷款人提供借款时生效”。合同自其订立时成立,但民间借贷合同系实践性合同,其生效必须满足贷款人向借款人实际交付了所借款项的条件。具体到本案,你作出撤回保证承诺的意思表示时,借款10万元未实际交付,借款合同尚未生效,担保合同是主合同即借款合同的从合同,主合同尚未生效,从合同亦未生效。担保合同未生效,你作为保证人自然有权作出撤回保证承诺的意思表示,该意思表示有效。