对方违约时能要求既支付违约金又双倍返还定金吗

只能选择一种适用。
《民法典》第五百八十八条　【违约金与定金竞合时的责任】当事人既约定违约金，又约定定金的，一方违约时，对方可以选择适用违约金或者定金条款。定金不足以弥补一方违约造成的损失的，对方可以请求赔偿超过定金数额的损失。
根据该条规定，违约金条款和定金条款是不能同时适用的，当事人不得在诉讼中即主张支付违约金又要求没收定金或双倍返还定金。但是当收受定金的一方违约时，非违约方选择违约金责任后，并不影响其要求对方返还定金的权利。
因为违约金是违约方不履行合同约定的义务时应承担的责任，而定金作为债权的担保，在债务人履行债务后，应当抵作价款或者收回；在收受定金的一方违约时，定金已失去了担保给付定金一方及时履行合同义务的功能，这部分金钱本来就属于给付定金的一方所有，因而理应返还。
所以可以要求退回定金，同时支付违约金。但是要求对方双倍返还定金，这需要看具体的情况。