社区矫正对象应当由谁来撤销缓刑假释

1、由人民法院撤销缓刑假释。
2、在假释考验期限内有违反法律、行政法规或者国务院有关部门关于假释的监督管理规定的行为，尚未构成新的犯罪的，社区矫正机构应当向人民法院提出撤销假释的建议，人民法院应当自收到撤销假释建议书之日起一个月内予以审核裁定。人民法院裁定撤销假释的，由公安机关将罪犯送交监狱收监。
3、法律依据：《中华人民共和国监狱法》
第三十三条 人民法院裁定假释的，监狱应当按期假释并发给假释证明书。 对被假释的罪犯，依法实行社区矫正，由社区矫正机构负责执行。被假释的罪犯，在假释考验期限内有违反法律、行政法规或者国务院有关部门关于假释的监督管理规定的行为，尚未构成新的犯罪的，社区矫正机构应当向人民法院提出撤销假释的建议，人民法院应当自收到撤销假释建议书之日起一个月内予以审核裁定。人民法院裁定撤销假释的，由公安机关将罪犯送交监狱收监。