请问对方捡到我三千块钱的手机，拒不交还，这该怎么处理？

肯定是违法行为。特别是遗失的钱，属于民法调解的范围，刑法在这方面没有规定具体数额。《民法通则》第九十二条规定“没有合法根据，取得不当利益，造成他人损失的，应当将取得的不当利益返还受损失的人。”捡钱获得的财产利益就是法律规定的不当利益，并会因此造成造成他人损失，应当归还。我国刑法第270条规定，侵占罪是指以非法占有为目的，将他人的交给自己保管的财物、遗忘物或者埋藏物非法占为己有，数额较大，拒不交还的行为。遗失物是失主失去对财物的控制时间相对较长，一般也不知道丢失的时间和地点，拾捡者一般不知道也难以找到丢失之人。而遗忘物，则是刚刚、暂时遗忘之物，遗忘者对之失去的控制时间相对较短，一般会很快回想起来遗忘的时间与地点，回来寻找，而捡拾者一般也知道遗忘者是谁。拒不交还，是指失主明确提出交还并举有证据，捡拾者仍不予归还。触犯侵占罪，将处二年以下有期徒刑、拘役或者罚金，数额巨大或者有其他严重情节的，处二年以上五年以下有期徒刑，并处罚金。从上面可以看出，捡到钱后及时归是合乎法规和道德的，人家说是遗忘了，达到一定的数额你不还就涉嫌犯罪了。