对方把钱打错到我卡里，银行工作人员又在我卡里把钱扣了，而我却不知道，这样违法吗？

这个问题要从分两种情况，如果是别人的钱银行在处理账务操作错误误打入你的账户，可以不通过你即使冲账；当然如果本来是你的钱，或者是你账户上的钱，就必须经过你本人同意。举个例子吧，比如别人给张三汇款1万元，银行操作时误存入你账户，这样的可以不经过你冲账；如果你去银行存1万元到自己账户，结果银行柜员误给你存入10万元，这时候冲账就应该经过你。
至于你账户里的钱没有你的密码谁也取不走，银行也办不到，因为密码都是加密的。

结合具体案情（细节）综合考虑，银行工作人员可能存在违规操作。

不当得利必须予以归还，用了的话得看具体金额有多大而定，对方坚持追讨而你有坚持不还的，对方可以向人民法院起诉，如果你败诉就必须得归还了，归还了基本没事了，至于其他后果，除非你不还钱，就不用考虑太多。
参考法律，《民法通则》第92条：“没有合法根据，取得不当利益，造成他人损失的，应当将取得的不当利益返还受损失的人”。《最高人民法院关予贯彻执行若干问题的意见(试行)》第131条规定：“返还的不当利益，应当包括原物和原物所生的孳息。利用不当得利所取得的其他利益扣除劳务管理费用后，应当予以收缴。”