我怕孩子被他们逼得不敢跟我走，而男方在离婚没多久就再婚了，他们一直不让孩子和我亲，

这种情况你只能向法院起诉了，要么要回孩子抚养权，要么让你去探望

虽然离异，但作为孩子的父亲不管协议上有没有关于孩子探视的权利，不过还是要征得孩子现在监护人的同意及协商。
“探视权”是指离婚后不直接抚养子女的父亲或母亲依法享有的探视子女的权利。我国2001年4月28日修改并颁布实施的《婚姻法》第三十八条规定：“离婚后，不直接抚养子女的一方有探视子女的权利，另一方有协助的义务。行使探视权利的方式、时间由当事人协商，协商不成时，由人民法院判决。一方探视子女，若危及子女身心健康的，经人民法院判决可以终止探视权。”
再者，协商不了，你可以起诉她侵害你的探视权

别担心，孩子可以慢慢来，毕竟他还小，感情是需要培养的。