法律分析：離婚后，孩子不論由哪一方直接撫養，另一方依然對子女有撫養的義務，需要負擔部分或全部撫養費，故男方的撫養義務不能拒絕。

法律依據：《中華人民共和國民法典》

第一千零八十四條 父母與子女間的關系，不因父母離婚而消除。離婚后，子女無論由父或者母直接撫養，仍是父母雙方的子女。

離婚后，父母對于子女仍有撫養、教育、保護的權利和義務。

離婚后，不滿兩周歲的子女，以由母親直接撫養為原則。已滿兩周歲的子女，父母雙方對撫養問題協議不成的，由人民法院根據雙方的具體情況，按照最有利于未成年子女的原則判決。子女已滿八周歲的，應當尊重其真實意愿。

第一千零八十五條 離婚后，子女由一方直接撫養的，另一方應當負擔部分或者全部撫養費。負擔費用的多少和期限的長短，由雙方協議；協議不成的，由人民法院判決。

前款規定的協議或者判決，不妨礙子女在必要時向父母任何一方提出超過協議或者判決原定數額的合理要求。