男方的彩礼在离婚时是否退回需要根据具体情况判断。一般来说，存在以下几种情形：
1. 双方未办理结婚登记手续的，这种情况下，彩礼通常需要退回。因为给付彩礼的目的是为了结婚，既然没有办理结婚登记，给付彩礼的基础就不存在了，所以女方应当返还彩礼。
2. 双方办理结婚登记手续但确未共同生活的，离婚时可以要求退回彩礼。虽然办理了结婚登记，但如果实际上并没有共同生活，那么彩礼给付的目的没有完全实现，男方有权要求返还。
3. 婚前给付并导致给付人生活困难的，离婚时也可以要求退回彩礼。这里的生活困难是指依靠个人财产和离婚时分得的财产无法维持当地基本生活水平。
如果符合上述情形之一，男方可以先和女方协商退回彩礼的事宜。若协商不成，男方可以向法院提起诉讼，请求法院判决女方返还彩礼。在诉讼过程中，男方需要提供证据证明自己的主张，比如彩礼的给付金额、给付方式等。
《最高人民法院关于适用《中华人民共和国民法典》婚姻家庭编的解释（一）》第五条规定了上述三种应当返还彩礼的情形。该规定是基于公平原则和社会公序良俗制定的。彩礼在很多地区是一种传统习俗，但如果因为彩礼问题导致一方权益受到严重损害，就需要法律进行调整。
对于“双方办理结婚登记手续但确未共同生活”和“婚前给付并导致给付人生活困难”这两种情形，需要以双方离婚为条件。这是因为婚姻关系的解除是判断是否返还彩礼的一个重要节点。
在司法实践中，法院会综合考虑各种因素来确定是否返还彩礼以及返还的具体数额。比如双方共同生活的时间长短、彩礼的使用情况、双方的过错程度等。法律在处理彩礼返还问题时，既要保护给付方的合法权益，也要考虑到接受方的实际情况，以达到公平合理的结果。
