離婚時是否有退彩禮的說法，需依據具體情形判斷。

根據法律規定及相關司法實踐，以下情形在離婚時可退還彩禮：

雙方未辦理結婚登記手續：

如果男女雙方只是訂婚，尚未辦理結婚登記手續，那么在解除婚約時，男方有權要求女方退還彩禮。

辦理結婚登記手續后未共同生活：

即便雙方已經辦理了結婚登記手續，但如果婚后并未共同生活，那么在離婚時，男方也有權要求女方退還彩禮。這里的“共同生活”通常指的是雙方以夫妻名義共同居住，并建立起家庭關系。

婚前給付彩禮導致給付人生活困難：

如果男方因婚前給付彩禮而導致其生活陷入困難，且這種困難是依靠其個人財產和離婚時分得的財產無法維持當地基本生活水平，那么在離婚時，男方可以要求女方退還彩禮。這里的“生活困難”需要達到一定的標準，即無法維持當地基本生活水平。

需注意，后兩種情形應以雙方離婚為條件。在實際處理彩禮糾紛時，法院會綜合考慮多種因素來確定是否返還彩禮以及返還的具體數額，這些因素包括雙方共同生活時間長短、有無生育子女、彩禮數額大小、財產使用情況、雙方過錯等。因此，在處理彩禮糾紛時，建議雙方保持冷靜，通過協商或法律途徑來解決問題。

離婚時男方要求全部退還彩禮，是否需要退還，取決于具體情況。

如果雙方未辦理結婚登記手續，那么男方要求退還彩禮的訴求，人民法院應予支持，即彩禮需要退還。

如果雙方辦理了結婚登記手續，但確實沒有共同生活，在此情況下，男方要求退還彩禮，人民法院同樣應予支持，彩禮也應退還。

如果雙方辦理了結婚登記手續，并且已經共同生活，同時彩禮的給付并未導致男方生活困難，那么男方要求退還彩禮的訴求可能無法得到支持，即彩禮無需退還。

特殊情況：如果彩禮的給付導致男方生活困難，即使雙方已經共同生活并離婚，男方要求退還彩禮的訴求，在符合法律規定的情況下，也可能得到人民法院的支持。

綜上所述，是否需要退還彩禮，需要根據雙方是否辦理結婚登記手續、是否共同生活以及彩禮給付是否導致男方生活困難等具體情況來判斷。