не говоря худого слова

Устар. Не вступая в пререкания, в распри. И, не говоря худого слова, сейчас за дело принялся (Салтыков-Щедрин. Недреманное око).

Источник: Фразеологический словарь русского литературного языка на Gufo.me