не говоря худого (дурного) слова

(да в рожу) — иноск.: не теряя времени, тотчас (перед дракой предполагается ругня)

Ср. Скучно как-то стало Никифорову, что давно жены не колотил. Пришел в кабак, да не говоря худого слова, хвать Мавру за косы...

П.И. Мельников. В лесах. 1, 9.

Ср. Ты сейчас и расщедрился. Не говоря худого слова тотчас ему десять процентов и спустил.

Мельников. На горах. 2, 2.

Ср. Но Бахус бедствиям не раз бывал начало:

Буянова толкнул, нахмурившись, дьячок,

Буянов, не терпя приветствия такого,

Задел дьячка в лицо, не говоря ни слова.

В.Л. Пушкин. Опасный сосед.

Ср. Да не найдешь слов с вами! Право, словно какая-нибудь, не говоря дурного слова, дворняжка, что лежит на сене, сама не ест сена и другим не дает.

Гоголь. Мертвые души. 1, 3. Чичиков Коробочке.

(В смысле: не в обиду будь сказано.)

См. с позволения сказать.

См. собака на сене лежит.

Источник: Толково-фразеологический словарь Михельсона на Gufo.me