выбиваться из круга

ВЫБИВАТЬСЯ ИЗ КРУГА. ВЫБИТЬСЯ ИЗ КРУГА. Прост. Отставать, отходить от обычных дел, занятий. В эти дни не работала даже столовая… выбился из круга Шлёнка. Он слонялся по квартирам, тыкался в двери (Ф. Панфёров. Бруски).

Источник: Фразеологический словарь русского литературного языка на Gufo.me