выбиваться из круга
ВЫБИВАТЬСЯ ИЗ КРУГА. ВЫБИТЬСЯ ИЗ КРУГА. Прост. Отставать, отходить от обычных дел, занятий. В эти дни не работала даже столовая… выбился из круга Шлёнка. Он слонялся по квартирам, тыкался в двери (Ф. Панфёров. Бруски).
Фразеологический словарь русского литературного языка