хрен с ним (с тобой и т. п.)

Грубо-прост. Пусть будет так; можно обойтись без кого-либо или без чего-либо. Выражение уступки, согласия и т. п. с чем-либо. Взрыв был настолько сильный, что самоходку подбросило. Малешкин подбородком ткнулся в панораму и с кровью выплюнул на ладонь зуб. — Один зуб готов. — Саня посмотрел на зуб. — Хрен с ним. Не жалко. Гнилой (В. Курочкин. На войне как на войне).

Источник: Фразеологический словарь русского литературного языка на Gufo.me