отступить на попятный двор

[отречься, отступиться от слова (Даль, попячивать)]

см. >> отказываться, отступать