Как отметил коллега-церковный историк выше: крещение нельзя "отменить", однако же для возвращения в лоно Православной Церкви, не достаточно совершить некий "публичный поступок".
Согласно учению Православной Церкви
для начала, человек должен искренне покаяться и пройти Таинство Покаяния, после - Таинство Миропомазания с чином отречения, после этого его можно считать воссоединенным в общении с Церковью.
Публичное покаяние желательно, но в России, например, этого почти никто не соблюдает.