Во-первых, не слушать. Что бы там у вас не происходило, это его поступок, его выбор, его ответственность, вы за это вины не несёте. Не надо себя грызть за то, в чём вы не виноваты.
Ну а в плане "прощать/не прощать" - тут, к сожалению, даже у самого мудрого человека не будет однозначного ответа, потому что каждая ситуация слишком сложная и слишком индивидуальная. Поэтому выбор остаётся только за вами.
Я думаю надо изменить ему за это с тремя разными парнями и признаться ему. Посмотрите на его реакцию. Это будет очень справедливо. А там уже посмотрите, стоит ли вообще продолжать.