Где-то в глубине вы считаете, что одиночество - это ненормально, и страдать от него - удел слабых/неудачников. Когда встречается кто-то с похожим взглядом, вы видите в нем отражение своих вызывающих страдание установок.
На основании данного паттерна восприятия формируете некое требование к подобным персонажам "вы не должны жаловаться, когда мне и так плохо", лежащее в основе раздражения. То есть гнев - попытка обезопасить себя от их влияния, прекратить якобы подпитывающее боль воздействие.