Проблема в Вас разумеется - это же Ваша эмоция, и её причина исключительно в Вас. Эмоции порождаются нашими мыслями, трактовкой ситуации.
Невоможно за Вас сказать, что конкретно - там что угодно может быть. Но, в любом случае, это какие-то Ваши мысли, исходящие из каких-то Ваших же убеждений. И касается это всё добро лично Вас.
Например, убеждение: "они должны ***". А они этому не соответствуют. Мысли, уже про себя: "как они смеют так со мной", "я неудачник". А "виноваты" в этом они - вот и раздражение, которое Вы субъективно считаете "законным", "праведным гневом"... Что тоже, кстати, обусловлено убеждением, что Вы "имеете право" судить и раздражаться...
Это только схематичный пример, что там у Вас - смотрите сами.