Смотря о чем говорит. Если что-то важное, то не раздражает. Если что-то понятное, то не раздажает.
Раздражают, в первую очередь, вопросы, на которые нет смысла отвечать. Раздражают нравоучения. Раздражают разговоры ни о чем, если они не вовремя, например, когда устал или когда есть более важное или интересное занятие.