Что значит быть толерантным? Позволять им быть такими, какие они есть, уважать их? Да, нужно.
Терпеть их поведение, которое вас оскорбляет или раздражает? Не факт. Если вам трудно или не хочется терпеть, не терпите, выйдите, если они у вас дома, попросите освободить помещение, прекратите разговор, надегьте наушники.