Ответ лежит в вопросе! Так и общайся с ними без юмора, серьезно беседуй о высоком и обыденном, если людям совсем не нравится твой юмор. На самом деле, вряд ли человек будет отрицательно к тебе относиться из-за пары уместных шуток даже , если их не поймет.