При сильном перевесе в одну сторону (страстно читающий - не читающий совсем), человек может невольно дистанцироваться от своих антиподов, потому что в первом случае человек ценит кругозор и интеллект и не признаёт наличия высокого интеллекта без чтения, во втором случае - ценности и взгляды на познание несколько иные. Если это так, я бы рекомендовала любым способом, включая книги, изучать непохожих людей, общение с которыми не складывается, проявлять к ним живой интерес, найти в них хорошее, достоинства, которые вы поистине цените. Например, я редко читаю книги для развлечения и даже лёгкую литературу, где главной героиней будет, скажем, проститутка, я читаю для того, чтобы понять изнутри такую дамочку, ведь в реальной жизни я с ними не общаюсь и не тянет. Но это - само по себе не причина, чтобы отвергать определённую категорию людей, если их вообще стоило бы делить на категории. Противостояния не должно быть прежде всего в душе, а общение уж как сложится.
Припоминаю цитату, которую уже не смогу в точности воспроизвести, о том, что абстрактная людская масса - дураки, а каждый в отдельности заслуживает понимания. Что-то вроде этого.
Хотя вообще, всё сложнее, чем простое деление на читающих и нечитающих. Например: человек может читать страстно всё подряд, удовлетворяя познавательный интерес, а может читать только детективы, любовные романы, или даже только комиксы ради развлечения; и не факт, что много читающему человеку на пользу то, что он читает: можно глотать книги, едва ли качественно усваивая содержание (чтение без дополнительного осмысления прочитанного)… В общем куда ни хватись, всё - "зонтично" и неоднозначно.