Именно от поттероманов я такого мнения не слышала, а вот от тех кто лишь разок фильмы посмотрел - да. Просто все главные герои с Гриффиндора, а антагонисты со Слизерина. (На Когтевране вроде из более менее значимых героев только Луна и Чжоу учились, а на Пуффендуе Седрик, Тонкс и Ньют) Потом первое что мы узнаем о факультете Пуффендуй - это слова Хагрида о том, что там только тупицы учатся. У многих эта информация и закрепилась. Просто для истории о МКВ эти два факультета были нужны меньше, чем Гриффиндор и Слизерин, но это не значит, что они не важны в контексте вселенной