По-разному, думаю, бывает. Одна из отправных точек – это мнение в духе «видеоигры – это развлечение, а развлечения – это не серьёзно, для детей, взрослые серьёзные люди такой ерундой не занимаются».
Другая находится в том, что видят так считающие люди, когда смотрят на видеоигры, в которые, к примеру, играют их дети: зачастую это именно какая-то либо развлекательная активность, либо деятельность, аналогичная тому, чем во дворовых или домашних играх занимаются. Если попросить человека описать, чем занимается его ребёнок, когда играет, то он может ответить что-то такое: «В войнушку играет, машинки гоняет, фигурки там какие-то бегают – ну понятно же, детские забавы!»
Так что причина в любом случае – отрыв от контекста, общая некомпетентность в вопросе и нежелание её повышать.