Могу предположить, что императив "смотри" воспринимается нейтрально в большей степени мужской аудиторией, поскольку мужской психологии более свойственно визуальное восприятие действительности. Чтобы лучше понять, мужчина предпочитает увидеть.))) А вариант "слышь" (просторечная форма) воспринимается как дополнительный приказ тем,кто не увидел, то есть не понял. Отсюда и негативность в экспрессии. Не так ли?))
Наверное, просто из-за ассоциации. Мы часто слышим такое слово в фильмах, где оно употребляется именно в таком контексте. Да и звучит само по себе оно немного грозно, я считаю
Ответ недостоверен и не отвечает на заданный вопрос.