Если взглянуть на эти слова, можно заметить, что они стоят в разных формах. Смотри (или смари) - это форма повелительного наклонения, характерная при обращении и в совершенно нейтральных контекстах: "Смотри, какое солнце сегодня яркое!" или "Я тебе сейчас объясню. Смотри..."
Слово слышь - это редукция глагола слышишь в форме 2 лица ед.ч. Мы используем это слово, когда спрашиваем: "Ты меня слышишь?". Поэтому при обращении эта форма воспринимается грубо.
Сравните с императивной формой слушай: "Слушай, ты так изменился!". Слово не вызывает никаких негативных ассоциаций.
В конце концов, можно вспомнить Маяковского:
"Послушайте!
Ведь, если звезды зажигают —
значит — это кому-нибудь нужно?"