Я бы ответила на вашем месте: А вы собственно кто, чтобы я вас слушался?
Если поставить под сомнение личность самого говорящего, то для вас же самого он будет восприниматься иначе - менее значимо.
Аморально становится только то, что воспринимается человеком близко к сердцу с повышенной значимостью сказавшего.