Вовсе не обязательно. Все зависит от контекста.
С детства мы усваиваем определённые нормы поведения, отклонения от которых, очень часто читаются как признаки неуважения.
Но, предположим, человек не отвечает на рукопожатие потому, что в его культуре так не принято. Или, есть люди, которые не могут выносить прикосновения к другим. Либо по ряду других причин, которые лежат глубже, чем проявление неуважения.
И вот, что получается, на чаше весов напротив своих собственных убеждений, оказываются отношения с другим.
Некоторым проще пожать руку, потому что так положено. Кому-то, важнее отстоять свои ценности. А кто-то просто не понимает, почему это нужно делать. Нужно смотреть по конкретной ситуации