От какого фактора в наибольшей степени зависит число отказов среди посетителей сайта?

Смотря что вы называете "отказом".

В терминологии Яндекс-метрик "отказ" это люди, которые зашли и тут же покинули сайт. Это значит, что приходят не целевые посетители, которым он не интересен, и если их много, значит никуда не годятся механизмы привлечения на сайт трафика.

В терминологии интернет-магазина отказы это люди которые уже положили товар в корзину, но не купили его. Тут нужно смотреть конкретно, но обычно так происходит из-за неудобной (негибкой) системы оплаты, либо что то не так с условиями доставки.

Ну а в просторечии отказами часто называют когда человек походил-походил по сайту, но так ничего и не купив ушел..Тут основной причиной служит "доверие". Ну, если причину с ценами не трогать, она очевидна. Маркетологи очень любят рассуждать о всяких "юзабилити" и прочих модных маркетинговых уловках, но откровенно провальных сайтов уже давно никто не делает. И конечно, хорошо, если сайт красивый и удобный. Но все таки основное - чтобы сделать покупку, посетитель должен доверять сайту. Он должен быть уверен, что за сайтом стоит солидная компания с репутацией, что ему привезут качественный товар, что его не обманут.