Влияет в любом случае. Если подключена статистика или Я.Вебмастер, то будет заметно, что растёт общая посещаемость и растут "поведенческие факторы" (откуда пришли посетители и как просматривали сайт). А любой органический трафик сайта влияет на выдачу. Сайты давно оцениваются с обоих сторон - и со стороны поиска (+поиска по картам и справочнику), и со стороны самого сайта (статистики его посещений).
Плохие отзывы на карте -> не показывают карточку компании -> снижение органического трафика -> снижение (отсутствие) дополнительных показателей поведенческих факторов сайта -> понижение позиций