Как измеряется и улучшается качество Поиска

Яндекс целенаправленно работает над тем, чтобы Поиск работал лучше. Каждое изменение алгоритма, который формирует поисковую выдачу, должно удовлетворять принципам развития Поиска.

  1. Принципы развития Поиска
  2. Как оцениваются изменения в алгоритмах Поиска

Принципы развития Поиска

Цель Поиска — непредвзято предоставить пользователю полную, полезную и релевантную информацию в таком виде, в котором она поможет ему удобно и за минимальное время решить свою задачу.

Поисковая выдача полностью формируется машинно-обученными алгоритмами, что гарантирует непредвзятое ранжирование и представление данных. Изменить порядок результатов Поиска вручную невозможно.

Чтобы найти наиболее подходящие страницы, Поиск автоматически анализирует запрос, контент страниц и историю взаимодействия пользователей с ними, взаимосвязи между различными страницами, язык и местоположение, и многие другие факторы. Качество работы машинно-обучаемых алгоритмов ранжирования контролируется по автоматически рассчитываемым метрикам.

Для машинного обучения алгоритмов ранжирования используются автоматически собираемые данные о взаимодействии пользователей с результатами Поиска и оценки специалистов – асессоров, которые вручную размечают варианты поисковой выдачи. Оценки асессоров также используются для проверки качества сформированных алгоритмом результатов поиска с точки зрения качества и релевантности запросам. Беспристрастность асессоров гарантируется системой контролей, охватывающей их найм, обучение, инструкцию и инструменты работы. Инструкция асессоров разъясняет, как оценивать качество и релевантность документа запросу, и сформулирована таким образом, чтобы оценки были объективными. Для компенсации влияния отдельных пристрастных оценок, оценки всегда производятся с перекрытием. Кроме того, оценки никогда не используются в ранжировании напрямую, а только для машинного обучения алгоритмов ранжирования.

Все изменения системы ранжирования проходят через внедрение алгоритмов ранжирования, исключая ручное вмешательство. Все изменения наблюдаемы, за каждое установлена персональная ответственность, они автоматически проверяются метриками, построенными на основе оценок асессоров (Проксима) и данных о взаимодействии пользователей с элементами поисковой выдачи (Профицит).

С помощью Яндекса можно найти информацию, собранную из огромного количества доступных для индексации источников. Полнота индексирования информации является важнейшим приоритетом. Для каждого типа источников индексирование информации идет единообразно. Проиндексированный контент может быть удален из результатов поиска только, если страницы представляют из себя поисковый спам, могут нанести вред пользователю или нарушают применимое законодательство.

Поиск стремится экономить время пользователей, предоставляя информацию в том виде, в котором ей будет удобнее всего воспользоваться. С помощью анализа данных о взаимодействии пользователей с результатами Поиска проверяется полезность отдельных результатов и выдачи в целом. Формат и полнота представления информации определяются вероятностью решения задачи пользователя и типом представляемой информации и не зависят от конкретного источника информации.

Как оцениваются изменения в алгоритмах Поиска

Потенциальные изменения алгоритмов Поиска оцениваются двумя метриками:
  • Проксима — метрика качества страниц, которая рассчитывается на основе оценок страниц из собранной Яндексом базы (индекса) и других сигналов о качестве данных.
  • Профицит — метрика полезности выдачи, которая рассчитывается исходя из взаимодействий пользователя с Поиском.

Яндекс широко использует услуги специалистов по оценке результатов качества поиска (асессоров). Они оценивают отдельные сайты и другие элементы выдачи с точки зрения качества и релевантности. Оценки асессоров не влияют на результаты поиска напрямую, но помогают решить, насколько целесообразно то или иное изменение в алгоритме ранжирования.

Изменение, которое сочли целесообразным, проверяют с помощью онлайн-эксперимента. В таком эксперименте пользователи случайно делятся на две группы: одна группа видит новую функциональность, а другая видит текущий вариант поиска. Собрав необходимое количество данных в ходе эксперимента, специалисты Яндекса делают вывод — является ли предложенное изменение положительным для пользователей или нет. Этот вывод ориентируется на приемочные метрики качества Поиска, основной среди которых является Профицит.

Проксима

Из оценок асессоров и дополнительных сигналов строится метрика качества страниц — Проксима. Чтобы алгоритм умел более тонко различать качество страниц, Проксима учитывает множество аспектов, например:

  • релевантность страницы запросу (в том числе на экспертных оценках специалистов в разных областях);
  • вероятность решения задачи пользователя на странице и сайте;
  • качество, полезность и оригинальность контента;
  • баланс полезного и навязчивого;
  • дополнительные сигналы о качестве контента и авторитетности автора в сложных тематиках (медицина, юридические и финансовые услуги и т. п.);
  • удобство потребления контента пользователем.

Больше подробностей и примеров есть в наших рассказах про метрику Проксима на восьмой, девятой и десятой Вебмастерских. Команда продолжает развитие метрики, добавляя новые сигналы о качестве страниц и решении задач пользователей.

Профицит

Задача Профицита — измерить полезность выдачи (то, насколько быстро получается решать задачу пользователя).

Профицит учитывает качество и количество взаимодействий пользователей со всеми результатами поиска и другими элементами выдачи. При формировании поисковой выдачи выбираются форматы представления информации с более высоким предсказанным значением Профицита.

Взаимное положение и набор элементов на странице результатов поиска выстраиваются так, чтобы предсказанные для всей страницы значения Профицита и Проксимы были максимальными. Предполагаемое значение Профицита измеряется применительно к различным комбинациям элементов на странице выдачи, и элементы на странице результатов поиска выстраиваются в таком порядке, чтобы предсказанное значение Профицита было максимальным именно для такого порядка их расстановки. При расстановке элементов в другом порядке, с высокой вероятностью, итоговый рассчитанный Профицит всей выдачи будет ниже. Если фактический Профицит конкретной выдачи отличается от предсказанного значения, то алгоритм учитывает это в процессе переобучения.

Правила измерения и основные факторы, влияющие на Профицит

Профицит (и всей выдачи, и отдельного элемента) вычисляется по следующим правилам:
  • Каждое взаимодействие пользователя с элементом выдачи считается успешным или неуспешным.
  • Если взаимодействие признано успешным (это может произойти, например, если пользователь задал запрос, перешел на внешний сайт и не вернулся в Поиск продолжительное время), то метрика увеличивается на положительную величину.
  • Если же взаимодействие было признано неудачным (например, пользователь быстро вернулся на страницу с результатами поиска или пользователю пришлось переформулировать запрос, чтобы найти нужную информацию, а также если пользователь решил задачу с помощью другого элемента), то метрика уменьшается. Наибольший штраф при этом получают наиболее заметные элементы, занимающие большую площадь на выдаче и находящиеся на привлекательных для пользователя местах.
  • Если вся выдача не решила задачу пользователя и запрос пришлось переформулировать, то метрика также уменьшается.

Метрика учитывает как клики на выдаче (например, по ссылкам, по карточкам организаций, телефонным номерам), так и полностью бескликовые взаимодействия (пользователь нашел нужную информацию в фактовом ответе и другие). И те, и другие могут быть частью успешного взаимодействия, которое увеличит метрику.

Дата обновления страницы: 22.03.2024.