Query DSL TrainerBETA
Оглавление курса
Релевантность и поисковый интерфейс · 19 / 28

Как измерять качество поиска

Определим проверяемую цель ранжирования и отделим offline-метрики от поведения пользователей.

Разделов: 4Elasticsearch 9.4.3Ещё не прочитан

Чему вы научитесь

  • Набор запросов и разметка
  • Выбор метрики
  • Онлайн и регрессии

Определим проверяемую цель ранжирования и отделим offline-метрики от поведения пользователей.

Примеры course-products используют учебную схему и товар из главы 5 «Mapping и типы полей». Разборы упражнений ниже используют отдельный публичный набор тренажёра.

Логика главы
  • Набор запросов и разметка
  • Выбор метрики
  • Онлайн и регрессии

Определим проверяемую цель ранжирования и отделим offline-метрики от поведения пользователей.

Курс ориентирован на Elasticsearch 9.4.3. Разборы упражнений используют публичный набор products; остальные запросы показывают отдельные учебные индексы и могут требовать подготовки или прав, недоступных в тренажёре. Ответы сокращены, score может меняться. Для расширенных функций проверяйте лицензию и вариант развёртывания.

01 / 04

Набор запросов и разметка

Соберите запросы разных типов: точный артикул, бренд, категория, длинное описание намерения, опечатка и запрос без ответа. Эксперты оценивают полезность пары запрос–товар, а не абсолютную ценность товара. Набор делят на настройку и контроль, чтобы коэффициенты не подгонялись под известные ответы. Добавляйте запросы из реальных неудачных сценариев.

Самопроверка
02 / 04

Выбор метрики

Precision@k показывает долю полезного в верхних k, Recall — долю найденного из релевантного множества. MRR ориентирован на позицию первого полезного ответа; NDCG учитывает градации полезности и порядок. Recall трудно честно оценить без достаточно полного набора релевантных документов. Rank Evaluation API помогает воспроизводимо сравнивать запросы с разметкой, но не создаёт качественную разметку автоматически.

Самопроверка
03 / 04

Онлайн и регрессии

Клики зависят от позиции, интерфейса и привлекательности товара, поэтому CTR не равен релевантности. A/B-тест сравнивает случайно разделённую аудиторию с оговорёнными метриками и сроком наблюдения. Изменение анализатора может улучшить среднюю метрику и сломать артикулы: сохраняйте обязательные регрессионные сценарии. Проверяйте качество вместе с latency и стоимостью.

Оценки и идентификаторы здесь учебные: для полезного измерения нужна реальная разметка.

POST /course-products/_rank_eval
{
  "requests": [
    {
      "id": "headphones",
      "request": {
        "query": {
          "match": {
            "name": "headphones"
          }
        }
      },
      "ratings": [
        {
          "_index": "course-products",
          "_id": "sku-1",
          "rating": 3
        }
      ]
    }
  ],
  "metric": {
    "discounted_cumulative_gain": {
      "k": 10,
      "normalize": true
    }
  }
}

Как читать результат

Оценки и идентификаторы здесь учебные: для полезного измерения нужна реальная разметка.

Самопроверка
04 / 04

Разбор на примере каталога

Для запроса по точному артикулу первый правильный товар важнее разнообразия верхней десятки. Для общего «наушники» может быть полезна градуированная оценка нескольких подходящих вариантов. Не усредняйте эти сценарии так, чтобы улучшение популярных запросов скрывало поломку идентификаторов. Отчёт должен показывать общую метрику и ключевые сегменты. При небольшой разнице проверьте устойчивость результатов, а не объявляйте победу из-за одного изменившегося клика.

Самопроверка

Самопроверка

Сначала ответьте самостоятельно, затем раскройте объяснение.

1. Что размечает эксперт?

Полезность конкретного товара для конкретного запроса.

2. Когда полезен MRR?

Когда важен первый правильный или полезный результат.

3. Что учитывает NDCG?

Порядок и градуированную релевантность с большим весом верхних позиций.

4. Почему CTR недостаточно?

Он зависит от позиции и интерфейса, а не только от качества поиска.

5. Зачем контрольный набор?

Чтобы обнаружить переобучение настроек на известные примеры.

Ситуационный разбор модуля: Релевантность и поисковый интерфейс

После добавления числа продаж популярные аксессуары обошли подходящие товары. Предложите нормализацию сигнала и проверку на размеченных запросах. Затем опишите пагинацию, которая не дублирует результаты при обновлениях каталога.

Критерии самопроверки

Сохраняются обязательные ограничения, бизнес-сигнал ограничен, сравниваются NDCG и регрессии, используются PIT и search_after со стабильной сортировкой.

Краткая памятка

  • Полезность конкретного товара для конкретного запроса.
  • Когда важен первый правильный или полезный результат.
  • Порядок и градуированную релевантность с большим весом верхних позиций.
  • Он зависит от позиции и интерфейса, а не только от качества поиска.
  • Чтобы обнаружить переобучение настроек на известные примеры.

Официальная документация

Готовы применить знания?

Подтвердите прочтение, чтобы сохранить своё место. Чтение и решение заданий учитываются отдельно в этом браузере с помощью гостевой cookie.