Среднеобратный ранг

Среднеобратный ранг (MRR) — статистическая оценка откликов процесса на запросы, упорядоченных по вероятности и правильности. Характеризует эффективность информационного поиска. Обратный ранг в данном случае означает обратное число номера (ранга) первого правильного ответа в списке откликов. Среднеобратный ранг определяется как среднее обратных рангов по всем запросам Q:

$\text{MRR}=\frac{1}{|Q|}\sum _{i=1}^{|Q|}\frac{1}{{\text{rank}}_i}.$

где ${\text{rank}}_i$ означает положение первого релевантного документа для запроса i.

Обратное значение среднеобратного ранга соответствует среднему гармоническому между рангами.

Пример

Рассмотрим три запроса, которые переводят русские слова из единственного числа в родительный падеж множественного числа. Во всех случаях данного примера система делает три попытки, первые попытки считаются системой наиболее правильными:

Запрос	Ответы	Правильный ответ	Ранг	Обратный ранг
кочерга	кочерг, кочергей, кочерёг	кочерёг	3	1/3
попадья	попадь, попадей, попадьёв	попадей	2	1/2
турок	турок, турков, турчан	турок	1	1

По этим примерам мы вычисляем среднеобратный ранг как (1/3 + 1/2 + 1)/3 = 11/18 , то есть приближённо 0.61.

Если же ни один из ответов не правильный, среднеобратный ранг считается равным 0. Обратите внимание, что только первый релевантный ответ учитывается, а последующие релевантные ответы игнорируются.

См. также

• Информационный поиск
• Вопросно-ответная система

Ссылки

• Шаблон:Cite conference