Una medida complementaria es la Precisión-R, la cual corresponde al valor de la Precisión en la posición R-ésima, donde R es la cantidad de documentos relevantes para una consulta.
Suponga que un sistema retorna la siguiente salida para una consulta q cualquiera (los documentos marcados son los relevantes recuperados), donde la cantidad de documentos relevantes para q es 8.
Ahora, se calcula la Precisión en la posición R (j = 8) para obtener esta medida, resultando:
Un valor de Precisión-R de 1.0 corresponde a una recuperación con Precisión y Exhaustividad perfecta la cual – como hemos mencionado – no es una situación normalmente alcanzable.
presición-R = 4 / 8 = 0,5
Esta medida es útil para analizar un sistema según las respuestas entregadas consulta por consulta. Para ello, se ejecutan un conjunto de tareas de recuperación para |Q| queries y se calcula la Precisión-R para cada una. Luego, se promedian para obtener una medida general del sistema. Otra posibilidad es utilizar esta medida para comparar dos sistemas a través de histogramas producidos con el conjunto Q de consultas. Sean PRA(i) la Precisión-R de un sistema A y PRB(i) la Precisión-R de un sistema B, para una consulta i, se define la diferencia [Baeza-Yates, 1999]:
PRA/B(i) = PRA(i) – PRB(i)
Luego, si:
PRA(i) > 0, el sistema A supera al B
PRA(i) <>PRA(i) = 0, ambos sistemas se comportan de manera equivalente
En la siguiente tabla se muestra un ejemplo sobre 10 consultas realizadas a dos sistemas (A y B). El gráfico 7 corresponde al histograma de precisión ejemplo para los dos sistemas. Aquí se aprecia claramente la cantidad de queries en que uno superó al otro.
Si se analizan por consulta se puede observar que el sistema A superó en 6 queries al sistema B, mientras este último lo realizó en 4 oportunidades con el sistema A. Además, si se promedian las diferencias PRA(i) - PRB(i) se tendrá un valor positivo en función de lo explicado anteriormente. Esta evaluación indica que el sistema A tiene una mejor performance en la recuperación que el sistema B.
Score-F o Media Armónica
Esta medida combina la Precisión y la Exhaustividad en un único valor, también entre 0 y 1. Lo interesante de esta métrica es que un máximo valor de F corresponde al mejor compromiso entre P y E y su valor solamente será alto cuando ambas componentes tengan valores altos. Si F = 0 no se han recuperado documentos relevantes, mientras que si F = 1 se han recuperado todos los documentos relevantes (y solo estos). Entonces, la media armónica se define como:
Donde, e(j) corresponde a la Exhaustividad en el punto j y P(j) es la Precisión del j-ésimo documento.
Podemos calcular F(j) tal como:
El mejor compromiso entre E y P lo tenemos al recuperar el séptimo documento, por lo tanto es una indicación acerca de cuántas respuestas se pueden solicitar a un SRI.
Baeza-Yates, R. y Ribeiro-Neto, B. “Modern Information Retrieval”. ACM Press. Addison Wesley. 1999.
No hay comentarios.:
Publicar un comentario