Evaluación de los Sistemas de recuperación de información - 2da Parte

Partes del libro que he escrito con Gabriel Tolosa, titulado “Introducción a la Recuperación de Información”

Evaluación de los Sistemas de recuperación de información - 2da Parte

(Ir a la 1er parte)

Para analizar estas medidas planteamos el siguiente ejemplo: Existe una colección D la cual posee 100 documentos, digamos:

D = {d₁, d₂, d₃, d₄, d₅,…,d₉₈, d₉₉, d₁₀₀}

Ahora, supóngase que para una consulta q existen 10 documentos relevantes, R:

R = {d₂, d₄₅, d₇₀, d₇₇, d₇₉, d₈₁, d₈₂, d₈₈, d₉₀, d₉₁}

A pedido del usuario, el sistema entregó los primeros 12 documentos, A, rankeados de la siguiente forma:

A = {d₇₉, d₁₀, d₉₀, d₁₃, d₂₀, d₄₅, d₆₀, d₃₀, d₇₇, d₂₁, d₈₈, d₁₀₀}

(se han resaltado los documentos pertenecientes a R, es decir, los relevantes)

Los cálculos de performance de la recuperación para un tamaño de respuesta de 12 documentos resultan:

P = 5 / 12 = 0.42

E = 5 / 10 = 0.50

Sin embargo, se puede modificar el tamaño de la respuesta a los efectos de intentar recuperar más documentos relevantes, es decir, para aumentar la exhaustividad. En tal caso, supóngase una nueva respuesta – a la misma consulta – consistente de 16 documentos, A’:

A’ = {d₇₉, d₁₀, d₉₀, d₁₃, d₂₀, d₄₅, d₆₀, d₃₀, d₇₇, d₂₁, d₈₈, d₁₀₀, d₁, d₉₁, d₂₉, d₁₀}

Entonces, resulta:

P = 6 / 16 = 0.38

E = 6 / 10 = 0.60

Y luego, se solicita una nueva respuesta, pero ahora el tamaño de la lista consiste de 20 documentos, A’’:

A’’ = {d₇₉, d₁₀, d₉₀, d₁₃, d₂₀, d₄₅, d₆₀, d₃₀, d₇₇, d₂₁, d₈₈, d₁₀₀, d₁, d₉₁, d₂₉, d₁₁, d₈₁, d₂, d₇₀, d₈₂}

Los nuevos valores para P y E son:

P = 10 / 20 = 0.50

E = 10 / 10 = 1.00

Como se vio anteriormente, es posible evaluar la performance de un sistema bajo distintas situaciones. En nuestro caso particular hemos analizado la efectividad de un mismo sistema para una misma consulta sobre una misma colección para tres tamaños del conjunto de respuestas (12, 16 y 20).

Continuará!!!