Relevancia, Exhaustividad y Precisión
12, 07 de 2005-12-07 de 2005
Al hilo de un comentario que he hecho al post http://irsweb.blogspot.com/2005/11/utilidad-lineal.html
en el blog Recuperación de Información en la Web, me parece bueno seguir explicándome.
Las medidas clásicas de evaluación de la recuperación de información de un SRI son:
Exhaustividad = r/R
Precisión = r/T,
donde
r son los documentos relevantes recuperados,
R son los documentos relevantes que existen en el sistema y
T el total de documentos recuperados.
La base del cálculo de ambas medidas es el total de documentos relevantes. Un documento relevante es aquel que satisface la necesidad de información planteada en la búsqueda. De cara la evaluación de la recuperación la relevancia se trata de forma binaria, es decir, un documento es relevante o no relevante. Es obvio que en la vida real esto no es así, y los documentos pueden tener distintos grados de relevancia. De hecho, los modelos de recuperación de información vectoriales, ampliamente utilizados en la actualidad, superaron hace ya bastante tiempo este concepto de relevancia.
De todo esto me surge la duda de si estas medidas tal y como se utilizan en la actualidad son suficientemente buenas para evaluar la recuperación en sistemas no binarios.
Vamos a ver un ejemplo de dos evaluaciones que, a pesar de que no son iguales, nos proporcionan el mismo resultado:
En el segundo caso los documentos más relevantes nos aparecen en los primeros lugares, pero los resultados de la evaluación con Exhaustividad y Precisión son iguales.
en el blog Recuperación de Información en la Web, me parece bueno seguir explicándome.
Las medidas clásicas de evaluación de la recuperación de información de un SRI son:
Exhaustividad = r/R
Precisión = r/T,
donde
r son los documentos relevantes recuperados,
R son los documentos relevantes que existen en el sistema y
T el total de documentos recuperados.
La base del cálculo de ambas medidas es el total de documentos relevantes. Un documento relevante es aquel que satisface la necesidad de información planteada en la búsqueda. De cara la evaluación de la recuperación la relevancia se trata de forma binaria, es decir, un documento es relevante o no relevante. Es obvio que en la vida real esto no es así, y los documentos pueden tener distintos grados de relevancia. De hecho, los modelos de recuperación de información vectoriales, ampliamente utilizados en la actualidad, superaron hace ya bastante tiempo este concepto de relevancia.
De todo esto me surge la duda de si estas medidas tal y como se utilizan en la actualidad son suficientemente buenas para evaluar la recuperación en sistemas no binarios.
Vamos a ver un ejemplo de dos evaluaciones que, a pesar de que no son iguales, nos proporcionan el mismo resultado:
| Nº Doc(1) | Orden relev. | Exhaustividad | Precisión |
|---|---|---|---|
| 1 | 0 | 0 | 0 |
| 2 | 3 | 20% | 50% |
| 3 | 0 | 30% | 33% |
| 4 | 1 | 40% | 50% |
| 5 | 2 | 60% | 60% |
| 6 | 5 | 80% | 66% |
| 7 | 4 | 100% | 71% |
| 8 | 0 | 100% | 62,5% |
| 9 | 0 | 100% | 55,5% |
| 10 | 0 | 100% | 50% |
| Nº Doc(1) | Orden relev. | Exhaustividad | Precisión |
|---|---|---|---|
| 1 | 1 | 20% | 100% |
| 2 | 2 | 40% | 100% |
| 3 | 0 | 40% | 66% |
| 4 | 3 | 60% | 75% |
| 5 | 4 | 80% | 80% |
| 6 | 0 | 80% | 66% |
| 7 | 5 | 100% | 71% |
| 8 | 0 | 100% | 62,5% |
| 9 | 0 | 100% | 55,5% |
| 10 | 0 | 100% | 50% |
En el segundo caso los documentos más relevantes nos aparecen en los primeros lugares, pero los resultados de la evaluación con Exhaustividad y Precisión son iguales.
