Para la construcción de estas calificaciones usan dos clases de datos: promedio y desviación estandar; algunos una tercera clase, el coeficiente de variación. Pero. ¿acaso serán apropiados estos estadisticos? ¿Que tan relevante puede ser usar esta información para las instituciones?
Es bien sabido que el ICFES publica para todas las personas interesadas los resultados consolidados de las pruebas SABER 11. Estos resultados constan de la estimación del promedio y de la desviación estandar para cada una de las áreas evaluadas de los colegios que presentan el test. Algunas empresas dedicadas a evaluación educativa usan esta información con el fín de definir rankings de las instituciones. De por si, solo hecho de determinar un ranking a las instittuciones es algo osado, teniendo en cuenta que se calculan sobre promedios y que no hay concenso en la determinación de los coeficientes de ponderación; es mas, a la luz de la naturaleza de los datos es imposible determinar con certeza estadística si un valor de rankeo corresponde acertadamente a la poblacion valorada.
Algunas empresas no solo usan el promedio para la generación de rankings sino que a partir de ellos generan coeficientes de variación para definir "los mejores colegios" del pais. Este coeficiente se calcula dividiendola desviación estandar en el valor absoluto de la media:
Con base en este estadístico definen un desempeño óptimo como un valor pequeño y un mal desempeño como un valor alto.
Respecto al uso del coeficiente de variación tenemos dos observaciones sobre porque no deberia ser usado para rankings de colegios con resultados de la prueba SABER.
- No necesariamente indican un buen desempeño: Supongamos dos colegios, uno con bajo puntaje en donde los resultados en cada area son muy similares (promedio=30;SD=2) y un colegio con mejor desempeño pero con mayor variabilidad en las áreas (promedio=60;SD=4). El cálculo del coeficiente de variación para estos dos colegios será el mismo (CV=0.0667) pero claramente el segundo colegio muestra un mejor desempeño.
- Suponemos que los datos son normales: Si en realidad queremos usar estos datos para hacer inferencias estadísticas de la población, asumimos que la distribución de los datos es normal, es decir que siguen esta distribución de probabilidad. Una de las condiciones para poder hacer comparaciones entre colegios es que la desviación estandar debe ser igual para todos los colegios; si es así comparar coeficientes de variacion es lo mismo que comparar promedios, por lo que este índice se vuelve redundante e inncecesario. Este índice suele usarse para evaluar la variabilidad de otro tipo de distribuciones como las exponenciales donde la media es igual a desviación estandar y el uso de este si tiene un sentido mas práctico.
Esperamos la comunidad educativa no se deje deslumbar por números rimbonbantes y aparentemente deslumbradores sin ser críticos ante ellos. No importa cuantas estimaciones hagamos de nuestros datos si estas no responden de manera confiable nuestras preguntas. Lo importante mas que la cantidad (saturando el medio de datos inutiles) es la calidad, porque solo así podremos dar aportes significativos a la mejora de la calidad educativa.
Séneca, siempre comprometido con una verdadera calidad de la educación a partir del ejercicio evaluativo.
