PISA y COVID-19: Medición del Impacto Educativo y Validez en Investigación
Laboratorio I: PISA y la Pandemia COVID-19
Este laboratorio se enfoca en:
- Trabajar con los conceptos de enunciado e inferencia, identificando enunciados significativos y analizándolos críticamente.
- Poner en práctica un ejercicio de operacionalización, transformando un problema teórico en un problema empírico (es decir, medible y expresado en enunciados operacionales).
Fases del Problema y Enunciados
- Planteamiento del Problema: Se establece la cuestión central a investigar.
- Desprendimiento de Enunciados: A partir del concepto principal, se derivan propiedades que se expresan como enunciados. Se identifican tres grupos principales de enunciados:
- Pérdida de aprendizaje
- Políticas de cierre de escuelas
- Estrategias educativas
- Conceptualización de Enunciados: Los enunciados desprendidos corresponden a un concepto y, si fueran empíricamente contrastables, funcionarían como indicadores medibles.
Análisis Crítico de Enunciados
A continuación, se presentan ejemplos de enunciados y su evaluación respecto a su carácter empírico:
- “Son muy buenas noticias”
● Crítica: No es empírico, ya que se necesita una forma de testear el enunciado sin sacar conclusiones. - “Los resultados son comparativamente muy buenos”
● Crítica: No es empírico, requiere un método de contraste. - “Lo que muestra esta prueba PISA es que la Pandemia fue un golpazo para la educación en todo el mundo”
● Crítica: No es empírico. ¿Qué significa «golpazo»? ¡El lenguaje debe ser preciso! - “No solo en todo el mundo los puntajes caen en promedio, sino que incluso en los países ricos, en los países de la OCDE, los puntajes caen en las tres áreas que fueron evaluadas, es decir en Lectura, en Ciencias y en Matemáticas”
● Crítica: Sí, hay cómo contrastar este enunciado con datos. - “Lo que más nos permite ver esta edición de PISA es cómo nos fue en la Pandemia”
● Crítica: No es empírico, es una interpretación subjetiva. - “¿Cómo nos fue a nosotros?”, “Mejoramos en Lectura y en Ciencias”
● Crítica: La primera parte no es empírica (pregunta abierta), la segunda podría llegar a serlo si se basa en datos concretos. Las especulaciones no se pueden contrastar.
Laboratorio II: La Matriz de Datos y la Operacionalización
Este laboratorio se centra en la construcción de matrices de datos. Se parte de un concepto, como la Competencia Matemática, para derivar sus propiedades y operacionalizarlas.
Operacionalización de la Competencia Matemática
En relación con la competencia matemática, se plantean las siguientes tareas:
- ¿Qué propiedades del concepto pueden identificar?
- Realicen un esquema de operacionalización del concepto, con sus propiedades, para reflexionar: ¿cómo las medirían empíricamente? ¿A través de qué indicadores?
- Formulen una pregunta para medir cada una de las propiedades del concepto.
- Correspondiendo cada pregunta a una variable, determinen cuál es el nivel de medición de cada variable.
Pasos para la Operacionalización
Los pasos clave para este proceso son:
- Definir la competencia matemática y sus propiedades.
- Transformar el concepto en algo medible.
- Asignar niveles de medición a las variables resultantes.
Parte B: Unidades de Análisis y Matrices de Datos
1. Unidades de Análisis según Enunciados del Ministro
Se identifican las unidades de análisis (U.A.) a partir de los enunciados del ministro:
- Enunciado 1: “Evitamos que la pandemia se convirtiera en una fuente de deterioro de los aprendizajes”
● Unidad de Análisis: País (Uruguay) - Enunciado 2: “De lejos, el país que tuvo menos días cerradas las escuelas y los liceos durante la Pandemia, fue Uruguay, y eso es parte de la explicación”
● Unidad de Análisis: País (Uruguay), también Centros Educativos - Enunciado 3: “No significa que nos ha ido bien en la pandemia. Todos los problemas (los) seguimos teniendo. Por lo pronto, problemas de calidad de aprendizaje”
● Unidad de Análisis: Estudiantes - Enunciado 4: “Los más vulnerables en términos económicos, tienen peores resultados que los que están en mejor posición”.
● Unidad de Análisis: Estudiantes
2. Distribución por Matriz según Unidad de Análisis
Se propone la conformación de matrices de datos específicas para cada unidad de análisis:
- Matriz 1: País
Variables: Días sin clases, promedio PISA, gasto educativo, etc. - Matriz 2: Centros Educativos
Variables: Cantidad de días cerrados, tipo de gestión, recursos, conectividad. - Matriz 3: Estudiantes
Variables: Nivel socioeconómico, resultado PISA, acceso a dispositivos, etc.
3. ¿Cuántas matrices se han conformado?
Se ha conformado una matriz por cada enunciado que implica una unidad de análisis distinta.
4. ¿Cómo combinar las matrices?
Para combinar las matrices, estas deben compartir la misma Unidad de Análisis (U.A.).
5. Crítica Metodológica Inicial
Se identifican los siguientes puntos críticos en la operacionalización:
- Algunas variables, como “evitamos el deterioro”, son más valorativas o generales, lo que las hace difíciles de medir directamente.
- La variable “calidad del aprendizaje” debe operacionalizarse con indicadores precisos (como puntaje PISA o logros en competencias).
6. Variables Adicionales Necesarias
Para una comprensión más completa, se sugiere incluir variables como:
- Acceso a internet
- Tiempo dedicado al estudio en pandemia
- Nivel educativo de los padres
Laboratorio III: Validez de las Inferencias
Este laboratorio se enfoca en la evaluación de la validez de las inferencias a partir de los datos disponibles.
Enunciados a Evaluar
- Enunciado n° 1: «En el mundo la caída es de 20 puntos en Matemática, es decir, más del doble de la caída que hay en Uruguay.»
- Enunciado n° 2: «Lo que podemos decir es que a Uruguay le fue mucho mejor que al resto de América Latina y al mismo tiempo ocurre que Uruguay es el país que tuvo menos días cerrados los centros educativos. Parece probable que haya un vínculo entre esas dos cosas.»
Cuestionamientos sobre la Suficiencia y Validez de los Datos
a) ¿Cuentan con información suficiente para analizar el Enunciado n° 1?
Con el enunciado por sí solo no; con más información para comparar, sí.
b) ¿Qué variables son los indicadores para someter a una prueba empírica este enunciado?
Pueden ser los resultados de las pruebas PISA, como, por ejemplo, el puntaje en Lengua. En el Laboratorio II operacionalizamos el concepto de competencia matemática. Sin embargo, el Enunciado I refiere a una caída del aprendizaje/competencia.
c) ¿Son suficientes las medidas incluidas en la matriz para evaluar “caída»? ¿Por qué? ¿Qué debería agregarse?
Algunas no son suficientes, ya que la prueba PISA no se realiza en todos los países. Deberían agregarse datos comparables de todos los países relevantes.
d) ¿Con qué problemas de validez se vinculan las medidas insuficientes?
Las medidas insuficientes se vinculan con problemas de validez de constructo (no se mide adecuadamente el concepto de «caída») y validez externa (la capacidad de generalizar los hallazgos a otros contextos o poblaciones).
e) ¿Qué debería observar en sus datos en concreto para afirmar que hubo una “caída” de aprendizajes?
Para afirmar una «caída» de aprendizajes, se debería tener todos los datos comparables de diferentes períodos y contextos, y observar una disminución estadísticamente significativa en los puntajes o logros.
Consecuencias de Recortes u Omisiones en la Investigación
a) ¿Qué consecuencias tendría sobre la investigación realizar análisis sobre la base de este tipo de recortes u omisiones?
Los resultados no serán válidos, se malinterpretarán, además de limitar la investigación solamente a los datos proporcionados, impidiendo una visión completa y precisa.
b) ¿Qué tipo de validez (de conclusión estadística, interna, de constructo, externa) se vería afectada y por qué?
Afecta a todas las validez:
- La validez interna se ve comprometida porque se acepta que un resultado fue «mejor» basándose únicamente en tener menos días de cierre, sin considerar otras variables causales.
- La validez de constructo se afecta porque la medición es poco representativa del concepto real, lo que puede llevar a una mala interpretación de los resultados.
- La validez externa se ve limitada porque la lógica aplicada a un caso particular (Uruguay) no puede ser generalizada o aplicada en otros países debido a sus características únicas.
- La validez de conclusión estadística se ve afectada porque no es posible realizar comparaciones estadísticas robustas debido a la falta de datos completos o la presencia de características particulares que impiden la equiparación entre grupos o países.
c) ¿Qué tipo de errores podría haber en este proceso de operacionalización?
Podría haber errores como la comparación de Uruguay con el resto del mundo cuando no hay información suficiente para contrastar adecuadamente. Además, podría existir un error sistémico si los datos tienden a ir en la misma dirección, lo cual los hace predecibles y potencialmente sesgados.