Debate educativo en base a las evidencias

AULASEl debate educativo en España no destaca precisamente por su calidad. La mayoría de los análisis en la prensa suelen estar basados en meras opiniones personales y evidencia anecdótica y, en el mejor de los casos, en una interpretación del informe PISA que considera casi exclusivamente el ranking por países.

Es cierto que España no ocupa un lugar destacado, pero nuestro objetivo en esta entrada será tratar de convencer al lector de que un análisis adecuado de los datos indica que el sistema educativo español no es un desastre ni mucho menos y que en algunos aspectos está incluso por encima de la media de la OCDE. Para acabar insistiremos en la necesidad de una legislación y unas prácticas educativas en base a la evidencia.

Empecemos por el principio: ¿Qué es y qué mide PISA?

PISA intenta medir no tanto los conocimientos de los alumnos en matemáticas, comprensión lectora y ciencias, sino sus logros en relación a una escala de competencias definida previamente por el propio Programa y que considera críticas para el desarrollo económico de un país en el mundo actual. Dichas competencias pueden ser en principio diferentes del currículo nacional vigente en cada país, aunque los países que se someten a evaluación tienden a adaptar sus currículos nacionales a las exigencias de PISA entre otras razones por la importancia mediática que ha adquirido la prueba, una especie de ranking olímpico que parece impactar de lleno sobre el orgullo nacional.

Casi nadie duda de la robustez de la metodología de PISA y ni siquiera de sus resultados. Las críticas a PISA vienen generalmente del intento de extraer prescripciones curriculares y de políticas educativas a partir de los resultados, produciéndose un salto no justificado empíricamente, puesto que su metodología no es muchas veces sensible al contexto. Por ejemplo, no se consideran las diferentes metodologías que aplican los profesores en el aula, algo que algunos autores consideran un handicap crucial del Programa.

De hecho, los resultados no siempre son compatibles con los obtenidos en otras evaluaciones internacionales (aunque dichas diferencias pueden ser parcialmente explicadas), como ha sucedido con las pruebas de Tendencias en el Estudio Internacional de Matemáticas y Ciencias (TIMSS) donde Finlandia por ejemplo había obtenido resultados mediocres. Bien es verdad que el profesorado finlandés jamás se dejó impresionar por los buenos resultados en PISA y ahora tampoco se sorprenden por su empeoramiento. Aquellos que hemos enaltecido el sistema finlandés hasta niveles casi de universo paralelo nos hemos dejado engatusar por unos resultados que ahora nos devuelven a un mundo real mucho más complejo de interpretar.

Los resultados de España

El dato más reciente que ha reavivado las críticas destructivas de nuestro sistema educativo es, cómo no, el informe PISA 2012. Estamos en un blog de ciencias, por lo que si nos fijamos en esa faceta, las alumnos españoles obtienen 496 puntos. PISA toma la referencia de 500 como media de la OCDE para estudiantes de 15 años. Los alumnos españoles quedan así en el puesto 21 de 34 países evaluados, justo por encima de Noruega y casi a la altura de Estados Unidos, Dinamarca o Francia. A la cabeza de la lista aparecen Japón, con 547 puntos, y Finlandia con 545. España queda así a cinco puntos de la media de la OCDE, y un punto por debajo del promedio de la UE.

cienciaspisa2012

Interpretación o de estadísticamente significativo y otras hierbas

Lo primero que debemos fijarnos, como señalaba el sociólogo de la Complutense Julio Carabaña, es que estamos hablando de unas diferencias de unos pocos puntos en 500, lo que no es especialmente significativo, aunque sí lo sea estadísticamente según el ministerio (tal y como vemos en la imagen anterior).

¿Por qué afirma el ministerio que la diferencia es estadísticamente significativa? Bien, como es típico con ciencias sociales (e incluso medicina) se selecciona como estadísticamente significativo un intervalo de confianza del 95%, que en en el caso de España corresponde a una puntuación entre 492 y 500 (intervalo que corresponde a 2 veces la desviación estándar de las puntaciones). Eso significa grosso modo que dada la puntuación obtenida por España, sólo existiría un 5% de probabilidades de que España estuviese en la media de la OCDE, pero ese dato asume que la muestra de alumnos es representativa y que el método de PISA es capaz de modelar adecuadamente esas diferencias . En ciencias sociales es muy complicado que esos valores sean representativos de la realidad. Para que el lector se haga una idea de lo delicado de esas hipótesis, en física nadie se toma en serio un nuevo resultado experimental si el intervalo de confianza no es del 99,99997% y hay sólo una posibilidad en 3,5 millones aproximadamente de que el efecto medido realmente no esté ahí.

Podemos así afirmar que el nivel de ciencias en el sistema educativo español está en la media de la OCDE. Cualquier otra interpretación es rizar el rizo de lo que indicas los valores de PISA o confiar a ciegas en que la metodología de PISA es una medida precisa y única de la realidad de un sistema educativo, lo que hemos visto que es discutible en base a los resultados de otros sistemas de evaluación internacionales como TIMSS. Ya querríamos en muchas otras estadísticas poder estar a un nivel similar al de Dinamarca o Francia. Luego, para empezar, las conversaciones de bares y tertulias televisivas sobre el desastre del sistema educativo español no están justificadas, incluso tomando suficientemente en serio los resultados de PISA.

La inercia de la historia

Este argumento suele ser el que menos gusta, pues va en contra del adanismo, tan popular, de que mañana podemos levantarnos y tener el país que queramos, con sólo darle a la maquinita del BOE para que cambie las leyes y echar a todos los políticos.

José Saturnino Martínez

No voy a revelar nada nuevo diciendo que España lleva una desventaja de varias décadas con respecto a la mayoría de países de la OCDE. Nada es gratis dedicaba precisamente una entrada a lo que los economistas denominan “path dependence” (dependencia de la trayectoria): el hecho de que el futuro no sólo dependa de la situación presente, sino de la trayectoria pasada que nos ha traído hasta aquí.

En 1860, al poco de aprobarse la Ley Moyano de Instrucción Pública, únicamente el 24% de la población española sabía leer y escribir, una cifra muy inferior a la de los países de nuestro entorno. Esta baja media enmascara, sin embargo, una elevada varianza que oscila entre una tasa de alfabetización del 50% en Madrid y el 13% en Canarias. Curiosamente, la distribución geográfica de la tasa de alfabetización en 1860 es muy parecida al mapa de desempeño educativo que proporciona el último informe PISA: Madrid sigue presentando la mejor nota en lectura y Canarias la peor. Si tenemos en cuenta todas las regiones la correlación es sorprendentemente alta: ¡un 72%!

Manuel Bagues

Los signos de exclamación de Manuel Bagues en Nada es gratis tienen razón de ser. Una correlación de tal magnitud en ciencias sociales no se ve todos los días.

Con la entrada de la nueva ley general de educación de 1970, la situación de España era la de un país en vías de desarrollo. Como lo describía hace unos años el sociólogo de la ULL José Saturnino en El País

Cuando estaba en la primera etapa de EGB, el promedio de niños por profesor era de 33, actualmente es de 11. El gasto público en educación era del 3% del PIB, hoy ronda el 4,5%, pero, además, el PIB español actual es mucho mayor que el de aquella época, por lo que el gasto total, descontada la inflación, se ha multiplicado por siete. La tasa de matriculación entre los 6 y los 14 años era del 80%, mientras que hoy la matriculación entre los 6 y los 16 años es del 100%. Había 140.000 becarios, hoy 600.000, y, en euros constantes, la beca media se ha duplicado, incluso quintuplicado, en el caso de las universitarias. En España había 2,5 millones de analfabetos, y medio millón de universitarios. Hoy hay medio millón de analfabetos y cinco millones de universitarios. La probabilidad de la hija de un campesino de estudiar bachillerato era del 15%, hoy es del 58%. La actual tasa de fracaso escolar es preocupante, próxima al 30%, pero entonces era del 35%, y la escolarización obligatoria duraba 8 años, y no 10, como en la actualidad

José Saturnino Martínez

Está claro que los aspectos socio-económicos de cada región están relacionados con sus resultados.

ESCSPISA
Relación entre el Índice Social, Económico y Cultural (ESCS) y las puntuaciones de matemáticas en PISA. Fuente: MECD

Hay comunidades autónomas como Navarra y Castilla y León que están por encima de la media de la OCDE y de lo que les corresponde según su ESCS, lo que representa un toque de atención a aquellos que pretendan utilizar variables socio-económicas como justificación del fracaso de sus políticas educativas. Es más, la evidencia empírica disponible sugiere que hay factores mucho más relevantes en en progreso de los estudiantes que su entorno socio-económico (ver más abajo).

Una lectura positiva del PIAAC

Hace unos meses también fue noticia de primera plana los resultados del PIAAC, una especie de informe PISA para adultos que valora el rendimiento de la población de 16 a 65 años en 23 países en dos competencias básicas: comprensión lectora y matemáticas.

matematicasPIAAC

Vemos a España aparecer como farolillo rojo, tanto en matemáticas como en comprensión lectora. Sí, no es precisamente un dato para tirar cohetes pero ese dato podría, paradójicamente, esconder un resultado esperanzador. En concreto

Los españoles en edades comprendidas entre 16-24 años tienen mayor nivel de competencias que el total de la población en todas las áreas, y especialmente más que las personas en edades comprendidas entre 55-65 años. Aun así, los jóvenes españoles puntúan por debajo de la media de los jóvenes de otros países en comprensión lectora y matemática.

Resultados PIAAC para España

Progreso quizás insuficiente… pero progreso

El sistema educativo español lo ha hecho incluso muy bien en algunos aspectos importantes. Por ejemplo, la evolución en la igualdad de oportunidades ha ido en la dirección correcta, donde estamos claramente mejor que países como EEUU o Bélgica por ejemplo y a niveles comparables a un país como Dinamarca.

equidad
Fuente: PISA in focus 25. OCDE.

Como lo describe El País

“En Pisa 2009, los estudiantes con rentas más bajas obtuvieron una nota por encima de la media OCDE (423 puntos frente a 417), mientras que los chicos con rentas más altas estaban muy por debajo (539 frente a 569). Además, España es el octavo país desarrollado con más alumnos resilientes, que obtienen las calificaciones más altas procediendo de las clases más pobres: 36%.”

El País 18/05/2013

No lo ha hecho tan bien en otros aspectos, como el abandono escolar temprano. La tasa de abandono se refiere al porcentaje de personas entre 18 y 24 años que no estudian o no han alcanzado un título de estudios post-obligatorios. Una persona que acabe la ESO, pero no siga estudiando a los 18 años, está en situación de abandono educativo temprano. Sin embargo, la mejora es lenta pero progresiva

Fuente: EUROSTAT y Encuesta de Población Activa. Vía José Saturnino Martínez
Fuente: EUROSTAT y Encuesta de Población Activa. Vía José Saturnino Martínez

Algunas leyendas urbanas sobre el sistema educativo español

La ESO es menos exigente que el antiguo BUP

Por supuesto es muy difícil hacer una comparación de dos sistemas con diferentes características, pero no es lo que muestran los datos del PIAAC, donde los mejores resultados los obtiene el rango de edades de 16 a 24 años. Habría muchos aspectos que discutir sin duda, pero el quid de la cuestión es que aquellos que hacen dicha afirmación lo hacen siempre en base a la anécdota y no a los datos.

En España hay muchos días de fiesta y pocas horas lectivas
tiempoinstruccion
Fuente: MECD
En la ESO pocos alumnos repiten curso

Si hay una medida educativa que sabemos por décadas de estudios que es ineficiente, en el sentido de cara y poco efectiva, es la repetición de curso. Sin embargo, nuestro sistema es uno de los que más castiga a los alumnos con esta medida, provocando (casi obligando) a muchos jóvenes a un abandono temprano que podría evitarse en muchos casos. En otras palabras, podemos decir que una parte importante de nuestro fracaso escolar es administrativo. Paradójicamente, la ley Wert pretende añadir un obstáculo más en el camino de los estudiantes con las famosas reválidas, sin que ésta hayan demostrado contribuir a mejorar el tipo de competencias que precisamente demanda PISA — las evidencias en otros países de hecho parecen ir en sentido contrario.

Los alumnos españoles trabajan poco

Como media, un estudiante español de 15 años pasa 6,5 horas semanales con los deberes, frente a una media de 4,8 horas del conjunto de la OCDE. Además, un español recibe una clase particular de poco más de una hora cada semana, casi el doble de la media internacional.

eldiario.es 30/12/2013

Así que es eslogan no debería ser tanto incentivar una “cultura del esfuerzo” como una “cultura de la eficacia”. Curiosamente, en el mercado laboral español se tiende a trabajar más horas que en países del norte de Europa y sin embargo la productividad es menor, una correlación bastante sugerente.

Hacia un sistema educativo basado en la evidencia

Ben Goldacre, conocido autor de Mala Ciencia y Mala Farma, escribía un artículo hace unos meses reivindicando una educación basada en la evidencia. Me sumo a su reivindicación, sobre todo en un país donde hacemos con demasiada frecuencia leyes educativas –y no sólo leyes educativas– obviando todo tipo de estudios sobre su efectividad. Tenemos que pensar que en educación nos encontramos como mucho al nivel de la medicina anterior a los setenta del siglo pasado, donde la inmensa mayoría de las prácticas estaban generalmente basadas en la tradición más que en la evidencia. Algunos dirían que incluso en el siglo XIX.

En la imagen a continuación podemos ver las 10 prácticas en educación que apenas tienen ningún efecto en la mejora del aprendizaje de los alumnos o incluso –como la repetición de curso que mencionábamos anteriormente– tienen un efecto claramente negativo.

La imagen está extraída de Evidence based teachers network , una red de unos 1500 profesores que potencian las 10 prácticas con mejores resultados. También han elaborado una interesante página de mitos
La imagen está extraída de Evidence based teachers network, una red de unos 1500 profesores que potencian las 10 prácticas con mejores resultados. También han elaborado una interesante página de mitos

Algunas les resultarán sorprendentes. Por ejemplo, la reagrupación de los alumnos según sus habilidades, un profesor de apoyo en el aula o (más sorprendentemente aún) reducir el número de alumnos en el aula — aviso a políticos listillos: estamos hablando de 20 a 15 alumnos por ejemplo y no de 30 a 25– son medidas especialmente poco efectivas.

La tabla anterior está basada en la investigación de John Hattie, profesor de Educación de la Universidad de Melbourne, que ha escrito el único compendio que he sido capaz de encontrar que incluye una revisión de todos los estudios que tratan de medir los resultados de las diferentes prácticas educativas y ha tratado de compararlos bajo una misma escala de medida –lo cuál dicho sea de paso conlleva ciertos problemas asociados a todo metaanálisis y sobre todo uno donde muchas veces las muestras son pequeñas. Considero su charla y presentación asociada de obligada visión para todo aquél que tenga relación con las políticas y la gestión educativa.

¿Cuáles son por cierto las prácticas que han mostrado mayor efectividad? En este enlace tienen un listado de las 30 principales. Una consideración clave que se extrae de ese listado es que el entorno socioeconómico y el ambiente familiar quedan muy por debajo de factores relevantes en el aprendizaje –y que generalmente tienen que ver con la calidad de los profesores– como la evaluación formativa, la retroalimentación continua y hasta la credibilidad del profesor (por poner tres ejemplos), lo que significa que los gestores públicos deberían centrarse en esos aspectos y calmar su obsesión por cambiar el BOE.

Te invitamos a comentar y conversar sobre este artículo en nuestras redes sociales: Facebook y Twitter.