Para ello utilizan 11 centros de comunidades de aprendizaje que comparan con las estadísticas oficiales y generales de las evaluaciones realizadas por la Generalitat catalana en todos sus centros.
Por una parte comparan un solo centro y por otra, los otros diez. Todos ellos, según cuentan en el texto, tienen una cierta trayectoria como CdA y, además, buenos resultados.
El texto fue publicado en International Journal of Sociology of Education, una de las 13 revistas que edita el grupo desde la Asociación Hipatia Press.
It is very clear
Este texto está firmado por 17 personas entre las que se encuentran Ramón Flecha, Marta Soler, Rosa Valls y Lidia Puigvert, es decir, las personalidades que llevan tres décadas largas insistiendo en la eficacia de sus intervenciones.
Lucas Gortázar, investigador de EsadeEcPol; Xavier Bonal, doctor en Sociología por la UAB, y Manuel Fernández Navas, doctor por la Universidad de Málaga, en donde es docente, así como investigador cualitativo, han analizado dicho texto.
“Es un despropósito”, asegura Gortázar. “Tiene importantes limitaciones, sobre todo, metodológicas”, explica Bonal.
Para Navas, hay varios errores importantes. El primero, la interpretación que se hace de autores con los que no están de acuerdo, como Althusser, Bourdieu o Coleman. “Hacen una caricatura”, asegura.
“Es sorprendente, afirma Bonal en este sentido, con qué ligereza tratan estas teorías de sesgadas e incompletas para refrendar su posicionamiento con la acción comunicativa de Habermas, como si se tratase de posiciones incompatibles, que no lo son”.
El texto compara los resultados de un grupo de comunidades de aprendizaje después de varios años de implementación con los resultados de las evaluaciones censales que se realizan en primaria en Cataluña.
Junto a este análisis estadístico, se realizan entrevistas a docentes, familias y estudiantes de la escuela principal que se estudia.
Críticas metodológicas principales
Más allá de eso, Fernández Navas asegura que no se puede establecer causalidad de la manera en la que se plantea el texto.
“No hay ninguna variable de control”, comenta Gortázar, que afirma que “no analiza datos de los alumnos, sino agregados por centro” y utiliza “una muestra diminuta y es imposible detectar cambios de manera fiable. No tienen poder cuantitativo”.
Bonal también afirma que no se ha utilizado “contrafactual equivalente” y que usar los datos generales de Cataluña “no sustituye un grupo de control similar en complejidad social y trayectoria previa” a los centros y grupos utilizados dentro de las comunidades analizadas.
Los centros que se han utilizado para el análisis son consolidados en el tiempo y se asegura que han obtenido buenos resultados. Tanto Bonal como Navas señalan el sesgo de selección “lo que impide descartar dicho efecto de selección”.
Como señala Bonal, además, el hecho de que haya coincidencia temporal entre las actuaciones de éxito, como se describen, y la mejora de resultados “no permite aislar el efecto propio de la intervención frente a otros factores que pueden concurrir en el tiempo, por ejemplo, cambios en la composición social de los centros”.
A investigación, sigue, no mide con precisión la intensidad o fidelidad de las actuaciones, dificultando estimar qué componente produce el efecto”.
Debate sobre causalidad
Al mismo tiempo, el texto, hacia el final hace algunas afirmaciones que, para Fernández Navas, deberían haber impedido, por su tono, la aceptación del texto como un paper científico. Hay que decir que el texto se publicó en una de las revistas de la editorial Hipatia, creación del CREA.
“Algunos académicos están todavía anclados en la idea de que la investigación necesita experimentación y grupos de control”, afirman los 17 autores en el texto. Gortázar recuerda que en 2019 y 2021 el premio Nobel de Economía recayó en sendos investigadores “que básicamente han elevado el uso de grupos de control a otro nivel para hacer comparaciones causales – una metodología que se está extendiendo muy rápido a sociología, ciencia política y educación”.
El texto insiste: “Algunos incluso consideran que es la única manera de hacer auténtica investigación científica. La realidad de la sociedad y de la ciencia es muy diferente”, aseguran quienes firman el paper.
A esto contesta Gortázar admitiendo que no es la única manera de hacer ciencia, “pero desde luego si uno trata datos estadísticos para hacer inferencia (que es lo que ellos pretenden), intentar abordar la causalidad es la manera más honesta y rigurosa intelectual y científicamente hablando”.
Algo parecido asegura Fernández Navas. Él es investigador cualitativo y en muchas ocasiones ha defendido la validez de este acercamiento a la investigación educativa.
Está de acuerdo en hacer una crítica al paradigma cuantitativo, “es una crítica muy documentada desde el paradigma interpretativo y desde el crítico”. “Entonces, no hagas investigación para demostrar causalidad”. “Te dicen que es difícil demostrar la causalidad pero de fondo te dicen que su investigación es para demostrar que sus prácticas son las mejores y que la causa de la mejora no deja duda que es porque ellos han implementados esas prácticas. Estás trucando la baraja”.
“La crítica a los experimentos, continúa, es la crítica a la posibilidad de que haya evidencia causal en educación o en ciencias sociales”.
