“¿Los aviones están hechos de perros? Sí”, la respuesta de los alumnos que ha alertado de los errores de PISA

“Sentimos el nivel de fallos detectados en la prueba Pisa por un organismo tan prestigioso como la OCDE, pero los resultados son un auténtico desastre, están contaminados y tienen credibilidad baja”, ha dicho el consejero de Educación de la Comunidad de Madrid, Enrique Ossorio, que ha pedido a la OCDE que no publique y revise los resultados de las pruebas realizadas a los alumnos de 15 años en Comprensión lectora, Ciencias y Matemáticas practicadas en 2018 porque los resultados “son extraños”. Madrid cree que las conclusiones que serán presentadas el próximo día 3 de diciembre “no reflejan el nivel educativo de los alumnos madrileños”.

Una de las cuestiones que alertaron a la Consejería de que podían existir anomalías fueron algunas de las respuestas obtenidas a preguntas de lógica con errores imposibles de explicar como la siguiente: “¿los aviones están hechos de perros?". La respuesta ha sido “sí” en muchas ocasiones. Con este tipo de planteamientos, que aparentemente son sencillos y más que obvios y que se han hecho por primera vez a los alumnos en la prueba de comprensión lectora, la que tiene más peso este año, “el alumno contesta si las frases son lógicas o no. Son afirmaciones o ítems que miden si los estudiantes son capaces de reaccionar ante la lógica. Se pretende que sean capaces de contestar al cien por cien y con corrección”, expone Mercedes Marín, directora general de Bilingüismo y Calidad de la Enseñanza de la Comunidad de Madrid.

El consejero de Educación madrileño considera que lo ocurrido en esta Comunidad no es más que “la punta del iceberg de un grave problema en las pruebas PISA 2018”.

La OCDE admitió el pasado 15 de diciembre, a través de un comunicado, que la prueba de comprensión lectora estaba contaminada y anunciaba el aplazamiento de su publicación al constatar respuestas “inverosímiles”. Los alumnos dieron respuestas carentes de toda lógica. Es más, contestaron en menos de 25 segundos un total de 20 preguntas correspondientes a la nueva sección de fluidez lectora, mientras que los estudiantes que realizaron el esfuerzo adecuado emplearon entre 50 segundos y dos minutos.

Ahora, Madrid pone en duda la globalidad de uno de los estudios de mayor relevancia internacional entre alumnos de 15 años que se publica cada tres años. Y es que considera que “el resultado de la competencia matemática y científica viene determinado por el obtenido en la de Lectura. Es decir, influyen directamente porque se han utilizado para calcular los resultados de las otras dos materias para sacar conclusiones sobre el rendimiento de los alumnos en estas áreas de conocimiento. Aunque no todos los estudiantes han hecho todas las pruebas, obtienen notas en estas materias “mediante una estimación que se hace a partir de una serie de variables entre las que figura el resultado obtenido en lectura”, asegura. En Madrid se han examinado 5.016 alumnos y sólo un 41% (2.077) realizaron la prueba de Matemáticas, mientras que un 40% (2.055) hicieron la de Ciencias. Por esto, la Comunidad de Madrid ha concluido que el 60% de los resultados obtenidos en Ciencias y Matemáticas “están contaminadas”, con lo que “también son inverosímiles”.

A esto se suma que en los centros donde la prueba fue realizada por tres grupos de examinadores concretos, los errores si triplican si se comparan con el resto de grupos lo que ha llevado a pensar a la Comunidad de Madrid a pensar que ha podido haber problemas en el tratamientos de los datos. Si se eliminasen estos grupos, los resultados de la Comunidad de Madrid serían doce puntos superiores. Además, se da la circunstancia de que los errores se han detectado en zonas como la Oeste de la Comunidad que, en pruebas anteriores ha obtenido buenos resultados, según Ossorio.

Otra de las razones que podrían esconder los inexplicables resultados, probablemente peores de los que la Comunidad se esperaba, son “las instrucciones administradas en la aplicación de la prueba o cualquier otra razón que se nos escapa”, añadió.

Para colmo, hubo 70 alumnos que no se presentaron a la prueba y fueron calificados con un cero, “lo que bajó aún más la media de notas”.

No es la primera vez que la OCDE registra errores en sus pruebas. En EE UU, se detectó un error en el test de Lectura en el año 2006 y se debió a un fallo al imprimir la prueba que debían responder los alumnos. Hubo un cambio de paginación, que redirigió a los alumnos a una lectura de preguntas incorrectas. El fallo cambió los resultados de la prueba hasta en seis puntos, lo que excedió los estándares de muestreo. Por lo tanto, los datos de rendimiento de lectura para EE UU se excluyeron de la base de datos PISA. “El impacto potencial del error de impresión en el rendimiento de los estudiantes se calculó analizando el rendimiento relativo de los estudiantes en los EE UU en el conjunto de elementos que era común entre PISA 2006 y PISA 2003, después de controlar el rendimiento en los elementos que probablemente no habrían sido afectados por el error de impresión”, manifestó a LA RAZÓN el portavoz de la OCDE Miyako Ikeda.

La Comunidad de Madrid ha pedido al Ministerio de Educación y Formación Profesional que aplace la publicación de las tres competencias de las que los alumnos han sido examinados hasta que se realice en análisis en profundidad para que los resultados puedan resultar fiables. Pero ni la OCDE ni el Ministerio están dispuestos a aplazar su presentación. “No nos corresponde favorecer esa pretensión de la Comunidad de Madrid con la que no estamos de acuerdo", manifestó la ministra, Isabel Celaá, al ser preguntada en la rueda de prensa del Consejo de ministros.