Retos de implementación de una evaluación de impacto: El proyecto ATEMA en Puerto Rico

El Departamento de Educación de Puerto Rico, la Universidad de Puerto Rico, J-PAL Norteamérica y un grupo de investigadores afiliados a J-PAL Norteamérica trabajan juntos para evaluar el impacto del programa Aplicación de la Tecnología en la Enseñanza de las Matemáticas (ATEMA) que mide el rendimiento académico en el área de matemáticas, mediante pruebas estandarizadas y el desempeño en las actividades de la plataforma Khan Academy. ATEMA ofrece mentorías a docentes de matemáticas para el uso del aprendizaje asistido por computadora y está siendo implementado por la Universidad de Puerto Rico, liderado por Olgamary Rivera, Directora de Proyecto, y Alina Amador, Gerente de Investigación. Discutimos con ellas los principales retos y aprendizajes de la implementación ATEMA y por qué la implementación es crítica para el proceso de evaluación.

¿Qué es el proyecto de ATEMA y cuáles son sus roles en éste?

Olgamary: ATEMA incorpora estrategias de aprendizaje con el uso de la tecnología, específicamente la plataforma de Khan Academy. La plataforma incluye videos y ejercicios matemáticos para que las y los estudiantes apliquen conceptos matemáticos. ATEMA provee una guía para que los docentes incorporen esta plataforma a su clase para darle apoyo de manera individual a cada estudiante en conceptos matemáticos. Contratamos y entrenamos mentores para asistir a los profesores en el uso de la plataforma. El proyecto está enfocado en estudiantes de cuarto a octavo grado. 

Alina: Hay varios socios clave en este proyecto, incluyendo al equipo de investigación, el Departamento de Educación, los mentores y los docentes. Mi tarea es mantener a cada socio comunicado de las decisiones que se toman.

¿Cuáles fueron las etapas clave en la implementación del proyecto?

Olgamary: La primera parte consistió en identificar material educativo de la plataforma de Khan Academy, que estuviera bien alineado a los prontuarios de cada grado. Posteriormente reclutamos doce mentores y les enseñamos a usar la plataforma de Khan Academy y a cómo asistir a los maestros a integrar la plataforma en sus salones. En agosto de 2021 tuvimos una orientación para docentes para introducirlos al programa y a la plataforma. Después hicimos el pareo de maestros y mentores de acuerdo a su horario de trabajo. El plan era que maestros y mentores se reunieran por treinta minutos cada semana para discutir estrategias para integrar la plataforma en los salones de clase y utilizar el material educativo.  

 ¿Cuáles son los principales desafíos a los que se han enfrentado en la implementación del programa?

Alina: La coordinación de los participantes fue el mayor reto durante el primer semestre escolar porque hubo varios cambios en el sistema escolar que crearon dificultades para que los maestros pudieran unirse a las reuniones semanales. Tuvimos que enfocarnos en casos específicos por varios meses para garantizar que la tasa de participación en ATEMA fuera robusta y tuvimos que ser flexibles con los maestros, quienes enfrentaron limitaciones fuera de nuestro control.

También tuvimos problemas con el Sistema de Información Estudiantil (la base de datos donde están inscritos todos los estudiantes puertorriqueños). Los datos de la plataforma  vienen de diferentes compañías, así que el acceso a información no está integrado, por lo que tuvimos que trabajar con cada compañía directamente para actualizar el sistema.
 
Olgamary: Puerto Rico pasó por una serie de eventos naturales como el huracán María en 2017, el terremoto de 2020 y la pandemia de Covid-19, así que tuvimos aproximadamente dos años de rezagos académicos. Tuvimos casos donde las escuelas no tenían docentes de matemáticas, o a los profesores se les cambió la materia que dictaron a último momento. Además hubo cambios de horarios escolares y huelgas que llevaron a la renuncia de docentes por lo cual otros maestros cubrieron clases y grados adicionales. Estos desafíos dificultaron la participación de algunos maestros en las mentorías.

También tuvimos retos tecnológicos particulares. Hubo una escuela donde cortaron por error las líneas de internet, entonces algunos profesores usaron el internet de su celular como hotspot para que sus estudiantes pudieran trabajar en Khan Academy. Al principio del programa teníamos como meta que los estudiantes trabajaran dos horas por semana en Khan Academy. Cuando empezamos a ver estas limitaciones, recomendamos que cada estudiante practicara el mayor tiempo posible. 

Debido al COVID-19, varios proyectos de investigación han tenido dificultades con las tasas de participación. ¿Qué estrategias utilizaron para obtener la participación deseada? 

Alina: Al principio les enviamos emails a los maestros, tuvimos reuniones con los directores de las escuelas, hablamos con los facilitadores del proyecto para que motivaran a los maestros, pero las estrategias no funcionaron como esperábamos. Lo que funcionó fue llamar directamente a los maestros para hablarles del proyecto. 

Debido a las preocupaciones de los investigadores por la baja participación en el programa, los investigadores querían recopilar resultados a menor escala. Creamos “El Reto de Khan” en escuelas que no participaron en la primera cohorte de ATEMA. Los investigadores analizaron los resultados de pruebas académicas proveídas a 300 estudiantes antes y después de usar la plataforma de Khan Academy para ver si el uso de la plataforma mejoraba el rendimiento académico de los estudiantes. Aunque los investigadores subestimaron el alcance inicial de los rezagos académicos, los resultados fueron prometedores.

Olgamary: También ofrecimos una sesión de reposición para docentes que no pudieron ir al adiestramiento inicial. Al principio muchos maestros pensaban que participar en el proyecto implicaba tener más trabajo, y al contrario, queríamos ayudarlos a organizar y preparar su clase y tener ejercicios para que no tuvieran que crearlos desde cero. Al final del semestre muchos maestros lograron que sus estudiantes trabajaran hasta por más de dos horas por semana en la plataforma.

Parece que la clave para sobrepasar los desafíos de implementación fue una estrategia de coordinación fuerte, permanecer flexibles y la voluntad de aprender y adaptarse. ¿Para ustedes qué ha sido lo más satisfactorio de trabajar en este proyecto? 

Olgamary: Creo que este proyecto tiene el potencial de traer muchos cambios al Departamento de Educación, especialmente en el área de la enseñanza. Sabemos que hemos tenido limitaciones, pero esto no me ha quitado el deseo de continuar con este proyecto y de ayudar a los maestros a utilizar esta herramienta. Después de trabajar con un maestro yo me siento satisfecha porque sé que estamos sembrando una semilla que va a seguir creciendo en cada estudiante de ese maestro. 

Alina: Hay dos inspiraciones que me motivan a seguir en este trabajo. Una es el excelente equipo que trabaja en este proyecto. Este proyecto no sería posible sin Olgamary y todo su arduo trabajo para garantizar que ATEMA se esté implementando tan bien como lo ha hecho.

La segunda es que una de mis prioridades es trabajar para el pueblo de Puerto Rico y con este proyecto siento que estoy apoyando a la siguiente generación de puertorriqueños. Me alegra estar apoyando a directores y maestros que están dando su máximo para ayudar a la juventud. Ver fotos, hablar con los maestros y ver que las comunidades que estamos apoyando valoran el proyecto ATEMA me llena de orgullo.