El caso de la Secretaría de Educación de Guanajuato
Por: Edgar Aparicio, Economista Senior en PIT Policy Lab.
En respuesta al reto por una IA equitativa de la Agencia de EE.UU. para el Desarrollo Internacional (USAID) y Digital Frontiers de DAI, PIT Policy Lab y un consorcio internacional de organizaciones (ITAD, Women in Digital Transformation, Athena Infonomics) presentamos una propuesta en la que planteamos la iniciativa Prevenir y mitigar el sesgo de género en los sistemas de alerta temprana basados en IA para la educación en el Estado de Guanajuato. En esta entrada de blog se narran los hitos, aprendizajes y próximos pasos de este proyecto.
El caso de la Secretaría de Educación de Guanajuato
Parte de nuestra propuesta se dio en el momento coyuntural en el que el equipo de la Secretaría de Educación de Guanajuato (SEG) avanzaba a pasos decididos hacia el desarrollo y despliegue de un Sistema de Alerta Temprana (SAT) impulsado por Inteligencia Artificial (IA) para identificación de estudiantes en riesgo de abandono a nivel secundaria, en conjunto con el Banco Mundial. La intención de la SEG es utilizar dicho sistema para identificar aquellos grupos de estudiantes en riesgo, con la finalidad de diseñar protocolos de actuación que permitan realizar intervenciones focalizadas, de acuerdo con las necesidades específicas de las y los estudiantes. Así, buscando no dejar a nadie atrás, se genera el Sistema de Actuación Temprana para la Permanencia Escolar (SATPE) y se suma a otros esfuerzos de la SEG en el marco del “Pacto Social por la Educación”, que busca, entre otros objetivos, revertir la pérdida de aprendizajes y las altas tasas de abandono resultado de la pandemia por COVID - 19.
No obstante, este sistema es sólo uno de los tantos esfuerzos de la Secretaría por innovar en sus políticas educativas. Así, el SATPE se desprende de una iniciativa más amplia, denominada Trayectorias Educativas, donde se han consolidado bases de datos para poder seguir las trayectorias individuales de estudiantes, comprender mejor las variables y las causas que determinan dichas trayectorias a través del análisis de casos, así como contar con un acervo de información útil para la toma de decisiones al interior de la SEG.
A principios de 2023 se había generado la primera lista de estudiantes en riesgo de abandono, mientras que en primavera se diseñaron los marcos de acción para pilotear las primeras intervenciones. A nivel técnico, están en proceso de ajuste de los últimos detalles para el despliegue del sistema de información de Trayectorias Educativas, así como los mecanismos para alimentarlo con más registros.
La iniciativa: Inteligencia Artificial Equitativa
En este contexto, nuestra iniciativa involucró el desarrollo de distintos componentes e hitos, como se narra a continuación:
1. Generación de capacidades
En este componente, distintos actores (equipo estratégico y de innovación, de evaluación, control escolar, operativo, etc.) involucrados en el desarrollo e implementación del SATPE tuvieron una primera aproximación a las implicaciones éticas, de género y de Derechos Humanos de una política pública con Inteligencia Artificial como ésta. A través de una serie de talleres, nuestras Consultoras Tatiana Telles y Elina Castillo, especialistas en Género y Derechos Humanos respectivamente, pudieron fortalecer las perspectivas del equipo de la SEG, detonando la reflexión y gestionando la aplicación de los conocimientos hacia el diseño del SATPE y sus intervenciones. Estos talleres permitieron, además, plantear preguntas relevantes desde la propia SEG, cuyas respuestas se han convertido en importantes ejes de acción en el diseño de las intervenciones; sin dejar de mencionar las consideraciones éticas que deberán expresarse en criterios claros y preceder futuras innovaciones que involucren datos e IA y supongan, por lo tanto, riesgos para la población beneficiaria.
Participantes del taller “¿Cómo hacer análisis de género en proyectos de IA?” presentando sus reflexiones en el marco del ejercicio práctico.
Si bien los talleres brindaron valiosas herramientas para evitar construir sesgos por diseño en las políticas públicas, la aplicación no cuidadosa de sistemas de IA puede reproducir e incrementar sesgos presentes en los datos. Así, al ser un reflejo de la sociedad que describen, los conjuntos de datos para entrenar y probar el sistema de IA del SAT pueden embeber sesgos. Ante ello, se detonó un segundo componente del proyecto.
2. Uso de la herramienta AI Fairness 360 (AIF360)
Esta herramienta, desarrollada por el equipo de IBM Research y actualmente hospedada por The Linux Foundation, fue creada para identificar y mitigar sesgos. Gracias a los resultados preliminares pudimos identificar que existe cierto sesgo en los resultados cuando consideramos la variable sexo; por ejemplo, se encontró que hasta 4 niñas y adolescentes de cada 100 en nivel secundaria pueden no ser correctamente identificadas en riesgo de abandono si no se mitigan los sesgos presentes en los datos, lo que implica que los resultados preliminares del SATPE deben tomarse con precaución. Sin embargo, al utilizar la herramienta AIF360, fue posible transformar los datos para corregir dicho sesgo, logrando mejorar los resultados cuando se emplean a través de un modelo genérico. En este sentido, la herramienta AIF360 resultó ser útil para identificar y mitigar sesgos en los datos.
3. Curso de entrenamiento a perfiles claves de la SEG:
Nuestro consultor Alberto Navarrete, especialista en Ciencia de Datos, además de liderar los aspectos técnicos de la intervención con la herramienta AIF360, también proporcionó un curso de entrenamiento a perfiles claves de la SEG. En éste, se profundizó de manera práctica en la herramienta, sus características y algunos ejemplos; además, a manera de introducción, se contó con la participación de representantes de Asuntos Legales y Regulatorios de IBM México. En adición a la capacitación técnica, se realizaron reuniones periódicas con el equipo de la SEG para presentar los resultados y reflexiones emanadas de los mismos. Se espera que el equipo técnico de la SEG pueda apropiarse de la herramienta AIF360 y emplearla para probar nuevas hipótesis de sesgos, e incorporarla como una herramienta rutinaria para toma de decisiones cuando se trabaja con datos e IA. En este sentido, adicional al taller presencial se compartió un tutorial grabado y materiales para que la SEG pueda entrenar a nuevas personas de su equipo y refrescar su conocimiento con relación al uso de la herramienta de manera periódica.
Taller de capacitación sobre la herramienta AI Fairness 360.
4. Guía de IA Ética y Lista de Verificación para personas tomadoras de desición en el sector público
Además de estos talleres e intervenciones, el equipo trabajó de cerca con el consorcio, bajo el liderazgo de Women in Digital Transformation (WinDT), para acercar a la SEG dos productos del proyecto: la Guía de IA Ética y la Lista de Verificación para, como su nombre lo dice, coadyuvar en el desarrollo de Inteligencia Artificial ética y responsable en el sector educativo. Estos insumos fueron diseñados en el marco del proyecto para gobiernos locales que exploran el diseño e implementación de soluciones con datos e IA. La Guía de IA Ética muestra un panorama conceptual introductorio, así como discusiones sobre los riesgos y las consideraciones éticas de todo despliegue de IA, con variedad de casos de uso, preguntas detonadoras y otros recursos; por su parte, la Lista de Verificación consiste en un ejercicio de auto-evaluación de 6 pasos, abarcando todo el ciclo de vida de la solución hasta su posible fin de vida útil, considerando aspectos como el marco regulatorio, las decisiones, la evaluación y gestión del riesgo, consultas públicas y adquisiciones. El rol de la SEG fue crucial para retroalimentar y validar ambos instrumentos, considerando el contexto de un gobierno subnacional en la región Latinoamérica, donde estos productos serán herramientas pioneras. Estos recursos estarán disponibles al público muy pronto.
Difusión del caso y próximos pasos
A manera de cierre, este proyecto nos deja valiosas lecciones, tanto para las personas implementadoras del SATPE en la Secretaría como para todos los actores del ecosistema educativo involucrados. Por un lado los hallazgos de la intervención con la herramienta AIF360 permitieron a la SEG identificar sesgos de género potenciales, los cuales pueden traducirse en la exclusión no intencionada de niñas y adolescentes de la política educativa de no mitigarles. Además, la Guía de IA Ética y la Lista de Verificación pronto se convertirán en recursos públicos y estarán a disposición del personal educativo. Estos insumos ayudarán a definir el rumbo de las etapas posteriores y ampliación del funcionamiento del SATPE y de Trayectorias Educativas.
Para difundir los aprendizajes y productos generados, así como facilitar el intercambio de conocimientos con otros gobiernos Latinoamericanos (Argentina, Uruguay) y estados de México (Jalisco, Querétaro, Nuevo León y Sinaloa), se organizaron sesiones virtuales donde se presentó la iniciativa Inteligencia Artificial Equitativa de Guanajuato a actores relevantes del ecosistema de innovación educativa, haciendo énfasis en los desafíos y oportunidades para el desarrollo y la implementación responsable de sistemas de IA, así como del aprovechamiento de tecnologías digitales aplicadas a la innovación en política educativa. Como resultado de estos intercambios, se generó la intención de conformar una Red Latinoamericana de colaboración en el tema de IA e innovación educativa. Además, para compartir los hallazgos en un contexto de cooperación Sur-Sur, durante el primer semestre de 2023 Athena Infonomics lideró la organización de un evento virtual con la participación de representantes de gobiernos de India y de la SEG con el objetivo de comprender y dialogar sobre las condiciones para hacer operativa una IA equitativa.
Finalmente, a la luz de los hallazgos y aprendizajes, se generaron una serie de recomendaciones accionables de política pública para que la SEG pueda establecer sus propios criterios de acción, mecanismos internos y otras acciones importantes para asegurar el diseño y despliegue ético y responsable de la IA en el sector educativo de Guanajuato. Si bien estas recomendaciones están enfocadas en las particularidades del SATPE, ofrecen importantes perspectivas a otros gobiernos locales que también experimentan el desarrollo de políticas impulsadas por Inteligencia Artificial.
Pueden encontrarlos recursos e información completa de este proyecto en nuestro sitio web: www.policylab.tech/equitable-ai