Por Edgar Aparicio, Líder de Operaciones en PIT Policy Lab y ExpertODS.
No hace mucho tiempo que el sesgo algorítmico ocupó mis preocupaciones. Desde mi trabajo en C Minds, pude comprender la poderosa afirmación de Joy Buolamwini: “data is destiny”. En otras palabras, si dejamos que cada vez más decisiones que repercuten en nuestra vida se tomen a través de sistemas automatizados, sin regulación, sin discusión pública y sin consideraciones éticas, los riesgos potenciales que el desarrollo e implementación de sistemas de Inteligencia Artificial (IA) representa, podrían verse realizados; en particular, si consideramos que los conjuntos de datos de entrenamiento pueden contener sesgos embebidos y no reflejar el espectro completo de la diversidad humana. No es menos preocupante la falta de explicabilidad de estos modelos, dificultando la auditoría y la oposición a sus resultados. Mis preocupaciones de entonces se plasmaron en una columna de opinión que preparé en el marco de la coalición IA2030Mx. Un año más tarde el tema volvió a ponerse en el centro de mi atención, esta vez a través de un documental que tiene por figura central a la persona cuyo trabajo inspiró mi artículo y que expone, mucho mejor que mis exiguos comentarios y con un alcance infinitamente mayor, estas preocupaciones al público.
El documental Coded Bias (“Prejuicio Cifrado” en español) de 2020 está dirigido por Shalini Kantayy y, además de tener en el centro la historia y el trabajo de Joy Buolamwini, científica informática del MIT Media Lab y fundadora de la Liga de la Justicia Algorítmica, cuenta con la participación de prominentes escritoras y activistas en temas de ética y sistemas de IA: Meredith Broussard (Artificial Unintelligence), Cathy O'Neil (Weapons of Math Destruction), Zeynep Tüfekçi (Twitter and Tear Gas), Amy Webb (The Big Nine), Silkie Carlo (Directora de Big Brother Watch UK), Virginia Eubanks (Automating Inequality) y Safiya Umoja Noble (Algorithms of Oppression), entre otros perfiles reconocidos en el ecosistema. El documental ha sido nominado al Gran Premio del jurado del Festival de Cine de Sundance, y como Mejor documental científico por Critics' Choice Documentary Awards; ganador del premio Excelencia en la realización de documentales en el Festival Internacional de Cine de Hamptons, y también ganador como Mejor documental internacional en el Festival Internacional de Cine de Calgary.
Más allá de las problemáticas centrales planteadas por el documental: sistemas de reconocimiento facial que discriminan por raza y género, decisiones automatizadas que pueden impactar de manera negativa en la vida de las personas y la creciente generación de datos y su utilización por algoritmos con fines éticamente cuestionables, hay una serie de ideas que sacudieron mi mente y que a continuación expongo para su reflexión.
Quién posee los datos y el código, ¿tiene el poder? Numerosos argumentos de las autoras que intervienen en el documental giran en torno a la trama de poder que se ejerce sobre la población, desposeída de algoritmos pero que paradójicamente genera buena parte de los datos que alimentan a estos sistemas. Según Virginia Eubanks, las nuevas tecnologías no siguen el típico esquema donde primero llegan a las clases privilegiadas y después a los estratos más bajos; al contrario, estas tecnologías, potencialmente punitivas o con implicaciones para ejercer el control y la vigilancia, primero se experimentan en poblaciones vulnerables y de escasos recursos antes de emplearse para fines que sirvan a la población acaudalada. Para hacer frente a esta realidad, ¿cómo redistribuimos el poder desde las grandes compañías de tecnología hacia el sector público y la sociedad civil organizada para lograr objetivos de desarrollo (ODS u otras metas concretas)? ¿Cómo nos aseguramos de que las personas estén siempre al centro de las decisiones en materia tecnológica, dada la red de actores con intereses no siempre coincidentes? ¿Podemos traducir estas consideraciones éticas en regulaciones y políticas públicas inclusivas? Mucho de nuestro trabajo como Tecnólogos de Interés Público, en particular el que realizamos desde PIT Policy Lab, está orientado a responder a estas interrogantes.
Estado de vigilancia, ¿Tecnología de Interés Público? Una de las ideas más provocadoras planteadas en el documental es la de Amy Webb, quien sugiere que el uso que hace China de los datos y los sistemas automatizados para su Sistema de Crédito Social es de interés público. Sin duda, desde esta parte del mundo y con nuestro sistema de valores, podemos coincidir en que el uso comercial que hacen las corporaciones de nuestros datos con los sistemas de IA adolece de fundamentos éticos, pero ¿cambiaría nuestra posición si fuera el Estado quien monitorea nuestra información, nos clasifica y ofrece servicios a la medida de forma personalizada? ¿Qué sucede cuando nuestra condición de ciudadanos, y con ella todo un catálogo de servicios y oportunidades, se definen a través de estos sistemas?, ¿es acaso más aceptable cuando la condición a definir y clasificar es la de consumidores? ¿Podemos juzgar con el mismo lente ético las acciones puramente económicas de grandes empresas y las que realiza un Estado como el Chino con fines de desarrollo social?
Historias locales de terror tecnológico. Otro aspecto a reflexionar es, en el contexto regional de Latinoamérica (u otras regiones en el Sur Global), ¿cómo repercute la tecnología en historias de vida concretas? Gracias al documental pudimos conocer la lucha de los vecinos del Atlantic Plaza Towers, en Brooklyn, Nueva York, contra los sistemas de reconocimiento facial; la injusta libertad condicional de alto riesgo para Tonya LaMyers, en Filadelfia, Pensilvania, que no considera sus esfuerzos y méritos personales en una sentencia automatizada; así como la historia del Profesor Daniel Santos, en Houston, Texas, que fue evaluado como deficiente a través de un sistema de IA con resultados opacos, pese a su reconocida trayectoria docente. No obstante, el ritmo de adopción tecnológica es diferenciado entre países desarrollados y regiones en vías de desarrollo. Por ello, es necesario repensar estas historias en contextos como el nuestro, donde las tecnologías aplicadas, la regulación vigente y estado de discusión pública configuran casos concretos de repercusiones negativas que pueden diferir de cómo sucede en otros países. ¿Algún resultado de un sistema automatizado ha afectado algún aspecto de tu vida?, ¿cómo? ¿Conoces alguna otra historia local de terror tecnológico?
Estas reflexiones se centran sólo en algunos aspectos en los que mi curiosidad como Tecnólogo de Interés Público quiere profundizar; sin embargo, te invito a que tú personalmente disfrutes de este documental (lo puedes encontrar en Netflix y otras plataformas de streaming) y te hagas estas y otras preguntas. En PIT Policy Lab consideramos que Coded Bias es un recurso que vale la pena conocer y compartir, pero sobre todo discutir para ampliar el alcance del debate; te invitamos a comentar tus impresiones, reflexiones y/o historias locales de terror tecnológico en este post y en nuestras redes sociales @PITPolicy