Fortalecer la verdad en la era de los medios sintéticos y la IA generativa: Perspectivas desde América Latina

La versión original de este blog fue escrita en inglés por Jacobo Castellanos

En agosto de 2023, nos reunimos en Bogotá, Colombia, con más de 25 periodistas, verificadorxs de hechos, tecnólogxs, defensorxs enfocadxs en políticas, creadorxs, defensorxs de derechos humanos y activistas comunitarixs de toda América del Sur y México. En este taller de dos días, discutimos las amenazas y oportunidades que la IA generativa y los medios sintéticos traen al testimonio audiovisual, identificando y priorizando respuestas colectivas que puedan tener un impacto positivo en el panorama de la información.

Este encuentro fue parte de los esfuerzos en curso de WITNESS para comprometerse con las comunidades que llevan a cabo un trabajo crucial de derechos humanos, para asegurar que el desarrollo de tecnologías emergentes refleje sus necesidades y los riesgos globales. Nuestro trabajo pionero convocando a estas voces críticas sobre asuntos relacionados con deepfakes y medios sintéticos comenzó en 2019 en Sudáfrica, Brasil, el Sudeste de Asia, y continuó en 2020 en los Estados Unidos. Además de las consultas en línea, más recientemente, celebramos un taller similar en Nairobi, Kenia.

Las elecciones, la violencia de género y los ataques contra la sociedad civil siguen siendo algunas de las principales preocupaciones expresadas por las personas participantes

El uso de medios sintéticos y de IA generativa en las elecciones fue una de las principales preocupaciones de las que se hizo eco en el taller celebrado en Colombia. Las personas participantes observaron una creciente prevalencia de casos y señalaron varios ejemplos, como las difusiones sintéticas de una red de medios falsos en inglés que apoyaban al régimen de Maduro, la tendencia #yonosoyJanTopic en Ecuador o el deepfake a favor de la candidata presidencial de la oposición mexicana, Xóchitl Gálvez.

Aunque algunxs señalaron que puede haber formas responsables y legítimas de utilizar la inteligencia artificial durante las elecciones, las personas participantes desconfían de cómo el uso de estas tecnologías puede amplificar el impacto de las operaciones de información. Estas tácticas son una forma de desinformación que se caracteriza por su intención de manipular a la ciudadanía y alterar las elecciones mediante esfuerzos organizados y coordinados.

La violencia de género sigue siendo el problema más inmediato de los deepfakes y los medios sintéticos, y existe el riesgo de que se agrave con un acceso más fácil a mejores tecnologías. Durante el taller, lxs participantes destacaron otras preocupaciones sobre cómo podrían utilizarse contra niñxs y menores, como señaló un ejemplo presentado por una de las personas participantes, cómo disuade a las mujeres de participar en la esfera pública, cómo puede utilizarse para gaslight -un tipo de abuso que hace que alguien dude de sus propias percepciones o cordura-, y más en general, cómo refleja y perpetúa narrativas patriarcales como los roles de género estereotipados.

También se discutió como una preocupación mayor, la utilización de medios sintéticos para atacar y socavar a la sociedad civil y a los medios independientes. Cuando hay falta de confianza, existe una oportunidad para que actores nefastos o quienes ostentan el poder influyan en el público socavando los contenidos veraces (“el dividendo del mentiroso”) o amplificando la desinformación mediante operaciones de información. Lxs participantes señalaron la necesidad de crear una infraestructura jurídica y técnica capaz de equilibrar la balanza frente a las asimetrías de poder económico y político.

Otras amenazas destacadas en el taller fueron el impacto medioambiental de la IA, la reducción de la diversidad de los contenidos en línea y el debilitamiento de las prácticas comunitarias de creación y atribución de contenidos, descritas como espacios de encuentro que no reflejan ni responden a intereses comerciales y cuyos procesos son más lentos y necesariamente abiertos y colaborativos.

Más allá de las amenazas específicas, una de las conclusiones generales de este taller, como ya se señaló en el taller que se realizó en Kenia, es que las amenazas de los medios sintéticos afectarán de manera desproporcionada a quienes ya están en situación de riesgo debido al género, orientación sexual, profesión, etnia o pertenencia a un grupo social. Al debatir las amenazas, las oportunidades y las respuestas, las personas participantes señalaron la necesidad de centrar la atención en los grupos que puedan enfrentar un mayor riesgo de forma específica, en lugar de abordar las preocupaciones de forma general.

Los medios sintéticos y la IA generativa ofrecen oportunidades, pero deben desarrollarse con cautela

Lxs participantes debatieron diversas formas en las que los medios sintéticos y la IA generativa podrían ayudar a proteger los derechos humanos y reforzar sus causas específicas. Como se señaló en otros espacios, se reconoció el hecho de que estas tecnologías pueden facilitar y acelerar el proceso de creación de contenidos multimedia hiperrealistas.

La presentación que hizo el equipo de WITNESS sobre el uso de la IA generativa para la defensa de los derechos humanos, en la que se detallan ejemplos de cómo puede utilizarse esta tecnología para proteger la identidad de personas en situación de riesgo, para visualizar testimonios y para la sátira y la expresión artística, también tuvo eco entre lxs participantes del encuentro.

Una de las personas participantes hizo hincapié en el potencial, no sólo para ayudar a crear contenidos, sino también analítico de la IA y en cómo podría utilizarse en otros momentos de creación o el uso de contenidos audiovisuales, como la investigación, o en prácticas archivísticas posteriores, por ejemplo para la categorización o la interpretación.

Lxs participantes aclararon que ninguna de estas oportunidades es intrínsecamente positiva. La facilidad y rapidez de la creación de contenidos, por ejemplo, puede ser útil en determinadas circunstancias, como cuando el tiempo apremia, pero en muchos otros casos puede ser contraproducente, como en el proceso de creación de películas comunitarias que, como se ha señalado anteriormente, suele ser lento a propósito. O más notablemente, quizás, el hecho de que las mismas herramientas de IA utilizadas para analizar videos para la defensa de los derechos humanos puedan utilizarse para la vigilancia y el control.

Este arma de doble filo de los medios sintéticos significa que cualquier estrategia de IA y medios sintéticos debe ser interseccional; es decir, debe reconocer que se basa en injusticias estructurales existentes, como el colonialismo o una importante brecha digital, que pueden socavar los esfuerzos bien intencionados. Por ejemplo, los intentos de abordar los prejuicios en los modelos de IA son loables, pero si no están liderados por las personas y comunidades subrepresentadas, podrían acabar siendo más perjudiciales.

Promover la inclusión en el desarrollo tecnológico con redes regionales

Un tema recurrente a lo largo de los dos días del taller fue la necesidad de que América Latina, y en especial las comunidades que han sido marginadas dentro de esta región, se “apropien” de las tecnologías de IA, es decir, que tengan pertenencia de las mismas y que estas herramientas se adapten a sus realidades para tener pertinencia. Durante el evento, lxs participantes se refirieron a esta IA generativa y a los medios sintéticos dirigidos comunitariamente como un objetivo y como un proceso mediante el cual estas tecnologías pueden estar a la altura de su potencial y, al mismo tiempo, mitigar y evitar la mayoría de los daños existentes y potenciales mencionados anteriormente.

Aunque no se debatió una definición específica para esta IA generativa y medios sintéticos dirigidos comunitariamente, lxs participantes del taller la introdujeron en referencia al ideal de que las comunidades locales retengan, a través de procesos democráticos, una influencia crítica sobre la tecnología: sobre cómo se desarrolla, regula y utiliza. Basándose en la comprensión generalizada de las posibilidades existentes, esto podría significar, por ejemplo, que las comunidades locales podrían trabajar con personas desarrolladoras de modelos fundacionales para desplegar IA perfeccionada bajo sistemas innovadores de gobernanza dirigida comunitariamente.

Reconociendo, sin embargo, que la representación también es necesaria en las fases previas, donde se desarrollan los modelos fundacionales utilizados en todo el mundo, las personas participantes destacaron la necesidad de que más voces de la mayoría global tengan un lugar en la mesa. Para ello es necesario crear -más- espacios dentro de los organismos de estandarización, las empresas, las organizaciones internacionales e incluso en determinados órganos legislativos del norte global para escuchar y comprender cómo afectan estas tecnologías a las personas y comunidades de todo el mundo.

Para lxs participantes, esto también significó que, dentro de América Latina, existe la necesidad de una coordinación y cooperación más articuladas, especialmente por parte de la sociedad civil, no sólo para ofrecer una postura más contundente contra los procesos externos que afectan a la región, sino para compensar la falta de recursos dedicados, compromiso político y apoyo institucional.

Puntos clave para la estrategia de WITNESS de “Fortalecer la verdad”

Para WITNESS, esto reafirma nuestros esfuerzos para seguir conversando con comunidades que llevan a cabo un trabajo crucial de derechos humanos, de manera que podamos ser puente transmitiendo necesidades y riesgos globales a la configuración y construcción de tecnologías emergentes como la IA generativa y los medios sintéticos.

El taller de Bogotá también reafirmó la importancia de la alfabetización mediática para el público en general y los medios de comunicación como primera línea de defensa contra los daños causados por los medios sintéticos, y subrayó que las soluciones integrales a largo plazo deben incluir métodos de transparencia (como marcas de agua y procedencia de los medios) que protejan la privacidad y la libertad de expresión, y el acceso a herramientas que puedan detectar los medios sintéticos. También se hizo hincapié en la necesidad de establecer responsabilidades claras en todo el espectro de partes interesadas que intervienen en el ecosistema de los medios sintéticos. Nuestros principios rectores y recomendaciones sobre deepfakes, medios sintéticos e IA generativa, así como nuestras áreas de intervención más amplias para fortalecer el ecosistema de la información, están en consonancia con estas conclusiones.

Sé parte de la respuesta: un llamado a investigadorxs, empresas tecnológicas, legisladorxs, responsables políticos, activistas, periodistas, creadorxs y defensorxs de los derechos humanos

WITNESS continuará consultando globalmente con periodistas, verificadorxs de hechos, tecnólogxs, defensores de políticas, creadorxs, defensorxs de derechos humanos y activistas comunitarixs sobre las amenazas y oportunidades que la IA generativa y los medios sintéticos traen al testimonio audiovisual, y las respuestas que estas comunidades priorizan para construir un panorama de información más fuerte.

También puedes leer el informe completo del taller de WITNESS en Bogotá, agosto 2023 (disponible en español).

Si quieres formar parte de la conversación, o tienes sugerencias para colaboraciones, por favor ponte en contacto con nosotrxs enviando un correo electrónico a Raquel Vázquez Llorente: raquel@witness.org