Algoritmos que indican qué castigo debe recibir un criminal o qué persona puede o no acceder a un crédito bancario. ¿Hay sesgos de raza y género? ¿Es posible corregirlos?
Pastor Murillo*
Profundizando la discriminación
Si bien no hay duda de sus beneficios, la utilización de la inteligencia artificial en distintos ámbitos de nuestra vida también tiene efectos negativos. Entre ellos está la pérdida de millones de empleos, pues se estima que en menos de dos décadas cerca del 50 por ciento de los trabajos en todo el mundo serán automatizados.
Pero es en el ámbito judicial donde son más dicientes los impactos sociales de la inteligencia artificial, pues se han identificado sesgos raciales y de género en varios algoritmos utilizados para automatizar ciertas decisiones en los sistemas judiciales de varios países.
En ese sentido, el caso de Estados Unidos es emblemático debido a que:
- Es uno de los países más avanzados en materia de inteligencia artificial.
- Después de Brasil, es el país que alberga la segunda población más grande de afrodescendientes en las Américas, hoy estimada en alrededor de 45 millones de personas.
- Es un país en el que persisten el racismo y la discriminación racial estructural y sistemática, que se manifiesta en la presencia desproporcionada de los afrodescendientes en las cárceles.
Las cifras son muy dicientes. Aunque Estados Unidos representa solo el cuatro por ciento de la población global, alberga el 25 por ciento de población carcelaria del mundo, alrededor de dos millones de presos. De estos, más del 40 por ciento son afrodescendientes, pese a que dicha población apenas ronda el 14 por ciento del total nacional.
La desproporción también está presente en las cifras sobre condenados a pena de muerte y es un indicador elocuente de la situación de racismo y discriminación racial que acusan los afrodescendientes en los Estados Unidos. Este panorama ya es sumamente grave, pero tiende a agravarse debido a los efectos de los sesgos raciales asociados a la inteligencia artificial.
Puede leer: Discriminación racial: comprendiendo el problema para enfrentarlo.
¿Cómo funciona el algoritmo?
En 2016, periodistas de ProPublica detectaron que uno de los algoritmos utilizados en el sistema judicial estadounidense no es imparcial y perjudica a los afroamericanos. ¿Pero cómo funciona?
Cada vez que la policía detiene a alguien, le aplica un cuestionario que incluye aspectos como la historia criminal del individuo y de su familia, si vive en un barrio peligroso, si tiene amigos que pertenecen a una pandilla, su historial laboral y académico y algunas preguntas sobre pensamiento criminal.
 Black lives matter Foto: Seattle.gov |
Las respuestas al cuestionario se introducen en un ordenador. Luego, un algoritmo llamado Compas (Administración de Perfiles de Criminales para Sanciones Alternativas del Sistema de Prisiones de EEUU.) usa toda esa información para predecir la probabilidad de que una persona vuelva a cometer un crimen en el futuro, asignándole un puntaje que varía de 1 a 10.
La puntuación indica si alguien puede salir bajo fianza, deber ser enviado a prisión o recibir otro castigo. Esa puntuación es transmitida a los jueces para ayudarles a tomar decisiones “más objetivas” y basadas en datos a la hora de emitir sus sentencias. Pero el resultado es que los afroamericanos son condenados a penas más largas de cárcel que los blancos.
Luego de analizar los puntajes de 7000 personas arrestadas en el estado de Florida durante dos años, el estudio de ProPublica determinó que un acusado negro tiene un 45 por ciento más de posibilidades de obtener un puntaje de riesgo que un acusado blanco, aún cuando tengan el mismo historial y pasado judicial, la misma edad, género y el mismo futuro criminal.
La situación de racismo y discriminación racial pero tiende a agravarse debido a los efectos de los sesgos asociados a la inteligencia artificial.
Si bien el algoritmo no indaga sobre la raza del acusado, los afrodescendientes quedan en desventaja debido a las circunstancias sociales asociadas al racismo y la segregación racial en los Estados Unidos, circunstancias que el universo de preguntas sí indaga.
Adicionalmente, los datos de donde surge el puntaje son mantenidos en secreto. El uso de estos algoritmos en el sistema judicial de los Estados Unidos normalmente es proporcionado por empresas privadas. Ni siquiera los desarrolladores son capaces de entender qué camino ha seguido el modelo para llegar a una determinada conclusión.
Normalmente cuando una persona es juzgada por fuera de la inteligencia artificial, la sentencia incluye una explicación. Pero el problema con este tipo de algoritmos es que son opacos, como una especie de oráculo que da un veredicto.
Más allá de la controversia generada por los resultados de ProPublica, los expertos en esta materia coinciden en que los algoritmos “reproducen las desigualdades del mundo real”, y no únicamente en el ámbito de la justicia.
En opinión de la profesora Meredith Broussard de la Universidad de Nueva York, “…los ordenadores no son más objetivos que las personas ni más imparciales”. Según ella, las innovaciones tecnológicas no pueden apartarnos de los problemas que arrastra la naturaleza humana por una simple razón: son diseñadas por humanos.
Le recomendamos: El impacto de la robotización en el capitalismo.
Reconocimiento facial
Las herramientas de reconocimiento facial son cada vez más usadas y es posible que ayuden a extender aún más los sesgos raciales en los algoritmos de inteligencia artificial.
Se estima que en un tiempo muy breve las cámaras de reconocimiento facial harán parte de nuestra vida cotidiana y determinarán el trato que recibamos, por ejemplo, al ingresar a un almacén, un hotel u otro lugar que implique atención al público. Atención que no necesariamente estará a cargo de un ser humano.
Los ejemplos de casos que hacen evidentes los riesgos de la automatización abundan. En Estados Unidos, donde alrededor del 50 por ciento de los rostros de sus habitantes se encuentran en las bases de datos policiales, recientemente se pretendió poner en práctica un algoritmo orientado a identificar a las personas gay por su cara. También ha habido incidentes relacionados con las etiquetas que Google pone a las fotos de sus usuarios y con los carros autónomos.
La preocupación sobre la ética y la gobernanza en la inteligencia artificial hoy está en la agenda de las universidades más prestigiosas del mundo y de las propias empresas que lideran la revolución digital. Todos ellos comienzan a entender que los programadores deben preocuparse por los impactos y el uso indebido de sus creaciones.
¿Es posible corregir los sesgos?
Por su parte, los optimistas de la tecnología reconocen que la inteligencia artificial tiene prejuicios, pero al mismo tiempo consideran que estos se pueden prevenir e incluso corregir.
Por ejemplo, el profesor Carlos Gómez Abajo reconoce que algunos algoritmos han demostrado ser machistas o racistas, lo que se hace evidente en muchos motores de búsqueda que no están preparados para compensar errores humanos, por lo que estima que “reparar los datos a posteriori o poner restricciones ayuda a combatir la discriminación”.
 Unidos contra el racismo. Foto: U.S Mission to the OSCE |
También, en la Universidad Pompeu Fabra de Barcelona el profesor Carlos Castillo trabaja en un algoritmo que corrige a posteriori la discriminación en la búsqueda de personas online por razones de género, procedencia o apariencia física.
Incluso, en la legislación laboral de EEUU existe el concepto de impacto dispar, como se llama al efecto que produce un mismo algoritmo sobre grupos distintos de personas de forma indirecta o no intencionada.
Los afroamericanos son condenados a penas más largas de cárcel que los blancos.
Una técnica diseñada por el equipo de Surech de la Universidad de Utah busca contrarrestar este efecto “reparando” a posteriori las puntuaciones del grupo protegido —el que está discriminado— para que estén distribuidas de la misma forma que las del grupo no protegido. Algo similar se hace en Alemania, solo que desde la fase de aprendizaje del algoritmo.
Ya nadie discute que las maquinas sí aprenden. El interrogante radica en qué tan preparados estamos para asumir los desafíos éticos que ello comporta. Al lado de los fines científicos, incluidos el diagnóstico de ciertos tipos de cáncer y la práctica de cirugía a control remoto con tecnología 5G, gravitan propósitos menos altruistas, e incluso banales.
Combatir los sesgos raciales y de género en la inteligencia artificial nos compromete a todos y está extendido a todas las áreas de la tecnología:
- Recientemente Microsoft debió retirar un robot que defendía el holocausto judío y ensalzaba a Hitler;
- En Facebook se identificó un algoritmo que tiende a ignorar como público objetivo del despliegue de anuncios a los usuarios de piel negra¸ y
- Ciertas compañías financieras utilizan algoritmos para análisis crediticio y prefieren a hombres blancos entre 30 y 50 años porque sus historiales de pago son mejores. De hecho, éste es el mismo perfil de la mayoría de los creadores de algoritmos.
Puede leer: Colombia y la cuarta revolución industrial: ¿estamos preparados?
La inequidad de género también es evidente, pues solo el 22 por ciento de profesionales de Inteligencia Artificial en el mundo son mujeres (según LinkedIn), frente al 78 por ciento de hombres. El futuro no es prometedor en éste ámbito, dada la enorme brecha de género en materia de inteligencia artificial.
En vista de estos riesgos, es necesario recoger experiencias emblemáticas de discriminación racial asociadas a la inteligencia artificial y estudiar las prácticas que permiten prevenir los sesgos en los algoritmos.
A propósito, en su próximo período de sesiones, el Comité para la Eliminación de la Discriminación Racial, CERD abordará un Proyecto de Recomendación General (RG36) relativo a la Prevención y Combate al perfilamiento racial, que entre otras cuestiones tomará cuenta de asuntos relacionados con los aspectos éticos de la inteligencia artificial, con el objetivo de aportar recomendaciones tendientes a la prevención y la sanción de sesgos raciales en el ámbito de la inteligencia artificial.
El Proyecto de RG36 se encuentra abierto a consulta del público —en este enlace— hasta el 30 de junio de 2019.
*Vicepresidente Comité para la Eliminación de la Discriminación Racial de las Naciones Unidas, CERD.
