Algoritmos sexistas, xenófobos y que discriminan

Se conoce como "problème des ménages" al enunciado propuesto por primera vez por el matemático francés François Édouard Anatole Lucas (1842-1891) en 1891. El mismo se puede enunciar de la siguiente forma:

"En una mesa circular se deben ubicar un conjunto de n parejas mujer-hombre con la restricción de que ninguna persona del mismo sexo o perteneciente a la misma pareja quede sentada al lado de la otra. Cuantas configuraciones posibles existen?"

Este problema matemático fue por primera vez respondido mediante una fórmula matemática por  Jacques Touchard en "Sur un probleme de permutations" en el año 1934:

Por ejemplo:

Para 3 parejas (n=3) podemos encontrar 12 configuraciones diferentes. Para 4, 96. Y el número va creciendo: 3120, 115200, 5836320, 382072320, 31488549120 ...

Solución al problema de las parejas para n=3

En matemática una formula sola no alcanza para resolver un problema. Se le debe sumar la demostración de optimalidad. En el problema de las parejas, se debe mostrar que para cualquier numero de parejas la formula retorna la solución correcta. Esa demostración fue explicitada en 1943 por Irving Kaplansky.

El razonamiento de Kaplansky, implica un procedimiento que podía resumirse como "primero se sientan las mujeres, luego se ubican los hombres". La gran mayoría de los matemáticos que atacaron este problema utilizaron el mismo concepto (Que para el período entre que se planteó el problema y se resolvió se podía considerar como "galante" y "caballeroso")

En el año 1986, Kenneth Bogart y Peter Doyle publicaron su paper ''A Non-Sexist Solution of the Menage Problem''. En su enunciado, indican que su solución es más elegante y directa que la sexista. Afirman que la tradición de "las mujeres primero" retraso en medio siglo el descubrimiento la formulación. Y que es otro ejemplo donde el sexismo se interpuso en el avance de las matemáticas.

Se puede realmente achacar esto al sexismo? A qué otros ejemplos se refieren?

El mismo año de la publicación de Bogart y Doyle, el New York Times publicó un artículo haciéndose eco de esta acusación. En el articulo "MATH + SEXISM: A PROBLEM" se pusieron en contacto por Kaplansky para dar derecho a réplica.

Kaplansky se mostró abochornado de la situación. Afirmó que se lo puede achacar a un pecado de juventud. Que de ninguna manera el sexismo influía en su solución. Que, en definitiva, lo que proponía era un modelo matemático y que se podía pensar a los hombre y mujeres como fichas blancas y rojas que había que acomodar. Que era un camino de pensamiento naive y natural comenzar a atacar el enunciado pensando en 2 grupos.

Hay que reconocer que, en este caso, no hay diferencia en las soluciones posibles si el hombre se sienta primero, o la mujer, o si se encara el problema ubicando de a parejas (como proponen Bogart y Doyle). Las configuraciones resultantes son exactamente las mismas. Por lo tanto, si bien se puede utilizar para la construcción del resultado diferentes conceptualizaciones, no hay perjuicio para nadie. También hay que reconocer que la explicación de Kaplansky no es del todo cierta. Si la elección fuese simplemente entre dos conjuntos y su eleccion inicial indiferente, nos hubiéremos encontrado con soluciones repartidas entre "sentar primero a los hombre" y "sentar primero a las mujeres".

Las construcciones de enunciados, soluciones y justificaciones están inmersas siempre en una cultura de un lugar y un momento. De forma consciente o inconsciente las creencias, relaciones de poder y prejuicios se entraman en ellas. En ocasiones se podrían considerar "anecdóticas". Pero en otras situaciones tienen consecuencias serias. Para muestra se puede analizar el celebre trabajo "College Admissions and the Stability of Marriage" de los autores D. Gale y L. S. Shapley (1969)

Gale y Shapley analizan inicialmente un problema de admisión de estudiantes a instituciones educativas. En este escenario cada establecimiento tiene un cupo de ingresantes y cada interesado aplica en varios de ellos. Ambas partes tienen un listado de preferencias y por lo tanto al momento de proponer, aceptar o rechazar se basan en ellas.

Para simplificar el problema, Gale y Shapley enuncian uno nuevo que llaman "Asignación estable y el problema del casamiento". El mismo se puede resumir de la siguiente manera:

"En cierta comunidad existen "n" hombre y "n" mujeres. Cada persona mantiene un listado de preferencia sobre los de distinto genero. ¿Es posible construir un conjunto estable de matrimonios?"

Se entiende por estabilidad a que no exista al menos 2 parejas en las que un hombre prefiera romper su unión actual por la mujer en la otra pareja y que al mismo tiempo ella lo prefiera a su hombre actual.  Por ejemplo, en el caso mas sencillo, si tenemos 2 hombres y 2 mujeres. Los rotulamos como H1, H2 y M1, M2 respectivamente. H1 prefiere a M1 sobre M2. M1 prefiere a H1 sobre H2. Entonces las parejas (H1,M2) y (H2,M1) son inestables.

A mayor cantidad de parejas, mayor la cantidad de configuraciones posibles. Encontraremos en ellas que algunas son estables y otras inestables. Gale y Shapley Demuestran que siempre existe al menos una configuración estable. Ofrecen un algoritmo para construirla. El mismo se puede resumir en pocas palabras como:

"Cada hombre propone en orden descendiente a su preferencia. La mujer, si no tiene pareja acepta. Si ya tenía, la mantiene a menos que prefiera al nuevo oferente a su actual compañero. En cuyo caso, el hombre rechazado volverá a proponer a la mujer que sigue en su lista de preferencia y que no lo hayan rechazado aún"

La implementación de esta propuesta implica una postura sumisa e interesada de las mujeres. Pero, contrario a lo que algunos puedan creer, desfavorable a ellas. Los mismos autores explican que si existen varias posibles configuraciones estables, su propuesta encontrará a la más beneficiosa para los hombres. En su defensa, declaran que se puede realizar el mismo procedimiento inviertiendo los grupos.

De todas formas el mecanismo en sí desnuda la existencia de un grupo de poder sobre el otro. En el caso de la admisión en instituciones educativas se entiende que quien tiene el poder es la institución sobre la persona. Ahora, y a los ojos de nuestros tiempos, ni los hombres ni las mujeres se deben someter entre ellos.  Pero tampoco, existe la limitación de pareja "hombre-mujer"!.

Obviamente nos encontrarmos nuevamente en un armado de una situación problemática teórica para resolver un tipo de problema (solo una mente muy extraviada puede pensar hoy día en armar matrimonios mediante este método). Pero la "solución" se puede aplicar a otros problemas similares.

El dilema es cuando no se entienden cabalmente las implicaciones de su aplicación y se construyen soluciones con ellas que implícitamente desfavorecen grupos definidos. O cuando, por el contrario su utilización es para justamente mantener o subyugar o otros.

Gale y Shapley recibieron por este trabajo el premio Nobel de economia en 2012. El algoritmo en si, tiene diferentes aplicaciones en el mundo real (entre ellos el que realmente querían resolver: admisiones en instituciones). Su explicación encuentra en varios libros de enseñanza de algoritmia universitaria. Es elegante y conciso.

Los algoritmos no son ni buenos ni malos. Resuelven problemas con ciertas características. Cuando forzamos al algoritmo en situaciones donde no corresponde, a conciencia o sin ella, es cuando surgen los conflictos . A veces incluso hasta el mínimo detalle puede generar discriminaciones no deseadas.

Veamos un caso hipotético: Se desea otorgar becas a aquellos estudiantes con mejores promedios. Los aplicantes a la misma se registran en un listado. Ese listado en entregado en un archivo informático ordenado en forma creciente por numero de documento nacional de identidad (dni). El programa para otorgar las becas simplemente ordena de mayor a menor promedio y realiza un corte hasta el cupo máximo.

No parece ser un problema complicado. Cualquier estudiante que haya visto algoritmos de ordenamiento los puede resolver. ¿Cuál es el problema?

El problema comienza cuando tenemos en cuenta que pueden existir empates entre promedios.
En ese caso el algoritmo de ordenamiento elegido jugará un papel clave. Existen ciertos algoritmos de ordenamiento conocidos como estables. En ellos se tiene como propiedad que en el momento de ordenar, si existen varios elementos con el mismo valor, se mantendrán en el mismo orden en que aparecen originalmente en el archivo de entrada. Por ejemplo, el cada vez mas popular lenguaje de programación, Python utiliza como método de ordenamiento Timsort que es estable.

Imaginen un caso extremo, todos los aplicantes tienen el mismo promedio. Entonces, los de menor edad (con numero de dni mayor) serán excluidos de la beca. Es este un método de elección que discrimina por edad? Peor aun, a los ciudadanos extranjeros nacionalizados en Argentina se les otorga un DNI numerado con valores superiores a 90 millones (los nacidos en Argentina tienen numeraciones en valores mucho menores). Es este un método xenófobo?

La respuesta en ambos casos se puede responder por la afirmativa. La realidad es que el programador o analista que haya definido el método probablemente no lo sea. Solo le faltó analizar una parte de las implicaciones de su solución.

Este caso simple puede tener implicaciones fuertes. Es una construcción teórica, pero bajo el mismo principio ocurren y ocurrieron situaciones no deseadas similares. Bastan algunos ejemplos.

En el año 2015 fue desestimado un algoritmo de inteligencia artificial creado por amazon para ayudar la contratación de sus nuevos empleados. Este programa fue entrenado para evaluar curriculum de potenciales empleados y filtrar a aquellos con más potencialidad. El problema fue que se lo entreno con los curriculums históricos marcando quienes habían sido contratados y quienes no. Cuando lo comenzaron a usar notaron que el programa penalizaba a los candidatos femeninos. Es el algoritmo machista? No, la cultura del lugar históricamente lo había sido. El programa "aprendió" de los pecados de los humanos (mas correctamente se podría decir que construyo sin saberlo un sistema de reglas tendencioso).

También en el año 2015 se denunció a la herramienta de reconocimiento de imágenes de Google,  por categorizar a gente de piel oscura como "Gorilas". Nuevamente se puede achacar el problema al set de entrenamiento utilizado. Al año 2018 el problema había sido resuelto simplemente quitando las categorías "Gorilas" y "Chimpances".


Quienes diseñamos programas y construimos algoritmos tenemos una responsabilidad que a veces no mensuramos. Por lo tanto, como cualquier otra profesión, la selección adecuada de los "materiales de construcción" de programas son un punto más a tener en cuenta al momento de pensarlos. Los sistemas son cada vez más complejos y están más insertos en la sociedad. Su impacto es mayor en el día cotidiano. Cuando escribamos nuestras próximas lineas de código o definamos una nueva funcionalidad de software, tengamos en cuenta que lo que hacemos puede tener consecuencias desagradables para otros. Cuando enseñemos o transmitamos conocimiento, hagamos hincapié en eso.