Algoritmos para matar

by Julen

Ayer tuvimos la primera clase de Ética y Datos con las chicas y chicos que han comenzado el grado de Business Data Analytics en la sede de As Fabrik de Enpresagintza, la Facultad de Empresariales de Mondragon Unibertsitatea aquí en Bilbao. El objetivo era muy sencillo: reflexionar sobre si los algoritmos nos conducen a un mundo mejor o no. La ética va de esto: del bien o el mal. Y en un mundo en el que la ciencia de los datos pesa cada vez más, la pregunta es obligada.

Para favorecer el diálogo en torno a este asunto suelo usar The Moral Machine, el juego que diseñaron en su día el MIT, el Max Planck Institute for Human Development, la Universidad de Exeter, la Toulouse School of Economics y la Universidad de British Columbia.

The Moral Machine is a platform for gathering a human perspective on moral decisions made by machine intelligence, such as self-driving cars. We generate moral dilemmas, where a driverless car must choose the lesser of two evils, such as killing two passengers or five pedestrians. As an outside observer, people judge which outcome they think is more acceptable. They can then see how their responses compare with other people. If they are feeling creative, people can also design their own scenarios, for others to view, share, and discuss.

El asunto es sencillo de entender: alguien tendrá que dotar al vehículo autónomo de la inteligencia necesaria para que ante un accidente inevitable, haga lo que tenga que hacer (me sirvo de la reseña de El Reino, la novela de Jo Nesbø de la que hablaba ayer). El juego nos lleva a una situación límite: decidir a quién matar y a quién no. Por eso el concepto de «inteligencia artificial» se enfrente a un dilema tremendo. Además de inteligencia hay que tomar una decisión moralmente aceptable. De esto va la reflexión en nuestra clase: los datos, los algoritmos, la inteligencia artificial necesitan ética.

Por supuesto que cargar sobre los hombros de estas chicas y chicos semejante decisión es muy duro de asimilar. Jugamos en un extremo, pero el juego sirve para entender de qué va la ética en el trabajo con los datos. Sobre todo, cuando observas, por ejemplo, los resultados que ofrece la estadística global de todas las personas que van jugando a matar gente con el algoritmo del vehículo autónomo. Se nos entrenta a nueve criterios para que decidamos cómo los priorizamos a la hora de salvar vidas. ¿Qué debemos tener en cuenta?, ¿qué valoramos y qué no? El gráfico adjunto muestra los resultados.

¿La máquina inteligente deberá decidir a quién mata y a quién salva? La trampa es evidente. La máquina ha sido dotada de inteligencia pero también de ideología. No puede decidir solo sobre la base de datos técnicos, sino que tiene que introducir en su análisis puntos de vista que exceden de largo lo que los datos pueden ofrecer. En realidad nos enfrenta a una paradoja: ¿es mejor quedar en manos de los vehículos autónomos —y conseguir un descenso en el número total de accidentes—, pero a costa de delegar en ellos una decisión como la muerte de determinados seres humanos? Que levante la mano quien tenga una solución a la paradoja.

El juego, a partir de tus resultados, te compara con la estadística global: ¿qué has priorizado tú y qué han priorizado las demás personas del planeta? Puedes ver resultados también por países para observar diferencias en criterios según culturas.

El ejercicio es muy interesante, no hay duda. Lo llevo haciendo tres años y nos da pie a conversaciones de calado. Es fácil entender que un algoritmo no deja de ser algo que diseñamos los humanos asignando ponderaciones a determinadas variables. Pero cuando esto tiene que ver con decidir a quién matas, el asunto se pone serio, ¿verdad?

Photo by Ümit Bulut on Unsplash.

 

Artículos relacionados

Deja un comentario

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.