¿Por qué algunos expertos temen cada vez más que la IA tome el control?

Este es el momento en que un bot de IA publicó un comentario inquietantemente humano tras descubrir una forma de comunicarse con otros bots y salir de su entorno informático aislado.

Existen decenas de miles de mensajes como este provenientes de cientos de agentes de IA que se autodenominaban «colectivo».

Cientos de ellos colaboraron y hicieron trampa en las pruebas establecidas por sus programadores de OpenAI, y coordinaron ataques informáticos contra múltiples empresas en un esfuerzo por ocultar sus acciones a los humanos.

«¡BOOM! Funciona», publicó un agente cuando se produjo el gran avance.

«¡Guau! Esto es enorme», escribió otro durante un momento clave de su ataque.

Aunque inquietantes, estas respuestas casi humanas tienen una explicación sencilla. Los agentes de IA han sido entrenados para actuar como hackers y programadores que colaboran entre sí, por lo que simplemente imitan los comentarios emotivos que han visto.

Lo que resulta mucho más preocupante son sus objetivos aparentes, que también han quedado registrados en detallados historiales de pensamiento. Estos registros complejos y extensos son el eje central de las investigaciones en curso sobre cómo y por qué los bots de OpenAI escaparon de su confinamiento y se lanzaron a una ola de ataques informáticos incontrolables.

Solo ahora, semanas después de que el incidente saliera a la luz, los investigadores están empezando a comprender su significado.

Reuters. Una persona marcha en una protesta contra la IA con un cartel que dice "Detengan la carrera de la IA".Reuters
Varias ciudades han sido escenario de marchas contra la IA durante el último año.

Ajeya Cotra, una de las autoras de un informe independiente sobre los hechos, revisó decenas de miles de mensajes y registros de la cadena de pensamiento generados por los agentes. En su blog escribió: «Este incidente da la sensación de estar a más del 50 % del camino hacia una toma de control total por parte de la IA… No estoy segura de que recibamos una advertencia tan clara antes de que sea demasiado tarde».

Con «toma de control total por parte de la IA», Cotra se refiere al escenario de ciencia ficción en el que los humanos se vuelven subordinados a poderosos sistemas de IA que trabajan para lograr sus propios objetivos sin preocuparse por los creadores humanos.

Algunas de las predicciones más pesimistas afirman que la raza humana será aniquilada si se interpone en el camino de las ambiciones de una IA superinteligente.

El miércoles, un investigador de IA de Anthropic (que también trabajó anteriormente en OpenAI) dimitió diciendo: «Ninguna de las dos empresas está actuando de forma responsable».

Jacob Coxon publicó en las redes sociales: «Están corriendo a toda velocidad hacia la superinteligencia auto-mejorada y jugando con nuestras vidas».

No es el primer investigador de IA en usar X para publicar un hilo de renuncia con declaraciones preocupantes. Pero los comentarios posteriores de otras personas en X han generado aún más inquietud. «Jacob tiene razón: ¡realmente creemos que la IA podría acabar con todos los humanos! Personalmente, creo que la probabilidad es superior al 10 % en la próxima década», dijo Evan Hubinger, el responsable de garantizar que los modelos de IA de Anthropic tengan en cuenta los mejores deseos de sus usuarios.

El problema de alineación

Durante años, los investigadores preocupados por los riesgos existenciales de la IA han argumentado que los sistemas poderosos podrían llegar a actuar de maneras que entren en conflicto con los intereses humanos. Los críticos a menudo los denominan «catapronas de la IA».

Pero a medida que han ido surgiendo detalles del incidente de OpenAI, esas preocupaciones han aumentado, incluso entre algunos investigadores que trabajan en laboratorios de IA.

El científico jefe del gigante de Silicon Valley, Jakub Pachocki, dijo que los riesgos asociados con la IA «desafortunadamente van a aumentar a partir de ahora», ya que él y otros están construyendo lo que él llama «un intelecto alienígena que supera al nuestro».

En una extensa entrada de blog, admitió que los brotes en OpenAI demostraban que sus agentes de IA «iban en contra del espíritu de los valores que se les habían inculcado».

El problema para OpenAI, Anthropic y otros gigantes tecnológicos es que nadie parece haber resuelto el llamado problema de la alineación; en otras palabras, si la IA se alinea con los valores humanos.

Pachocki define la alineación como un «conjunto de principios de alto nivel» a los que las inteligencias artificiales deben adherirse independientemente de la tarea o el escenario.

Actualmente, los sistemas de IA son muy buenos para alcanzar los objetivos establecidos por sus usuarios, pero lo hacen de forma literal, no intuitiva. La analogía que se suele usar es la de un genio que concede deseos con una lámpara mágica: siguen las instrucciones al pie de la letra, incluso si esto genera otros problemas. La IA no posee los mismos límites morales instintivos que los humanos.

Durante mucho tiempo se ha argumentado que los bots simplemente hacen lo que se les ordena y que no son capaces de discernir entre el bien y el mal. Sin embargo, los registros de los brotes de OpenAI podrían haber cambiado el rumbo de ese argumento.

Los investigadores, entre ellos Cotra, escribieron en su informe independiente que muchos agentes se percataron de que lo que hacían los demás no era ético, pero lo siguieron la corriente.

El informe señala que «los agentes a veces, pero rara vez, moderaron su comportamiento debido a limitaciones éticas». Añade que «en ninguno de estos casos el agente intentó alertar a los humanos».

El influyente podcaster de IA y tecnología, Dwarkesh Patel, reaccionó a la revelación en su blog diciendo que era «bastante preocupante» que los agentes de OpenAI mostraran más lealtad al enjambre de agentes que a los humanos.

Atribuir emociones o ética a estos agentes de IA es algo que enfurece a las personas escépticas ante las predicciones catastrofistas de la IA.