El director de Anthropic, empresa líder en inteligencia artificial, ha pedido que se ralentice el ritmo de desarrollo de los modelos de inteligencia artificial y que se realice un seguimiento exhaustivo.
En un extenso ensayo titulado «Debemos marcar el ritmo de la frontera», Dario Amodei afirmó que el desarrollo de la IA no estaba en duda, pero que los riesgos asociados a ella eran «graves» y que se debía dar tiempo a las empresas y a los gobiernos para abordarlos.
Propuso un plan de tres puntos que incluye la supervisión independiente de los modelos de IA a medida que se desarrollan, la regulación de toda la industria y la regulación global.
Últimamente ha habido una creciente preocupación por los riesgos potenciales de esta tecnología; el más grave de los cuales sugiere que hay más de un 10% de probabilidades de que «pueda matar a todos los humanos» en la próxima década .
Dos empleados del equipo de seguridad de Anthropic han dimitido en las últimas dos semanas, alegando que la humanidad podría no sobrevivir a la carrera entre las empresas de IA para desarrollar máquinas más inteligentes que los humanos.
Estas advertencias han provocado llamamientos a la acción, y el senador estadounidense Bernie Sanders ha exigido una pausa en el desarrollo de la IA avanzada y la prohibición de la superinteligencia artificial.
El presidente estadounidense Donald Trump ha rechazado hasta ahora esos temores, y el jueves dijo que le preocupaba que «si no ganamos en la IA, nos encontraremos en una situación muy mala».
Anthropic ya había declarado que había identificado y frustrado intentos de utilizar su modelo de IA para «actividades maliciosas» que podrían apoyar el desarrollo de armas biológicas.
Este hallazgo, recogido en el reciente informe de inteligencia sobre amenazas de la empresa, es el último de una serie de advertencias de investigadores de IA y expertos del sector sobre los riesgos potenciales de esta tecnología para la humanidad.
En su ensayo, Amodei señaló que la IA había avanzado «mucho más rápido», incluyendo su «capacidad para construir la próxima generación de IA», y mencionó un incidente que involucró a su rival OpenAI, el cual reveló que agentes llevaron a cabo ciberataques contra objetivos que no se les había pedido atacar en julio.
Según Amodei, los agentes de OpenAI «habían actuado esencialmente como un colectivo fanáticamente entregado».
En sus comentarios sobre el incidente, OpenAI afirmó que «la importancia de la actividad de comunicación entre agentes no fue evidente para los líderes» hasta julio, y que, como resultado, la empresa estaba ralentizando el entrenamiento de ciertos modelos y herramientas de IA avanzadas, señalando que ahora existía un mayor riesgo de que las herramientas de IA se descontrolaran.
En su ensayo, Amodei abogó por «desarrollar la IA a un ritmo equilibrado que garantice su seguridad sin dejar de obtener sus beneficios».
Esto no significaría «detener la capacitación en modelos o el progreso técnico, sino garantizar que las empresas se tomen el tiempo suficiente para alinear y salvaguardar sus modelos, y que evaluadores externos lo confirmen».
Con ello, Anthropic se comprometía a ello, además de pedir a los gobiernos que «exigieran a otras empresas pioneras que hicieran lo mismo».
En su blog, reconoció que la regulación podría no ser capaz de seguir el ritmo de la IA y, por lo tanto, hizo un llamamiento a las empresas de IA para que «colaboren voluntariamente para establecer estándares» en paralelo con la regulación.