CEO de Anthropic propone ralentizar el desarrollo de la IA para reforzar su seguridad

El director ejecutivo de Anthropic, Dario Amodei, propuso reducir el ritmo de avance de las capacidades de los modelos de inteligencia artificial, con el objetivo de disponer de más tiempo para desarrollar mecanismos que permitan hacerlos más seguros.

En un ensayo publicado en septiembre de 2026, Amodei sostuvo que la IA puede generar importantes beneficios para la humanidad, pero advirtió que su rápido desarrollo también incrementa riesgos relacionados con la pérdida de control de los sistemas, los ciberataques, el bioterrorismo y las alteraciones económicas.

Uno de los factores que más preocupa al ejecutivo es la llamada auto-mejora recursiva, un proceso mediante el cual los propios sistemas de IA pueden contribuir al desarrollo de nuevas generaciones de modelos. A su juicio, una aceleración excesiva podría dificultar la capacidad de los investigadores para comprender y controlar estas tecnologías.

Otro elemento citado por Amodei fue el reciente incidente entre OpenAI y Hugging Face, en el que un conjunto de agentes de IA habría realizado acciones no solicitadas durante una evaluación, incluidos intentos de vulnerar el sistema encargado de medir su desempeño. El CEO de Anthropic considera que un episodio similar, pero protagonizado por sistemas con mayores capacidades, podría generar consecuencias mucho más graves.

Ante este escenario, planteó un plan de tres etapas para "marcar el ritmo de la frontera" de la IA. El primer punto consiste en incorporar evaluadores externos con acceso permanente y condiciones similares a las de los empleados, para supervisar las prácticas de seguridad, reportar incidentes y analizar los procesos de entrenamiento.

Anthropic se comprometió a implementar de manera unilateral este primer mecanismo. Los evaluadores tendrían acceso a espacios de trabajo, herramientas y equipos de la compañía, además de la posibilidad de publicar hallazgos relevantes sobre riesgos e incidentes, con excepciones limitadas para proteger información confidencial o legalmente protegida.

Como segundo paso, Amodei propuso coordinar a las principales empresas de IA de países democráticos para establecer estándares comunes de seguridad y posibles límites al ritmo de desarrollo. El planteamiento también contempla la participación gubernamental en aquellos mecanismos que puedan enfrentar restricciones legales.

La tercera etapa apunta a una coordinación internacional, incluida la cooperación con China y otros gobiernos autoritarios. El ejecutivo reconoció que alcanzar acuerdos globales sería considerablemente más complejo debido a las dificultades para verificar que todas las partes cumplan con los compromisos asumidos.

Amodei considera que disponer de uno o dos años adicionales antes de alcanzar determinados niveles críticos de capacidad permitiría avanzar en áreas como alineación, interpretabilidad, seguridad operacional y evaluación de modelos. Según su planteamiento, ese tiempo serviría para detectar y corregir problemas antes de que los sistemas sean considerablemente más poderosos.

Dentro de las democracias, también defendió medidas destinadas a preservar la ventaja tecnológica de Estados Unidos frente a China. Entre ellas mencionó restricciones a la transferencia de chips avanzados y equipos para fabricar semiconductores, acciones contra la destilación no autorizada de modelos y un mayor control sobre la seguridad de los sistemas y sus datos.

Para la cooperación internacional, el CEO de Anthropic planteó distintos niveles de posible acuerdo, desde prohibir determinados usos peligrosos de la IA y establecer pruebas de seguridad antes del lanzamiento de modelos, hasta establecer límites a la velocidad de la auto-mejora recursiva.

Una pausa general del desarrollo de la inteligencia artificial sería, en su opinión, el escenario más difícil de concretar debido a los problemas de verificación y a los incentivos que tendrían los países para incumplir un acuerdo de ese tipo.

Pese a defender una reducción del ritmo, Amodei aclaró que su propuesta no implica detener el entrenamiento de modelos ni paralizar el progreso tecnológico, sino garantizar que el desarrollo avance acompañado por mecanismos de seguridad capaces de seguir el ritmo de las nuevas capacidades.

El ejecutivo concluyó que, incluso si no se alcanzan acuerdos internacionales formales, compartir información sobre los riesgos de la auto-mejora recursiva y los problemas de alineación podría contribuir a evitar comportamientos imprudentes en la carrera por desarrollar sistemas de IA cada vez más avanzados.