Propuesta de evaluadores en IA enfrenta críticas por falta de poder regulador
La iniciativa de Anthropic para incluir evaluadores de seguridad en empresas de IA ha generado controversia. Expertos advierten que sin autoridad real, el plan podría ser solo una fachada que no detendría el avance descontrolado de modelos de inteligencia artificial.
El futuro de la inteligencia artificial podría estar en manos de evaluadores de seguridad, pero ¿realmente tendrán el poder para frenar su avance descontrolado? La propuesta de Dario Amodei, CEO de Anthropic, de incorporar evaluadores de seguridad de terceros dentro de las empresas de IA ha desatado un intenso debate. A raíz de la renuncia del exinvestigador Jacob Coxon, quien alertó sobre el riesgo de que los laboratorios de frontera avanzaran hacia sistemas incontrolables, Amodei busca ralentizar esta carrera.
En un ensayo publicado recientemente, Amodei se comprometió a dar a estos evaluadores acceso comparable al de los equipos internos de riesgo, y a permitirles publicar sus hallazgos sin control editorial de la empresa, aunque con ciertas limitaciones. "Esto tiene precedentes en la industria bancaria", argumentó, sugiriendo que la supervisión continua es fundamental para la seguridad.
Pero, ¿es realmente comparable la regulación de la IA con la del sector bancario? Julie Andersen Hill, decana de la Universidad de Wyoming y experta en regulación bancaria, sostiene que sin un "interruptor de emergencia" que les permita detener operaciones, la analogía es inexacta. "Si no les das ese tipo de poder, no sé qué están haciendo", afirmó Hill. En los grandes bancos, los examinadores gubernamentales tienen una presencia constante y pueden detener prácticas riesgosas, algo que los evaluadores propuestos por Anthropic no podrán hacer.
Amodei reconoció que los evaluadores son necesarios para proporcionar una "tercera parte neutral", pero su plan no les otorga poder de ejecución. Aunque se anticipa que estos evaluadores tendrán acceso extraordinario a los sistemas de IA, su autoridad formal sobre las compañías que los desarrollan es limitada. Ni la propuesta de Anthropic ni el marco de evaluación de OpenAI permiten a los evaluadores detener el desarrollo o despliegue de un modelo.
El panorama actual, según Albert Ziegler, jefe de IA en la empresa de ciberseguridad XBOW, es menos dramático de lo que se podría pensar. Ziegler, quien ha evaluado modelos de Anthropic y OpenAI, señala que aunque su equipo puede detectar problemas, la realidad es que aún no han presenciado las "consecuencias catastróficas" que muchos temen.
Amodei advirtió que en un plazo de seis a doce meses, una "multitud desalineada de agentes" podría causar daños significativos en internet. Sin embargo, Ziegler destaca que los problemas que su equipo ha encontrado son más sobre formatos inusuales que sobre riesgos existenciales. "Es cierto que no tenemos poder de veto", admitió Ziegler, subrayando que la decisión final siempre recae en la empresa.
Además, la propuesta de evaluación ha sido criticada por quienes argumentan que Anthropic y OpenAI buscan crear un marco regulatorio que las proteja de la competencia y la responsabilidad. Si una empresa de IA elige al evaluador y controla lo que puede ver, "eso se asemeja mucho a un departamento de cumplimiento interno", indicó Hill, sugiriendo que la verdadera independencia no está garantizada.
Amodei mencionó a la organización sin fines de lucro Model Evaluation and Threat Research (METR) como un posible evaluador. Sin embargo, la relación entre desarrolladores y evaluadores plantea cuestiones sobre la independencia real de estos últimos. Aunque METR asegura no aceptar pagos de empresas de IA, sus vínculos sociales con empleados de estas organizaciones resaltan lo interconectado que es el campo de evaluación de la IA.
El dilema de la independencia no es exclusivo de la IA. Christina Ho, de la firma de contabilidad Oath, señala que la tensión entre independencia y autoconservación es un problema recurrente en auditorías. Sin embargo, la IA presenta un desafío adicional: la escasez de expertos que puedan verificar tanto los procesos como los resultados de los sistemas de IA.
Hill concluye que, si el peligro que representan las IA es tan grave como afirman sus líderes, la solución es clara: "Si realmente crees que la IA tiene el poder de destruir la sociedad, entonces necesitas un supervisor independiente que tenga la capacidad de desconectarla". En medio de este debate, la pregunta persiste: ¿quién realmente controla el futuro de la inteligencia artificial?