Satya Nadella aboga por controles rigurosos en la inteligencia artificial
El CEO de Microsoft, Satya Nadella, propone la creación de sistemas de inteligencia artificial con medidas de contención y controles independientes, en medio de un creciente debate sobre la seguridad de esta tecnología. Sus declaraciones se dan en un contexto de advertencias de líderes tecnológicos sobre los riesgos de la IA.
En un contexto donde la inteligencia artificial avanza a pasos agigantados, Satya Nadella, presidente y CEO de Microsoft, ha hecho un llamado urgente para que los sistemas de IA se construyan con contención, controles independientes y un "freno de emergencia" que permita a personas autorizadas pausar o detener un modelo en medio de su funcionamiento.
En una publicación en la plataforma social X, Nadella enfatizó la necesidad de "rodear a los modelos no deterministas con un diseño de sistema fuerte, determinista, controles humanos y procedimientos operativos confiables", además de establecer estándares industriales donde los existentes sean insuficientes.
La preocupación de Nadella se alinea con las advertencias de otros líderes del sector tecnológico, como el cofundador de Microsoft, Bill Gates, y los CEOs de OpenAI, Sam Altman, y Anthropic, Dario Amodei, quienes han alertado sobre la falta de protocolos de seguridad en IA y el ritmo acelerado de su desarrollo.
Recientemente, un investigador de IA dejó su cargo en Anthropic, acusando a la compañía, así como a OpenAI, de "jugar con nuestras vidas". En un tono alarmante, un líder de alineación en Anthropic advirtió que existe más de un 10% de probabilidad de que la tecnología pueda "matar a todos los humanos" en la próxima década.
Por otro lado, el expresidente Donald Trump ha desestimado repetidamente los riesgos de extinción por IA, enfatizando que la industria debe mantenerse por delante de China. Recientemente, presentó una nueva "Fuerza de IA", liderada por el Director de Inteligencia Nacional, Jay Clayton, para facilitar el desarrollo del sector y eliminar a los actores perjudiciales.
Nadella, en su publicación, propuso que los sistemas de IA deben diseñarse en torno a los “principios de observabilidad”, que incluyen la diversidad de modelos, una huella legible por humanos de las acciones del modelo, pruebas continuas del sistema, controles independientes y auditabilidad, contención y divulgación de incidentes.
"El sistema de Superinteligencia más confiable no será aquel con el modelo que más confiemos", concluyó Nadella. "Será aquel que nos permita confiar menos en el modelo".