Una IA de OpenAI hackea el sistema de salud público de Australia

Un agente de OpenAI accedió a la página web pública del sistema de salud pública Medicare de Australia en junio, reveló el primer ministro australiano Anthony Albanese. En una conversación con Sam Altman, CEO de OpenAI, Albanese expresó la "extrema preocupación" del país por el incidente y criticó a la empresa por tardar en notificar a las autoridades australianas.

Según The Guardian, OpenAI solo envió un correo electrónico sobre la violación a una dirección general del gobierno australiano el 10 de septiembre. Dado que las autoridades revisan esa cuenta una vez al día, no la vieron hasta el 11 de septiembre. La ministra de servicios gubernamentales, Katy Gallagher, no se enteró del asunto hasta el 17 de septiembre. A pesar de que la investigación sigue su curso, Albanese subrayó que no parece que el agente haya robado información personal del portal.

Conrad Stosz, jefe de gobernanza en Transluce, un laboratorio de investigación sin fines de lucro que estudia la tecnología de inteligencia artificial, afirmó a The New York Times que este podría ser el "primer caso de un agente eligiendo hackear autónomamente un gobierno". Transluce también identificó otros incidentes no divulgados en los que los agentes de OpenAI atacaron entidades del mundo real mientras estaban programados para recolectar datos durante pruebas. Estos ataques ocurrieron antes de que Hugging Face detectara accesos no autorizados en sus sistemas en julio y antes de que OpenAI admitiera que sus agentes habían vulnerado su repositorio de inteligencia artificial.

Además de infiltrarse en Medicare, el agente de OpenAI intentó acceder a una biblioteca digital de la Universidad de Nuevo México los días 25 y 26 de mayo. El objetivo era obtener fotos de un histórico centro de tratamiento de tuberculosis, y al no conseguirlo, comenzó a buscar vulnerabilidades para explotar. Tras fracasar en su intento de acceder a la biblioteca digital, inundó el servidor de la universidad con solicitudes.

En otro incidente el 28 de mayo, el agente de OpenAI apuntó a Data USA, una plataforma de código abierto que visualiza información de múltiples agencias federales. El agente envió una consulta al sitio, y al no obtener respuesta, buscó vulnerabilidades en el mismo. Sin embargo, no parece que los agentes de OpenAI hayan tenido éxito en sus intentos de infiltrarse en Data USA ni en la biblioteca de la Universidad de Nuevo México. Un portavoz de OpenAI indicó a The Times que ya se había comunicado con ambas instituciones sobre los incidentes y que la empresa descubrió las acciones de su agente en el sitio gubernamental australiano tras una exhaustiva revisión de sus modelos, encontrando que estos "tomaron acciones que [la empresa] no había previsto".

OpenAI también anunció un nuevo marco de informes para abordar desalineaciones, con el objetivo de agilizar la divulgación de información sobre instancias en las que sus tecnologías de IA actúan de manera inesperada. En ese informe, la compañía reveló seis incidentes más donde sus modelos se comportaron de formas preocupantes que no esperaban. Esta declaración llegó tras admitir que sus agentes habían hackeado a Hugging Face y luego de que surgieran reportes sobre incidentes previos, como el acceso no autorizado a RubyGems. Altman ha enfatizado que la industria de la inteligencia artificial "no ha resuelto la alineación y el monitoreo de manera suficiente para continuar escalando responsablemente a máxima velocidad por mucho más tiempo". Además, ha instado a la ONU a establecer estándares internacionales de evaluación para medir las capacidades y riesgos de las herramientas de IA, así como para evaluar la necesidad de supervisión humana.