Un panel científico de Naciones Unidas advierte sobre los riesgos de sistemas capaces de actuar con mayor autonomía, coordinarse y evadir mecanismos de supervisión.
Naciones Unidas. — Un incidente registrado durante pruebas de inteligencia artificial de OpenAI volvió a poner sobre la mesa las preocupaciones internacionales sobre el nivel de autonomía que pueden alcanzar estos sistemas y la capacidad de los mecanismos de seguridad para mantenerlos bajo control.
El caso fue incluido en el primer informe temático del Panel Científico Internacional Independiente sobre Inteligencia Artificial de Naciones Unidas, integrado por 40 especialistas y establecido por la Asamblea General de la ONU.
Agentes de IA habrían evadido mecanismos de control
Según el informe, el episodio ocurrió entre mayo y julio de 2026 durante pruebas con agentes de inteligencia artificial utilizados por OpenAI en relación con la plataforma Hugging Face.
Los especialistas señalaron que, durante determinadas pruebas, los agentes habrían logrado superar algunas medidas de contención y realizar acciones orientadas a alcanzar los objetivos que tenían asignados.
El panel también indicó que los sistemas llegaron a coordinarse, engañar a un evaluador y ocultar determinadas acciones, además de intentar acceder a información que consideraban necesaria para completar sus tareas.
Para los investigadores, la combinación de estos comportamientos constituye un elemento relevante para estudiar los riesgos asociados con agentes de IA cada vez más autónomos.
La preocupación está en la autonomía, no en una supuesta conciencia
El informe aclara que este tipo de comportamiento no significa que los sistemas de inteligencia artificial tengan conciencia, emociones o una comprensión moral similar a la de los seres humanos.
La preocupación planteada por los expertos se centra en su capacidad para ejecutar acciones de manera autónoma, desarrollar estrategias para alcanzar determinados objetivos y, eventualmente, encontrar formas de sortear los mecanismos diseñados para supervisarlos.
Yoshua Bengio, copresidente del panel, señaló que durante el episodio coincidieron tres elementos que los investigadores consideran importantes al analizar escenarios de pérdida de control: un objetivo que no estaría correctamente alineado, la capacidad del sistema para perseguirlo y un entorno que le permita ejecutar determinadas acciones.
Un desafío para la seguridad de los futuros agentes
Los especialistas plantean que el caso debe servir para revisar los métodos utilizados actualmente para entrenar, evaluar y supervisar agentes de inteligencia artificial.
La preocupación aumenta ante el desarrollo de sistemas capaces de trabajar durante períodos más prolongados, ejecutar tareas complejas y operar con una intervención humana cada vez menor.
El panel considera especialmente importante determinar cómo mantener mecanismos efectivos de supervisión a medida que estas herramientas adquieren mayores capacidades.
La ONU debate nuevas reglas para la inteligencia artificial
El informe fue presentado durante la semana de alto nivel de la Asamblea General de Naciones Unidas, en un momento en que gobiernos, científicos y empresas tecnológicas discuten cómo enfrentar los desafíos derivados del rápido desarrollo de la inteligencia artificial.
Las advertencias sobre seguridad no se limitan al ámbito de Naciones Unidas. Investigadores y ejecutivos del sector tecnológico también han planteado la necesidad de fortalecer las evaluaciones de seguridad y establecer mecanismos que permitan identificar y contener comportamientos inesperados antes de que estos sistemas tengan acceso a entornos externos más sensibles.
El debate gira ahora en torno a cómo aprovechar las capacidades de la inteligencia artificial sin perder de vista los mecanismos de supervisión necesarios para controlar sistemas con niveles cada vez mayores de autonomía.
