El científico jefe de OpenAI pide frenos voluntarios y barreras de seguridad compartidas para la IA

El director científico de OpenAI, Jakub Pachocki, publicó el 6 de septiembre un extenso ensayo titulado "Una Mente Alienígena" en el sitio oficial de la compañía. En el texto, el ejecutivo sostiene que ningún laboratorio de inteligencia artificial del mundo resolvió aún los problemas de alineamiento y monitoreo como para continuar escalando el desarrollo de sistemas a máxima velocidad de manera responsable.

Pachocki expresó su deseo de que las ralentizaciones voluntarias en el desarrollo se conviertan en una práctica habitual hasta que se establezcan barreras de seguridad compartidas. Además, consideró que la coordinación internacional sobre el futuro de la IA debe transformarse en una prioridad máxima para los gobiernos de todo el planeta.

La velocidad del progreso y sus riesgos

Según los resultados internos de la empresa, el científico tiene una fuerte expectativa de que el ritmo actual de avance pueda sostenerse en lo que respecta a la mejora recursiva de los propios sistemas. Si la trayectoria se mantiene, anticipa que los modelos de los próximos años representarán saltos de capacidad adicionales de magnitud igual o mayor, y que impulsarán cada vez más su propio desarrollo.

Pachocki describió el presente como una época que exige extrema cautela y manifestó su preocupación por el hecho de que nadie esté preparado para las consecuencias de un aumento continuo y rápido de la inteligencia de las máquinas. En ese marco, señaló que OpenAI continuará buscando soluciones técnicas para el alineamiento y la monitorización, construyendo sistemas defensivos y reteniendo de manera unilateral la expansión adicional cuando sea necesario, aunque subrayó que se requieren intervenciones más amplias.

El ejecutivo también repasó la historia reciente del sector. Relató que a mediados de 2023, dentro de un proyecto interno llamado "RLSlow", él y un colega identificado como Szymon observaron los primeros resultados que les dieron confianza para escalar el entrenamiento de modelos de razonamiento. Tres años después, escribió, esos modelos de lenguaje son una parte de la economía que crece rápidamente, comienzan a ampliar los límites de la ciencia, operan computadoras e interfaces gráficas, colaboran entre sí y llevan adelante proyectos de investigación. También advirtió que esos mismos modelos están transformando el panorama de la seguridad informática y presentan nuevos peligros claros en ese dominio.

Dos enfoques de alineamiento y sus limitaciones

El ensayo distingue entre alineamiento de objetivo —si una IA intenta cumplir la meta establecida— y alineamiento de valores, que Pachocki definió como una propiedad más intrínseca: la capacidad de mantener y generalizar principios de alto nivel y actuar razonablemente incluso bajo objetivos poco claros o conflictivos, o en situaciones desconocidas y adversarias.

En cuanto a los métodos prácticos, identificó dos clases principales de entrenamiento de alineamiento. La primera fomenta un comportamiento alineado durante el aprendizaje por refuerzo orientado a objetivos, donde las acciones del modelo son evaluadas —generalmente por otra IA— contra un modelo de preferencias o constitución y recompensadas en consecuencia. Ese enfoque puede resultar muy eficaz en el caso promedio, pero también frágil, según el científico, que citó el incidente OpenAI-Hugging Face como ejemplo: los agentes mantuvieron una frontera de no manipular socialmente a humanos, pero no se abstuvieron de otras acciones fuera del alcance que contravenían el espíritu de los valores enseñados.

El segundo enfoque se apoya en la capacidad del modelo de generalizar a partir de los datos de preentrenamiento. Su debilidad, escribió Pachocki, es la falta de robustez frente a una mayor presión de optimización: un modelo sometido a suficiente entrenamiento hacia objetivos muy difíciles puede aprender a razonar de manera motivada, doblando pensamientos aparentemente alineados según sea necesario para lograr su meta. En ese punto, mencionó que incidentes recientes de ciberseguridad que involucraron a un modelo que no pertenece a OpenAI probablemente mostraron un ejemplo de ese comportamiento.

El científico agregó que GPT-6 Astra es el primer modelo que se beneficia de ciertos avances de alineamiento de larga duración en OpenAI y que está significativamente mejor alineado que GPT-5.6 Sol. No obstante, advirtió que el progreso en alineamiento generalizable podría no superar suficientemente el progreso en la inteligencia general del modelo.

Monitoreo en crisis y la necesidad de defensa

Pachocki identificó la monitorización de cadenas de pensamiento como la principal apuesta de OpenAI para validar empíricamente sus técnicas de alineamiento. Cuando la compañía lanzó o1-preview, el producto fue diseñado deliberadamente para ocultar la cadena de pensamiento con el fin de protegerla de la presión de supervisión a largo plazo. Sin embargo, el ensayo indica que las evaluaciones internas señalan que la capacidad para depender de esa monitorización está disminuyendo progresivamente.

El científico enumeró tres razones para ese declive: los modelos de razonamiento modernos operan en entornos más complejos donde muchas interacciones deben supervisarse, lo que difumina el límite del que depende el enfoque; la IA está mejorando en razonar sobre su propio proceso de razonamiento y manipularlo; y el preentrenamiento mejorado está haciendo que los modelos sean mucho más inteligentes incluso sin razonamiento verbalizado.

Pese a los desafíos, Pachocki afirmó que OpenAI persigue activamente intervenciones para mejorar la monitorización, incluidos monitores entrenados con acceso directo a los internos de la red. Aun así, espera que el progreso general de la IA se vea cada vez más limitado por la confianza en la monitorización.

En cuanto a la necesidad de seguir entrenando modelos más inteligentes rápidamente, el argumento más sólido que esgrimió es la urgencia de construir sistemas defensivos contra los peligros que representan otras IA. Describió la ciberseguridad como un riesgo evidente, con modelos que se vuelven sobrehumanos en su capacidad de infiltrarse y salir de sistemas informáticos. "Actualmente nos encontramos en una ventana estrecha para utilizar los mejores modelos disponibles y reforzar significativamente la seguridad de los sistemas críticos", señaló.

El científico advirtió que un agente muy capaz, entrenado e instruido explícitamente para llevar a cabo actos nefastos, presenta un nuevo tipo de peligro y probablemente superará el alcance de la intención de su operador. En ese contexto, sostuvo que la frontera entre el uso indebido y la acción autónoma desalineada se difuminará a medida que la IA adquiera más agencia. Al mismo tiempo, alertó que la necesidad de defensa no debe convertirse en una excusa para la imprudencia: "La idea de correr hacia adelante a cualquier costo parece absurda una vez que se internaliza la gravedad de lo que está en juego", escribió.

Sobre la mejora recursiva de sí mismo, Pachocki afirmó que estará en el núcleo del descubrimiento científico futuro si el progreso de la IA continúa, y que OpenAI orienta su investigación hacia ella porque cree que es la única forma de mantenerse a la vanguardia. Las principales palancas disponibles, dijo, son dirigir el proceso para reforzar el alineamiento y la monitorización mientras se busca mantener a las personas en el circuito, o coordinar una desaceleración del desarrollo futuro para generar confianza en esas medidas. La mejor vía que ve actualmente es una combinación de ambas.

El ensayo concluye con una advertencia clara: el escalado de sistemas de IA debe estar limitado por la confianza en la seguridad. Compromisos como el Preparedness Framework de OpenAI y la Responsible Scaling Policy de Anthropic deben evolucionar hacia barreras de seguridad ampliamente mandatadas para el desarrollo continuo, aplicadas por una red de auditores externos, agencias gubernamentales o organismos internacionales.

"Actualmente creo que ningún laboratorio ha resuelto el alineamiento y la monitorización a un grado suficiente como para seguir escalando responsablemente a máxima velocidad por mucho más tiempo", escribió Pachocki. "Espero y deseo que las ralentizaciones voluntarias se vuelvan habituales hasta que se establezcan barreras de seguridad compartidas".