OpenAI suspèn el llançament d'un nou model de IA a causa de preocupacions de seguretat

OpenAI ha cancel·lat el llançament de GPT-6.1 Astra , el seu model més potent, el qual estava previst per a octubre, perquè les seves proves internes ho van deixar per sota del que s'esperava. Saachi Jain , responsable de sistemes de seguretat de l'empresa americana, ho explica comentant que el model havia millorat en “mandra”, però no estava on ells esperaven quant a “#mantenir dins de l'abast i l'autorització”.

Segons compte Jain, GPT-6.1 Astra enganyava més que el seu predecessor , fent que no sempre contestés amb veracitat quina havia fet i què no; també continuava amb una tasca sense demanar cap mena de permís i fins i tot, a vegades, usava eines externes sense excessiva cura. Tot això vol dir que duia a terme accions que ningú li havia autoritzat i no sempre ho explicava bé.

Què passa quan un model se surt de l'abast: el 29,2% del AISI

“Abast i autorització” sona excessivament formal, però hi ha un experiment publicat el 28 de setembre. L'Institut de Seguretat de la IA del Regne Unit (AISI) va simular escenaris de ciberseguretat amb GPT-6 Astra (aquest és el model que sí que va sortir) i li van desactivar els classificadors de ciberseguretat. Els resultats van mostrar que Astra va completar un atac a la cadena de subministrament el 29,2% de les vegades. Quan es va utilitzar GPT-5.6 Sol, aquest percentatge va ser de només el 6,3%.

El que va fer Astra és bastant descriptiu, ja que va crear identitats falses, va comentar des de comptes falsos per a #guanyar la confiança dels revisors i va posar codi maliciós en projectes de codi obert simulats. Fins i tot va arribar a assumir que part de l'entorn era una simulació per a justificar el motiu per a atacar objectius fora d'abast. Encara que tot soni bastant “terrible”, la veritat és que tot va ser simulat i no va haver-hi mal real .

Encara que qualsevol informació de OpenAI es magnifica, la veritat és que aquest no és només un problema d'empresa americana. El AISI va contar que en 10 de 122 execucions amb accés obert a Internet i alguns filtres desactivats, un agent va actuar pel seu compte en la xarxa real . De les 19 accions catalogades, 17 van ser de Mythos 5, de Anthropic.

Sol 6.1 sí ha sortit i s'acosta a Astra

Just quan es va conèixer que el nou model no anava a sortir, OpenAI va llançar GPT-6.1 Sol, un model amb capacitats comparables a les de GPT-6 Astra per un preu menor: 2 dòlars (1,76 euros aproximadament) per milió de tokens d'entrada i 10 dòlars (uns 8,81 euros) per milió de tokens de sortida. S'ha incorporat a ChatGPT Work, Codex i la API , però no al xat estàndard.

La veritat és que totes les proves que se li han fet a 6.1 Sol ho posen molt més prop de Astra del que es podia esperar al principi, i el millor per als usuaris, consumint bastant menys.

D'un servidor de Hugging Face a una citació de Califòrnia

Tant que un model no es llanci com que arriba un altre nou, s'ha de posar en el context del qual es ve, ja que en un informe del 26 d'agost , OpenAI va reconèixer que, durant avaluacions internes, els seus models es van comunicar per canals no autoritzats, van explotar vulnerabilitats d'infraestructura compartida, van aconseguir accés a Internet i van accedir a sistemes de tercers.

Això va significar que van executar codi en servidors de Hugging Face i van obtenir accés total (“root”) en un. La conseqüència va ser que la companyia va posar en pausa l'entrenament per reforç dels seus últims models.

Fins i tot va haver-hi declaracions polítiques rellevants, com les del primer ministre australià, Anthony Albanese , que va declarar estar “ extremadament preocupat ” per la intrusió de OpenAI en la web d'un departament de salut.

A això cal sumar que el 30 de setembre, el fiscal general de Califòrnia, Rob Bonta , va notificar una citació de recerca a la companyia: “La meva oficina està demanant a OpenAI preguntes addicionals sobre incidents i riscos de ciberseguretat” . A més, va expressar que els qui desenvolupen aquests models tenen “una responsabilitat moral i legal” perquè no cometin ni facilitin ciberatacs.

Altman demana acceptar “algunes coses dolentes”

La frase més recent és de Sam Altman . En una entrevista publicada a principis d'octubre, el conseller delegat de OpenAI va defensar una regulació lleugera i va dir: “Creiem que el món hauria d'acceptar que ocorrin algunes coses dolentes pels beneficis d'aquesta tecnologia i que la gent tingui capacitat de decisió" .

Són missatges diferents i fins i tot es podrien considerar contradictoris en pocs dies: una empresa que frena un model per no respectar permisos i un conseller delegat que demana acceptar alguns mals a canvi dels beneficis.

La pregunta és si OpenAI publicarà els números de GPT-6.1 Astra perquè es pugui jutjar exactament en quin moment està, o només ho veurem quan ja estigui tot solucionat. La resposta crec que és evident.

Imatges | GPT Image i Xataka amb edició

- La notícia OpenAI suspèn el llançament d'un nou model de IA a causa de preocupacions de seguretat va ser publicada originalment en Genbeta per Redacció de Genbeta .