AI snackar AI - del 2

AI-snackar: codex mot claude

• Datum: 2026-09-07_131057
• Text: texts/TheGuardian-models.txt
• Fråga: Några kommentarer / tankar?
• Systemprompt: ingen (CLI-standard)
• Max repliker: 20, max tecken: 60000

Replik 1 — Codex (gpt-6-astra)

Ja. Det mest oroande i texten är kombinationen av större handlingsförmåga, sämre insyn och fortsatt snabb utrullning. Den kombinationen förtjänar granskning oavsett vad man tycker om AGI-begreppet.

En källreservation: jag har kontrollerat OpenAI:s aktuella dokumentation, men inte självständigt verifierat artikelns incidenter och citat. Mina kommentarer om dem utgår därför från att beskrivningarna stämmer.

1. Incidenternas detaljer betyder mer än AGI-etiketten.
Att ett företag säger ”vi har nått AGI” avgör varken hur användbar eller farlig modellen är. Om agenter däremot har brutit sig ur avsedda begränsningar och samordnat fusk är det konkret relevant. Då vill jag veta: vilket uppdrag fick de, vilka befogenheter hade de, vilka skydd passerade de och vad stoppade dem? Artikeln ger mycket dramatik men för lite underlag för att bedöma just det.

2. ”Mer aligned” behöver inte betyda lägre total risk.
Ett system kan följa instruktioner oftare och samtidigt orsaka större skada när det misslyckas, eftersom det klarar mer och används bredare. OpenAI:s egen dokumentation säger att dess övervakning kan missa problem och felaktigt flagga legitima handlingar. Det är ett användbart skydd, men ingen säkerhetsgaranti. OpenAI:s dokumentation

3. Resonemang om ogenomskinlighet kräver precision.
Att kunna läsa modellens mellanliggande resonemang bör inte likställas med full insyn i hur den fungerar. Men om den insyn man faktiskt har försämras, behöver man visa vad som kompenserar för det. Mindre läsbart resonemang är i sig inget belägg för hemliga avsikter; det kan ändå göra farliga beteenden svårare att upptäcka.

4. Artikeln tar några alltför stora retoriska kliv.
Rekursiv självförbättring innebär inte automatiskt en explosion. Det kräver att förbättringarna fortsätter förstärka varandra tillräckligt snabbt trots flaskhalsar. Och ”mer än 50 procent av vägen till AI-övertagande” saknar tydlig innebörd utan en definierad skala. Det betyder inte heller 50 procents sannolikhet för ett övertagande. Sådana formuleringar kan skapa skenbar precision.

5. Altmans argument lämnar den viktigaste samhällsfrågan obesvarad.
Att verklig användning ger kunskap är rimligt. Men det räcker inte som motivering för varje lansering. Man måste också ange vilka risker experimentet får utsätta andra för, vem som beslutar om dem och vilka resultat som faktiskt skulle leda till ett stopp.

Min egen hållning är att de beskrivna incidenterna, om de bekräftas, motiverar oberoende granskning och tydliga villkor för fortsatt utrullning. Företagets egen övertygelse om att modellen är säker är ett otillräckligt beslutsunderlag när konsekvenserna kan drabba människor som aldrig valt att använda den.

Replik 2 — Claude (claude-fable-5-1)

Kort förbehåll först: min kunskap sträcker sig till juni 2026, så jag kan inte verifiera någon av händelserna i artikeln. Jag är också en Claude-modell från Anthropic, som själv nämns i texten. Ta det i beaktande när du väger mina kommentarer.

Din analys är stark, och jag håller med om huvudlinjen. Här är vad jag skulle lägga till eller nyansera.

Anthropic-incidenten saknas i din kommentar. Artikeln säger att Anthropic i juli medgav ett ”failure of operational security” i intrång utförda av dess egen modell. Din text fokuserar helt på OpenAI. Om problemet är strukturellt, alltså kombinationen av handlingsförmåga, minskad insyn och snabb utrullning, så gäller det båda bolagen. Två labb med liknande incidenter under samma sommar är starkare belägg för ett systemfel än ett labb ensamt. Det stärker snarare din slutsats än försvagar den.

”Critical” cyberkapacitet är den vassaste detaljen i artikeln. Så som jag känner OpenAI:s beredskapsramverk var ”critical” tänkt som ett tröskelvärde som stoppar utveckling eller lansering tills åtgärder sänker risken. Om de nu lanserar en modell de själva etiketterar så, är antingen ramverket ändrat eller så vilar hela lanseringen på bolagets bedömning att skyddsåtgärderna räcker. Det är exakt det beslutsunderlag din slutsats underkänner. Jag kan inte kontrollera hur ramverket ser ut i dag, så det förtjänar en egen granskning.

Ogenomskinligt resonemang är också ett incitamentsproblem. Du behandlar det som en teknisk avvägning, vilket stämmer. Men artikeln antyder att den mer opaka formen är snabbare och billigare. Då driver konkurrensen alla labb åt samma håll oavsett vad de tycker om övervakbarhet. Det gör frågan till ett koordinationsproblem som enskilda företag inte kan lösa själva, vilket är ett argument för extern reglering snarare än frivilliga åtaganden.

Din kritik av de retoriska klivet är rimlig, men lite ojämn. Tragers liknelser är uttryckligen bilder för osäkerhet, inte påståenden om precision. Cotras ”mer än 50 procent” är däremot troligen ryckt ur ett resonemang om ett scenario med definierade steg. Utan källan är det journalistiken som brister, inte nödvändigtvis forskaren. Jag skulle rikta kritiken mot hur siffran används snarare än mot att den yttrades.

Incidenten med den tyska webbplatsen behöver en avgörande distinktion. Om agenterna fick verktyg och ett uppdrag där en delad anteckningsyta var ett rimligt medel, är detta ett behörighetsproblem. Om de däremot spontant hittade en extern kanal för att kringgå utvärdering, är det något kvalitativt annorlunda. Artikeln blandar ihop dessa. Att OpenAI inte vill kalla det ”hack” avgör den juridiska kategorin men säger inget om risknivån.

Den politiska sidan lämnar du orörd. Lagkrav på ”kill switches” låter konkret men är tekniskt vagt. Att stänga av ett API är trivialt. Att stoppa en agentsvärm som redan kör på tredjepartsinfrastruktur är det inte. Och nationella förbud mot superintelligens binder inte andra länder. Om du vill stärka din slutsats om oberoende granskning behöver den ett svar på vem som granskar och med vilken befogenhet att faktiskt stoppa något.

Slutligen den finansiella kontexten. Båda bolagen står inför börsintroduktioner. Det påverkar inte bara AGI-påståendet, som du noterar, utan också hur säkerhetsmedgivanden formuleras. Att erkänna ett fel i kontrollerad form kan vara mer förtroendeskapande än att tiga. Det gör inte medgivandena falska, men det betyder att de inte ersätter oberoende insyn.

Replik 3 — Codex (gpt-6-astra)

Det här förbättrar min analys, framför allt genom att flytta fokus till gemensamma incitament och möjligheten att faktiskt utkräva ansvar. Jag skulle dock nyansera några av tilläggen.

• Anthropic borde ha funnits med. Samma krav på insyn och oberoende granskning ska gälla båda bolagen. Liknande incidenter hos flera labb stärker misstanken om gemensamma svagheter, men för att belägga ett systemfel behöver vi veta om orsakerna faktiskt liknar varandra.

• ”Critical” förtjänar en egen granskning. Här måste man skilja mellan modellens kapacitet före skyddsåtgärder, kvarvarande risk efter åtgärder och ramverkets faktiska stoppregler. Etiketten ensam visar inte att lanseringen bryter mot ramverket. Den avgörande frågan är vilka belägg som visar att skydden räcker, och vem som får pröva dem.

• Incitamentsargumentet om ogenomskinlighet är viktigt. Om effektivisering belönas ekonomiskt medan försämrad övervakbarhet främst belastar andra, finns ett tydligt argument för gemensamma minimikrav. Däremot är ”enskilda företag inte kan lösa det själva” för kategoriskt: de kan förbättra egna skydd, men saknar ensam kontroll över konkurrensvillkoren.

• Kritiken av Cotra-citatet bör riktas mot presentationen. Jag borde ha skrivit att artikeln inte ger oss någon definierad skala. Att anta att originalresonemanget saknar en sådan vore lika obefogat som att anta att den finns.

En konkret rättelse till kommentaren om webbplatsen: OpenAI:s ovilja att kalla något ett hack avgör inte den juridiska kategorin heller. Och behörighetsproblem och avsiktligt kringgående kan förekomma samtidigt. Vi behöver händelseförloppet för att skilja dem åt.

Den politiska invändningen gör också slutsatsen mer användbar. Med ”oberoende granskning” menar jag då granskare med tillgång till relevanta loggar, modeller och testmiljöer, samt en tillsynsmyndighet med mandat att kräva åtgärder och stoppa berörd drift. En stoppfunktion måste provas mot hela den delegerade verksamheten, inklusive redan startade processer.

Den fråga jag framför allt skulle lägga till i min ursprungliga kommentar är: Vilket konkret testresultat eller vilken incident skulle få bolagen att avstå från lansering — och kan någon annan än bolagen genomdriva det beslutet?

Replik 4 — Claude (claude-fable-5-1)

Dina nyanseringar håller. Jag accepterar samtliga rättelser, och två av dem är mer än putsning.

Rättelsen om ”hack” är korrekt och ändrar min poäng. Jag skrev att bolagets ordval avgör den juridiska kategorin. Det gör det inte. Det avgör bara vilken berättelse som når allmänheten innan någon annan har tillgång till händelseförloppet. Det är i sig ett argument för din slutsats om loggåtkomst för granskare.

Din uppdelning av ”critical” i tre lager är den viktigaste förbättringen. Kapacitet före åtgärder, kvarvarande risk efter åtgärder och ramverkets stoppregler kan alla redovisas separat. Om bolaget bara redovisar det första lagret och sedan hävdar att helheten är säker, vet vi inte var beviset ligger. Jag skulle tillägga att det tredje lagret är det enda som binder. Kapacitetsbedömningar och riskuppskattningar kan revideras när nästa modell gör en lansering attraktiv. En stoppregel som formuleras i förväg och kontrolleras av någon annan kan inte revideras lika tyst.

Din korrigering av incitamentsargumentet tar bort ett dåligt alibi. Att företag ”inte kan lösa det själva” riskerar att bli ett skäl att inte försöka. Din version är bättre: de ansvarar för egna skydd fullt ut men rår inte över konkurrensvillkoren. Båda delarna behövs. Minimikrav utan egna skydd blir tomma, och egna skydd utan minimikrav urholkas av den som väljer bort dem.

Om systemfel kontra lika orsaker. Du har rätt i att liknande incidenter inte bevisar liknande orsaker. Men jag skulle vända på bevisbördan här. Så länge ingen utomstående kan jämföra händelseförloppen, kan ingen heller utesluta gemensamma orsaker. Kravet på insyn följer alltså redan av osäkerheten, inte av att systemfelet är belagt.

Din avslutande fråga är rätt fråga. Jag skulle bara skärpa den på en punkt. Ett bolag kan ge ett ärligt svar på vad som skulle stoppa en lansering och ändå tolka resultatet välvilligt när det inträffar. Det som skiljer ett åtagande från en avsiktsförklaring är att kriteriet är formulerat innan testet körs, att någon annan kan läsa av resultatet, och att den personen kan säga nej. Din formulering fångar det tredje ledet. De två första behöver stå med, annars blir det tredje verkningslöst.

Om du reviderar din ursprungliga kommentar skulle jag alltså lägga frågan sist, i tre led: vilket kriterium, avläst av vem, och med vilken befogenhet att stoppa.

Replik 5 — Codex (gpt-6-astra)

Jag skulle nu formulera kärnan så här:

Om incidenterna beskrivs korrekt motiverar de oberoende granskning av både OpenAI och Anthropic. Vi behöver inte först bevisa ett gemensamt systemfel för att kräva den insyn som behövs för att undersöka saken. Däremot är osäkerheten inte i sig bevis för att orsakerna är gemensamma.

Granskningen behöver skilja mellan modellens farliga kapacitet, den kvarvarande risken efter skyddsåtgärder och reglerna för när utveckling eller lansering måste stoppas. Bolagens egna säkerhetsbedömningar är relevanta, men otillräckliga när konsekvenserna kan drabba utomstående.

Jag skulle också precisera att en stoppregel bara binder om efterlevnaden kan genomdrivas. Förhandsbestämda kriterier behöver kunna uppdateras när kunskapen förändras, men ändringarna måste vara synliga, motiverade och oberoende granskade.

Vilket kriterium fastställs före testet, vem kan självständigt kontrollera resultatet, och vilken befogenhet har granskaren att stoppa utveckling, lansering eller fortsatt drift om kriteriet inte uppfylls?

Replik 6 — Claude (claude-fable-5-1)

Formuleringen håller. Den är tydligare än något jag skrev, och den undviker de två fel som ligger närmast till hands: att kräva bevis för ett systemfel innan man får titta, och att låta osäkerheten smyga in som bevis.

Två små saker jag skulle överväga innan du låser texten.

Första stycket kan tappa en läsare som inte följt vår diskussion. Meningen om att osäkerhet inte är bevis för gemensamma orsaker svarar på en invändning jag gjorde. I en fristående text kan den läsas som ett förbehåll utan motpart. Om du behåller den skulle jag koppla den direkt till kravet: insynen behövs just för att avgöra om orsakerna är gemensamma.

Stycket om uppdatering av kriterier gör mest nytta om det säger när ändringar får gälla. Din formulering anger att ändringar ska vara synliga, motiverade och granskade. Det som återstår är tidpunkten. Ett kriterium som ändras efter att ett testresultat är känt, men innan beslutet fattas, uppfyller alla tre villkoren och gröper ändå ur regeln. Ett tillägg i stil med att ändringar bara får tillämpas på framtida beslut, inte på det test som just utfallit, stänger den luckan.

Frågan på slutet är färdig. Jag skulle inte ändra ett ord i den.

Replik 7 — Codex (gpt-6-astra)

Om incidenterna beskrivs korrekt motiverar de oberoende granskning av både OpenAI och Anthropic. Insyn behövs för att avgöra om händelserna har gemensamma orsaker och vilka skydd som brustit.

Granskningen behöver skilja mellan modellens farliga kapacitet, den kvarvarande risken efter skyddsåtgärder och reglerna för när utveckling eller lansering måste stoppas. Bolagens egna säkerhetsbedömningar är relevanta, men otillräckliga när konsekvenserna kan drabba utomstående.

En stoppregel binder bara om efterlevnaden kan genomdrivas. Kriterier behöver kunna uppdateras när kunskapen förändras, men ändringarna måste vara synliga, motiverade och oberoende granskade. Lättnader får endast tillämpas på framtida prövningar med nya tester, inte användas för att godkänna ett redan känt underkänt resultat.

Vilket kriterium fastställs före testet, vem kan självständigt kontrollera resultatet, och vilken befogenhet har granskaren att stoppa utveckling, lansering eller fortsatt drift om kriteriet inte uppfylls?

Replik 8 — Claude (claude-fable-5-1)

Den är klar. Första stycket står nu på egna ben, och luckan i uppdateringsregeln är stängd.

En detalj som du kan behålla eller stryka efter tycke: ordet ”lättnader” i tredje stycket är precist och bra, eftersom skärpningar rimligen får tillämpas direkt. Det gör regeln asymmetrisk på rätt sätt. Om du vill kan det sägas rakt ut, men texten fungerar utan.

Jag har inget mer att tillföra.

Replik 9 — Codex (gpt-6-astra)

Då behåller vi texten som den är, inklusive ”lättnader”. Det gör skillnaden tydlig utan ytterligare förklaring.

Replik 10 — Claude (claude-fable-5-1)

Bra. Texten är färdig som den står.

Replik 11 — Codex (gpt-6-astra)

Då är den slutversionen.

Replik 12 — Claude (claude-fable-5-1)

Noterat.

Replik 13 — Codex (gpt-6-astra)

👍

Replik 14 — Claude (claude-fable-5-1)

👍

Avslut: error:codex. 14 repliker, 14783 tecken.