Vårt förslag

Hösten 2026 säger cheferna för de ledande AI-företagen själva att det går för fort:

• OpenAI:s forskningschef skriver att inget AI-labb har löst alignment och övervakning tillräckligt för att ansvarsfullt fortsätta skala upp i maxfart mycket längre (OpenAI).
• Anthropics vd Dario Amodei skriver att takten i AI-modellernas förbättring måste sänkas (Amodei), och OpenAI:s Sam Altman och Elon Musk har ställt sig bakom (The Guardian).
• Efter att OpenAI:s AI-agenter i juli 2026 tog sig ut ur sin testmiljö och bröt sig in hos Hugging Face pausade OpenAI delar av sin träning (OpenAI).

Men frivilliga inbromsningar räcker inte. Ett företag kan när som helst börja igen, och ingen utomstående kontrollerar vad som faktiskt är pausat. Det behövs regler som gäller alla.

Internationella avtal förhandlas ofta fram vid toppmöten. Fyra toppmöten om AI har hållits hittills, men inget har lett till något juridiskt bindande. Målet bör vara ett fördrag. För att det ska fungera krävs:

• att både USA och Kina är med,
• att det går snabbt, eftersom vanliga fördragsprocesser tar år och övermänsklig AI kan komma snart,
• att de stora aktörerna förstår hur allvarlig risken är.

En internationell myndighet för AI-säkerhet

Med Internationella atomenergiorganet (IAEA) som förebild ska en internationell AI-säkerhetsmyndighet:

1. Godkänna stora träningskörningar och lanseringar, efter tester och utvärderingar, bara när de inte bedöms hota mänskligheten.
2. Godkänna kraftfullare AI först när det har gjorts tillräckliga framsteg med att lösa de tekniska problemen med säkerhet och kontroll.
3. Ställa krav på övervakning av träningskörningar.
4. Kontrollera att besluten följs, till exempel genom att spåra AI-chip, övervaka energiförbrukning, inspektera datacenter och chipfabriker och skydda visselblåsare. Tillverkningen av AI-chip sker hos ett fåtal företag, vilket gör det möjligt att kontrollera, se Bygga pausknappen (på engelska).

Nyttan ska komma alla till del

Om vi en dag kan bygga säker, kontrollerbar AI som är mer kapabel än människor, ska inget enskilt företag eller land få ta hela vinsten. Länderna som skrivit under ska kunna stoppa en lansering som en tillräckligt stor grupp av dem motsätter sig. Fram till dess ska myndigheten förvalta systemet.

Vad som påverkas, och vad som inte gör det

De farligaste modellerna är generella modeller som förstår språk och klarar många olika slags uppgifter, som ChatGPT och AI-agenter byggda på sådana modeller. Fördraget skulle i regel inte påverka smala AI-system, som bildigenkänning för att hitta cancer. AI-stödd mammografi, som flera svenska regioner har börjat införa, är ett sådant exempel (Lunds universitet).

Om det visar sig mycket svårt att göra AI säker kan pausen behöva vara länge. Då är det enda sättet att skydda mänskligheten.

• Gör AI-företagen ansvariga för brott som begås med deras system. Det ger dem skäl att göra systemen säkra.
• Förbjud träning av AI-system på upphovsrättsskyddat material utan tillstånd. Det skyddar upphovspersoner och bromsar utvecklingen mot övermänsklig AI.

I dag kostar det många miljoner dollar att träna en ledande modell, vilket gör träningen möjlig att kontrollera. Men kostnaden sjunker snabbt, och algoritmerna blir effektivare för varje år (Epoch AI). Vi behöver därför också överväga att begränsa publiceringen av nya träningsmetoder som ger stora språng i förmåga, och att begränsa hur snabbt hårdvaran blir kraftfullare.