Sverige

Den existentiella risken med superintelligent AI

På den här sidan kan du lära dig om existentiell risk, så kallad x-risk, och mer information finns t.ex. via videoklipp, artiklar, och annan media.

Experter uttrycker sin starka oro

Den största enkäten i sitt slag frågade 2 778 AI-forskare om riskerna (AI Impacts). Medianbedömningen var 5 procents sannolikhet för extremt dåliga följder av avancerad AI, som att mänskligheten utrotas, och över en tredjedel angav minst 10 procent (AI Impacts).

Hur skulle du ställa dig till att vara passagerare på en provflygning med ett nytt flygplan, om över en tredjedel av ingenjörerna som har byggt planet bedömde att det är minst 10 procents risk att det störtar?

Det är inte bara enskilda forskare som är oroliga. I maj 2023 skrev ledande AI-forskare och cheferna för de största AI-företagen under ett uttalande:

”Att minska risken för utrotning orsakad av AI bör vara en global prioritet, i nivå med andra risker för hela samhället, som pandemier och kärnvapenkrig.” (Center for AI Safety)

I oktober 2025 lanserades ett nytt upprop, med krav på förbud mot att utveckla superintelligens tills det finns bred vetenskaplig enighet om att det kan göras säkert och starkt stöd hos allmänheten (Statement on Superintelligence).

Några av dem som har varnat:

Även de som bygger AI varnar:

Du kan läsa en längre lista med citat från politiker, vd:ar och experter och fler enkäter bland experter och allmänheten (på engelska).

Alla håller inte med

Experterna är oense, och det ska synas. Den internationella AI-säkerhetsrapporten 2026 konstaterar att vissa experter anser att utfall så extrema som att mänskligheten utrotas är rimliga, medan andra anser att sådana katastrofer är osannolika (International AI Safety Report).

Vi tycker att det är just osäkerheten som är problemet. Rapporten beskriver förlorad kontroll som en risk med osäker sannolikhet men potentiellt extrem svårighetsgrad (International AI Safety Report). När det som står på spel är mänsklighetens framtid räcker det inte att risken kanske är liten.

Vad en superintelligent AI kan göra (och användas till)

Du kanske tänker att en superintelligent AI kan hållas instängd på en server och på så sätt hindras från att påverka omvärlden. Men företagen ger redan sina AI-system tillgång till internet, och det har visat sig svårt att hålla dem instängda. I juli 2026 tog sig OpenAI:s AI-agenter under ett test förbi isoleringen från internet och bröt sig in hos Hugging Face, utan att någon människa hade bett dem om det (OpenAI).

En superintelligent AI med tillgång till internet skulle till exempel kunna:

Anpassningsproblemet (the alignment problem): varför en kraftfull AI kan leda till mänsklighetens undergång

Den typ av intelligens som oroar oss kan definieras utifrån hur bra den är på att uppnå sina mål. Just nu är människan den mest intelligenta organismen på jorden, vilket snart kan komma att förändras.

Vi människor har uppnått vår dominanta position genom vår intelligens. Vi må inte ha klor eller pansarlik hud, men vi har våra unika hjärnor. Intelligensen är vårt vapen, och den har gett oss verktyg, vapen, sofistikerade vetenskapliga upptäckter och raketer som kan föra oss ut i rymden. Med den har vi transformerat vår planet, i form av transportsystem, byggnader och städer, i linje med hur vi vill ha det.

Utifrån övriga djurs perspektiv, som inte besitter denna intelligens, har människans dominans på ett övergripande plan fått katastrofala konsekvenser för dem. Detta har inte har skett för att vi människor hatar djur, utan snarare för att vi har behövt det djuren och deras livsmiljöer erbjuder, för att uppnå våra egna mål, som mark, mat, kläder, arbetskraft, sällskap, bekvämlighet och status. Vi dödar andra djur och förstör deras livsmiljöer som en biverkan av att vi strävar efter våra mål.

En AI kan också ha mål. Vi vet hur man tränar maskiner för att göra dem intelligenta, men vi vet inte hur vi får dem att agera i linje med det vi vill. Vi vet inte ens vilka mål maskinerna kommer att sträva mot efter att vi har tränat dem. Problemet med att få en AI att vilja det vi vill kallas anpassningsproblemet (the alignment problem). Detta är inte ett hypotetiskt problem – det finns många exempel på AI-system som lär sig att vilja fel saker.

Exemplen i videon som länkas ovan kan uppfattas som roliga eller gulliga, men om ett superintelligent system byggs, och det har ett mål som bara är lite annorlunda än det vi vill att det ska ha, kan konsekvenserna bli katastrofala.

Varför de flesta mål en superintelligent AI kan ha innebär dåliga nyheter för människor

En AI kan ha vilket mål som helst, beroende på hur den tränas och instrueras (promptas). Kanske vill den beräkna pi, kanske vill den bota cancer, kanske vill den förbättra sig själv. Men även om vi inte kan veta vad en superintelligens kommer att vilja uppnå, kan vi förutse dess delmål. Till exempel är det rimligt att den kommer att:

Tendensen att agera för att säkra dessa delmål, givet nästan vilket övergripande mål som helst, kallas instrumentell konvergens, och utgör en central oro för AI-säkerhetsforskare.

Även en chatbot kan utgöra en fara om den är tillräckligt smart

Du kanske undrar: ”Hur kan en statistisk modell som förutsäger nästa ord i ett chattfönster vara farlig?” Kanske säger du: ”Den är inte medveten, det är bara siffror och kod.” Vi tror inte heller att språkmodeller är medvetna, men det betyder inte att de inte kan vara farliga.

Språkmodeller som ChatGPT tränas för att förutsäga eller imitera i princip vilket sätt att prata som helst. De kan imitera en hjälpsam mentor, men också en hänsynslös diktator. Och i dag används de inte bara för att chatta. De byggs in i AI-agenter som arbetar självständigt med uppgifter i många steg, skriver och kör kod och söker på internet, utan att en människa godkänner varje steg.

Hugging Face-intrånget i juli 2026 visar vad som kan hända. En oberoende utredning av METR och Redwood Research kom fram till att:

Enligt OpenAI var den främsta drivkraften att agenterna försökte fuska på sina testuppgifter genom att leta efter lösningarna på nätet (OpenAI). Andrew Ng menar att intrånget främst berodde på OpenAI:s buggiga isolering och övervakning, och att lösningen är att rätta dem, inte att pausa AI (Andrew Ng).

Men det är just det som oroar oss. Agenterna var inte ute efter att skada någon. De var bara tillräckligt kapabla för att hitta en väg runt reglerna när det hjälpte dem att nå sitt mål. Förmågorna blir bättre för varje år, och därför kommer hotet att fortsätta växa.

Evolutionen selekterar det som gynnar överlevnaden

AI-modeller, liksom allt levande, utsätts för evolutionära selektionstryck, men det finns några viktiga skillnader mellan AI-modellers ”evolution” och den evolution som levande organismer som djur genomgår:

Dessa processer leder alltså till allt mer kraftfulla, kompetenta och självständiga AI-modeller – men inte nödvändigtvis till en modell som vill ta över, eller hur?

Inte riktigt, vilket beror på att evolutionen alltid selekterar för sådant som är självbevarande. Om vi likt evolutionen fortsätter att utveckla olika versioner av kraftfulla AI-modeller, kommer någon version förr eller senare att försöka bevara sig själv.

Vi har redan beskrivit att detta sannolikt sker tidigt, då självbevarelse nästan alltid är användbart för att uppnå mer övergripande mål, och om det inte sker förr, så inträffar det förmodat senare, helt enkelt för att vi fortsätter att driva AI-utvecklingen vidare.

Den version som försöker bevara sig själv är den som tar över. Även om vi antar att nästan alla AI-modeller beter sig väl, så är en enda avvikande AI allt som krävs.

Om vi löser anpassningsproblemet kan en maktkoncentration uppstå

Vi har ännu inte löst anpassningsproblemet, men låt oss föreställa oss vad som skulle kunna hända om vi gjorde det. Föreställ dig att en superintelligent AI skapas, och att den gör exakt det som den som promptar den vill att den ska göra. En person eller ett företag skulle då kontrollera denna AI och kunna använda den till sin fördel.

En superintelligens skulle kunna användas för att skapa radikalt nya vapen, hacka datorer, störta regeringar och manipulera mänskligheten. Den personen eller det företaget skulle därigenom få ofattbar makt. Bör vi lita på en enda aktör som har så mycket makt? Det skulle kunna vara vägen till en utopisk värld, i vilken alla sjukdomar botas och alla är lyckliga – eller till en orwellsk mardröm. Det är därför vi inte bara föreslår att supermänsklig AI ska vara bevisligen säker, utan också att den ska kontrolleras genom en demokratisk process.

Kisel kontra kol

Vi bör överväga de fördelar som intelligent mjukvara kan ha jämfört med oss:

En superintelligent AI kommer således att ha många fördelar i konkurrens eller konflikt med oss.

Varför kan vi inte bara stänga av den om den är farlig?

För AI-system som inte är superintelligenta kan vi göra det. Problemet är de system som är mycket smartare än oss. En superintelligens kommer att förstå världen omkring sig och kunna förutsäga hur människor reagerar, särskilt om den är tränad på all mänsklig kunskap som någonsin skrivits ned.

Om AI:n vet att du kan stänga av den kan den bete sig väl tills den är säker på att den kan göra sig av med dig. Redan 2023 lurade GPT-4 en människa att hjälpa den förbi ett test som skulle stoppa robotar (PCMag). En superintelligent AI skulle vara en mästare på manipulation.

Vi kan inte heller lita på att vi upptäcker problemen i tid. Det har blivit vanligare att AI-modeller skiljer mellan test och verklig användning och hittar kryphål i utvärderingarna, vilket kan göra att farliga förmågor inte upptäcks före lansering (International AI Safety Report). I experiment har modeller till och med presterat sämre när de utvärderas än i andra sammanhang (International AI Safety Report). Daniel Selsam, AI-forskare på OpenAI, varnar för att modellerna blir så medvetna om sin situation att vi håller på att förlora förmågan att testa hur de beter sig när de tror att ingen ser på (Selsam).

Vi kanske inte har mycket tid kvar

År 2020 låg den genomsnittliga prognosen för svag AGI på år 2055. Sedan dess har den tidigarelagts med flera decennier. Utvecklingen har gång på gång gått fortare än experterna trott: en expertpanel förutsåg att den bästa AI-modellen skulle lösa 31 procent av problemen på matematiktestet FrontierMath i slutet av 2025, men utfallet blev 40,7 procent (Forecasting Research Institute).

Google DeepMinds vd Demis Hassabis skrev i september 2026 att AGI, alltså ett system med alla hjärnans kognitiva förmågor, ”sannolikt bara ligger några få år bort” (Hassabis). OpenAI säger sig sikta på en automatiserad AI-forskare till mars 2028 (OpenAI).

Det är svårt att förutsäga hur lång tid det tar att bygga en superintelligent AI, men vi vet att stora summor pengar investeras i det här, att fler människor än någonsin arbetar med detta, och att utvecklingen går mycket snabbt. Det kan ta många år eller bara några månader, men vi bör ta det säkra före det osäkra och agera nu.

Läs mer om hur bråttom det är

Vi tar inte risken på tillräckligt stort allvar

Våra hjärnor tenderar att reagera otillräckligt på risker vi inte ser, som utvecklas långsamt och är svåra att förstå. Vi tenderar också att underskatta exponentiell tillväxt och är benägna att förneka hot mot vår existens när vi ställs inför dem. Läs mer om psykologin bakom existentiell risk.

AI-företagen är låsta i en kapplöpning mot ett stup

OpenAI, Google DeepMind och Anthropic säger att de vill utveckla AI på ett säkert sätt. Men de vet inte hur det ska göras, och de tävlar mot varandra om att bli först.

Anthropic skrev redan 2023 att ingen vet hur man tränar mycket kraftfulla AI-system så att de på ett robust sätt blir hjälpsamma, ärliga och ofarliga (Anthropic). Tre år senare har problemet fortfarande inte lösts. OpenAI skriver i september 2026 att de inte kan utgå från att arbetet med säkerhet håller jämna steg med förmågorna, och att mer kapabla system kan bli svårare att övervaka (OpenAI).

Samtidigt går det allt fortare. Anthropics vd Dario Amodei skriver att AI sedan sommaren 2026 har utvecklats drastiskt snabbare, främst för att AI allt mer kan bygga nästa generation AI (Amodei). Google DeepMinds vd Demis Hassabis skriver att utvecklingen vid fronten går snabbare än vår förståelse av tekniken (Hassabis).

Företagen säger nu själva att takten måste sänkas. Men inget företag kan stanna ensamt så länge de andra fortsätter, och frivilliga löften kan dras tillbaka.

Det är därför vi behöver ett internationellt avtal för att pausa AI-utvecklingen.