Intensjoner som salgsvare

Ved å tilby «kunstige følgesvenner» kan storselskapene forutsi hensiktene våre. Er EUs KI-forordning rustet til å møte trusselen?

AI Act, EUs KI-forordning, er forventet å tre i kraft i Norge i løpet av sensommeren 2026. Her beskrives flere teknologier som utgjør en «høy risiko» og vil bli underlagt strenge krav til blant annet risikostyring og datahåndtering. En av disse er KI som muliggjør emosjonell gjenkjenning basert på biometriske data. Ved å analysere store mengder data – som regel data om adferd og ansiktsuttrykk, men også ting som blodtrykk og kortisolnivå – kan teknologien gjenkjenne for eksempel om en person er oppstemt eller nedtrykt. Slik KI utgjør en høy risiko for å avdekke sensitive persondata og for subtil manipulering av adferd.

Forordningen definerer emosjonell gjenkjenning, og legger samtidig til gjenkjenning av intensjoner. I likhet med følelser kan intensjoner utledes fra adferd og kroppslige signaler. Problemet er at forordningens definisjon av intensjoner er mangelfull, noe som begrenser dens evne til å møte risikoer.

Intensjoner er ikke følelser. En intensjon kan defineres som en indre motivasjon til å gjennomføre en handling eller langsiktig plan. Når man har en intensjon om å spise et kakestykke, kan det godt være at den overlapper med visse emosjonelle tilstander – kanskje man er lykkelig fordi man har bursdag – men intensjonen er å spise kakestykket, ikke å være lykkelig. Derfor er det uheldig at fortalepunkt 18 kun omtaler gjenkjenning av ting som «lykkefølelse, tristhet, sinne, overraskelse» og andre tilstander av følelsesmessig karakter. Intensjoner nevnes bare, uten at det forsøkes å gi begrepet et innhold.

Dette blir særlig problematisk i lys av den voksende intensjonsøkonomien. Intensjonsøkonomien er en videreutvikling av oppmerksomhetsøkonomien. I oppmerksomhetsøkonomien ligger verdiskapningen i å kapre folks oppmerksomhet og rette den mot et produkt eller tjeneste (det er for øvrig et tankekors at KI-forordningen ikke sier noe spesifikt om manipulering av folks oppmerksomhet). I intensjonsøkonomien er det derimot, som navnet tilsier, intensjoner som er valutaen. Det spekuleres og investeres i det folk har planer om å gjøre, enten på kort eller lang sikt, ikke hvor det er hensiktsmessig å rette oppmerksomheten deres.

Intensjonsøkonomien kan ikke forstås uten å sette den inn i den teknologiske konteksten vi nå befinner oss i. Kimene til intensjonsøkonomien finner vi blant annet i grensesnittet til Netflix. På plattformen blir man anbefalt filmer og serier basert på egen seerhistorikk. Altså forsøker Netflix ikke bare å fange oppmerksomheten vår («sjekk ut denne filmen»), men også hva vi ønsker å se («du vil se dette»). Allikevel er dette grensesnittet relativt primitivt sammenlignet med muligheten som ligger i KI, spesielt i form av generativ KI, som Chat GPT.

Forskjellen ligger i at generativ KI i mye større grad kan infiltrere intensjonene våre. Teknologijournalisten Michael Grothaus trekker frem såkalte «kunstige følgesvenner» («artificial companions») som en spesielt potent teknologi for å bringe frem intensjonsøkonomien. Dette er KI som får intimt kjennskap til oss gjennom hverdagslige samtaler, ved at man spør om råd og utleverer seg selv. Det finnes allerede et stort antall kunstige følgesvenner på markedet. I et nylig intervju forteller Mark Zuckerberg, sjefen for Meta, at de kommer til å gjøre store investeringer i kunstige følgesvenner, som inkluderer KI-drevne venner, kjærester og terapeuter. Zuckerberg kaller dette «den tredje epoken» av sosiale medier. Mens Netflix kun får et glimt inn i seervanene våre, vil den tredje epoken defineres av teknologier som borer seg dypt inn i vårt indre.

Grothaus legger frem mulige scenarier for hvordan intensjonsøkonomien vil se ut i virkeligheten. Ett scenario er at selskaper som utvikler kunstige følgesvenner, vil inngå partnerskap med andre bedrifter, og programmere følgesvennen til å foreslå å kjøpe bedriftens produkter. For eksempel kan man ha ymtet et ønske om å gå på konsert og få en anbefaling om å se Taylor Swift som er i byen om en måneds tid. Kanskje den også tilbyr å kjøpe billettene for deg så du slipper stress, og at den kan ordne de beste plassene. Det hele er et orkestrert samarbeid med konsertarrangøren, som ikke nødvendigvis gjøres klart for brukeren. Et annet scenario er at intensjonene våre profileres og selges videre til bedrifter, som dermed får muligheten til å utforme en sømløs salgsopplevelse. For eksempel kan en nettbutikk med tilgang til intensjonsprofilen vår legge varer i handlekurven for oss, siden den allerede vet hva vi er ute etter.

Disse eksemplene er dystre, men relativt harmløse i den store sammenhengen. Mest sannsynlig hadde du lyst til å se Taylor Swift uansett. Men Grothaus viser også til mer dystopiske scenarier, som at intensjonene kapres av aktører med politiske og ideologiske agendaer. Med tilgang til intensjonene våre kan de føre oss inn i tanke- og handlingsmønstre, uten at vi legger merke til det. En kunstig følgesvenn utviklet av russiske myndigheter kan for eksempel være programmert til å styre samtalen inn på Ukraina-spørsmålet hver gang samtalen tar en politisk vending, og komme med subtile og i konteksten naturlige innspill som sår tvil rundt det vestlige narrativet.

Forsvarerne av intensjonsøkonomien hevder at den vil øke forbrukermakten. Journalisten Doc Searls, som var den første til å bruke begrepet «intensjonsøkonomi», påstår at de underliggende teknologiene vil «frigjøre forbrukere fra systemer bygd for å kontrollere dem», ved at etterspørsel ikke lenger vil bli uttrykt gjennom pengemakt eller generelle forbrukermønstre. Teknologier som kunstige følgesvenner vil derimot gjøre etterspørsel «personlig», slik at forbrukeren får muligheten til å selv diktere «hva de vil ha, hvordan de vil ha det, hvor og hvordan – og til hvilken pris» [mine oversettelser]. Bedrifter vil derfor, ifølge Searls, ikke ha noe annet alternativ enn å tilby produktet eller tjenesten tilpasset det enkelte individs ønsker.

Problemet med dette argumentet er at det går begge veier. Bedrifter vil benytte seg av den samme teknologien til å diktere sin etterspørsel, altså de intensjonene de ønsker å omsette. Gitt maktubalansen mellom forbrukere og store selskaper, særlig teknologigiganter, er det lite trolig at intensjonsøkonomien vil komme forbrukerne til gode. Istedenfor å gi oss eierskap over intensjonene våre er det mer sannsynlig at de privatiseres av selskaper og andre maktaktører, som nasjonalstater.

Noe annet som sannsynliggjør dette utfallet, er at flesteparten av teknologiene som faller innunder intensjonsøkonomien, utvikles av store selskaper som Open AI, Facebook og Google, selskaper vi vet ikke har forbrukernes beste i tankene. Det er disse som har de beste forutsetningene for å eie teknologiene som vil dominere i intensjonsøkonomien, og det kan ta lang tid før vi ser «frigjørende» intensjonsteknologier på markedet. Innen den tid er det trolig at folk flest allerede har blitt avhengige av teknologiene som tilbys av gigantene.

I tillegg til å være kritisk til intensjonsgjenkjennende teknologier på ideologisk grunnlag, kan man også stille spørsmål til vitenskapen bak. I debatten rundt emosjonell gjenkjenning er det flere som anklager teknologien for å basere seg på et overforenklet syn på hva følelser er, og hva som skal til for å gjenkjenne dem. Disse kritikerne påpeker at det ikke nødvendigvis er noen direkte sammenheng mellom for eksempel ansiktsuttrykk og emosjonelle tilstander. Dette er noe alle vet. Selv klinisk deprimerte kan smile fra tid til annen.

Den samme problematikken gjelder intensjoner. Det er ingen direkte sammenheng mellom tidligere adferd og hvilke planer vi har for fremtiden. Det trenger heller ikke være en sammenheng mellom det vi eksplisitt sier er intensjonene våre, og hva våre egentlige intensjoner er. Selv om man sier man har lyst på et kakestykke nå, kan dette være motstridende med en langsiktig plan om å spise mindre karbohydrater. Intensjoner er komplekse. Noen ganger vet vi ikke om dem selv engang.

Det sviktende vitenskapelige grunnlaget, kombinert med risikoene for å avdekke sensitiv informasjon og manipulering av adferd, gjør at det er flere som mener at emosjonell gjenkjenning utgjør en uakseptabel risiko i henhold til KI-forordningen, og derfor bør forbys i sin helhet. Kanskje bør vi gjøre lignende betraktninger angående intensjonsgjenkjenning. Intensjoner er private. De er grunnleggende for hvem vi er, og hvem vi vil bli. At intensjonene våre skal havne i hendene til mektige aktører, med andre intensjoner enn våre, er mer enn problematisk, det er eksistensielt.

Altså spiller EU et farlig spill ved å gamble på at de kan regulere intensjonsøkonomien. Det hjelper heller ikke at begrepet er innholdsløst og derfor impotent som juridisk kategori. Her har Norge et fortrinn. KI-forordningen blir snart lagt ut for høring, og vil ikke tre i kraft før om et drøyt år. Fram til da har norske myndigheter muligheten til å komme intensjonsøkonomien i forkjøpet. Om man skulle velge å ikke forby teknologien, er det også en mulighet for å utvikle og tilgjengeliggjøre de frigjørende teknologiene Searls omtaler, og dermed styre teknologien i en mer etisk retning. Her holder det imidlertid ikke med intensjoner. Vi må se handling.

Teksten ble opprinnelig publisert i Klassekampen 27. mai 2025