Artificiell intelligens som redskap i transportpolitisk omvärldsanalys?

Omvärldsbevakning och omvärldsanalys borde vara områden där artificiell intelligens skulle kunna göra betydande nytta. AI-tjänster har potential att snabbt gå igenom, sammanställa och – om intelligensen finns där – analysera stora mängder data och material.

I april 2023 kikade vi närmare på frågan. För att få en bild av hur det fungerade utgick vi från ett tiotal specifika områden som Trafikanalys avdelning för styrmedels- och omvärldsanalys löpande följer. Dessa områden representerar en bredd, från mer övergripande frågor som digitalisering och trafikslag, till mer tekniska, specifika områden. ChatGPT fick dels en övergripande fråga om utvecklingstrender inom respektive område, dels mer detaljerade frågor. Medarbetarna på avdelningen ombads sedan att inom sina respektive expertområden granska och bedöma svaren.

De svar ChatGPT ger är genomgående välskrivna och väl strukturerade. Med det följer också risken att svaren, framför allt för den mindre insatta, framstår som trovärdiga även om de nödvändigtvis inte är korrekta.

Väl strukturerade, men innehållsmässigt ofullgångna svar

För de flesta av de områden som testades bedömdes övergripande beskrivningar av väsentliga omvärldstrender som väl strukturerade, i synnerhet i förhållande till förväntningarna. Det är också i det avseendet som chatten når högst betyg. Det innebär samtidigt inte att beskrivningarna är helt fullgångna.

Generellt sett är AI-tjänstens svar mer korrekta på den övergripande nivån, där frågor ställs av typen: Ge en bild av förändringar i omvärlden som påverkar förutsättningarna för den europeiska järnvägens utveckling. Likafullt bedöms dessa beskrivningar endast i ett fåtal fall vara fullödiga. Inom en majoritet av områdena bedöms åtminstone någon vital utvecklingstrend saknas. I andra finns felaktigheter i de övergripande beskrivningarna:

• Inom området ”Nordiska styrmedel för vägfordon” är beskrivningen så generell att den blir intetsägande för en initierad läsare.
• Avseende området ”Modeller för trafik- och transportanalyser” används visserligen rätt nyckelord för en god beskrivning, men beskrivningen blir inte korrekt och trovärdig.
• Beskrivningen av ”Järnvägstrafik” tycks utgå från att det inte finns hinder och modererande krafter och har mer karaktären av en entusiastisk politisk pamflett än av omvärldsbeskrivning.

Avsaknad av originalitet

Chattens svar saknar på den övergripande nivån originalitet. Inte inom något av de tio undersökta områdena beskrivs någon utvecklingstrend som upplevs som ny. Verktyget kan bearbeta och sammanställa texter från skilda källor väl, men det förefaller saknas en mer kreativ ”intelligens” som kombinerar information från olika källor och drar slutsatser om förhållanden.

Opålitlig i sakfrågor

AI-tjänstens beskrivningar innehåller direkta felaktigheter inom en majoritet av områdena. Det handlar exempelvis om när och om styrmedel har införts och om hur svenska hamnar trafikeras. I vissa fall har chatten ändrat sig när felaktigheter påpekats, i andra fall inte. Inom området ”Nordiska styrmedel för vägfordon” identifieras flera tydliga sakfel i chattens beskrivning av nuvarande styrmedel inom området.

Det är uppenbart att sakuppgifter som verktyget lämnar inte går att lita på utan måste kontrolleras mot annan källa.

Referenshantering – en allvarlig brist

Så länge referenser inte specifikt efterfrågas ges heller inga sådana. I de fall mer allmänna referenser efterfrågats för vidare läsning hänvisas till organisationers webbplatser. I samtliga fall då referenser efterfrågats till specifika uppgifter har de genomgående visat sig vara irrelevanta. AI-tjänsten har hänvisat till en webbsida som inte har informationen eller till en sökväg som inte finns.

Inom området ”Samhällsekonomiska modeller” har chatten hittat på en Trafikanalys-referens som inte finns, men som språkligt påminner om våra publiceringar. Chatten beskriver också innehållet i den påhittade rapporten.

Problematiken förstärks av AI-tjänstens sätt att presentera sina svar. Den ger ingen ledning om svaret är osäkert, utan använder genomgående samma bestämda tonfall. Även hopplöst svåra frågor besvaras som av ett orakel med orubbat självförtroende.

Med andra ord: när chatten har gjort sitt återstår ett stort kvalitetssäkringsarbete.

Vi noterar att konkurrenten Bing Chat i oktober 2023 tydligt redovisar referenser i sin tjänst och även vilka sökord den använder för att besvara en fråga. Ett stort steg framåt! Samtidigt tycks tjänsten sakna skärpa inom området. Den kan t.ex. inte ännu riktigt skilja elbilar från automatiska fordon.

Vad är bäst – svenska eller engelska?

Parallella frågor på svenska och engelska har prövats på en övergripande nivå. Inom en stor majoritet av områdena är skillnaderna i svaren påtagliga. Vanligt är att olika trender beskrivs och att kontexten uppfattas olika. I vissa fall bedöms det engelskspråkiga svaret bättre, medan det i andra sammanhang är tvärt om.

Möjligheter finns redan idag och framtiden har säkert mer att bjuda

En uppfattning hos flera utvärderande experter var likafullt att svaren var bättre än förväntat, trots att de var långt från fullgångna. En idé som lyftes av en utvärderare är att chatten kan vara användbar för den som ska ge sig i kast med ett nytt område och vill ha en hypotetisk bild av hur området kan tecknas. Den kan ses som ett parallellt verktyg till Google och Wikipedia, men med nackdelen att det är väsentligt svårare att bedöma uppgifternas kvalitet. Och med fördelen att den ger ett förslag på hur området kan struktureras och beskrivas.

Chattfunktionen förefaller också användbar för att söka information kring företeelser man har begränsad eller fragmentarisk information om, exempelvis baserat på tidningsuppgifter eller något uttalande från någon person på en konferens eller i annat sammanhang.

Vårt ursprungliga ”fältarbete” gjordes omkring påsken 2023. Utvecklingstakten inom AI beskrivs vara rasande snabb. En mer begränsad uppdatering hösten 2023 ger snarare bilden av att ChatGTP snarast utvecklats måttligt under det halvår som har gått. Bing Chat tar oss däremot till en ny nivå genom sin transparens och goda referenshantering även om ”intelligensen” har en del i övrigt att önska.