Kredittorakel basert på språkmodeller (2024, Trondheim)

Hvem er vi?

Teamet vårt besto av fire utviklere fra Datateknologi ved NTNU, og to designere fra Industriell Design ved NTNU. Her er en kort presentasjon av teamet:

• Synne Marie Kvamme. Skal starte i fjerdeklasse på datateknologi og drar snart på utveksling til Østerrike.
• Thor Sjursen. Starter i fjerdeklasse på datateknologi, og er på vei til Italia for et års utveksling.
• John Hausberg Anfindsen. Også kommende fjerdeklassing på datateknologi, og drar til Sveits for sitt utvekslingsår.
• Olivia Foshaug Ingvaldsen. Begynner i femteklasse til høsten og er klar til å starte på sin masteroppgave i Datateknologi.
• Hilde Aurvoll. Snart fjerdeklassen på industriell design. Hun skal tilbringe høsten sin i Belgia på utveksling.
• Benedikte Bitnes. Begynner i tredjeklasse på industriell design denne høsten.

Hva har vi jobbet med?

Gjennom de siste seks ukene har vi jobbet med et prosjekt i samarbeid med SpareBank 1 Kreditt (SB1K). SB1K er et selskap eid av bankene i SpareBank 1-alliansen, og tilbyr refinansiering og kreditt til bankene. Rådgiverne som jobber i SB1K har ekspertkompetanse på dette området, og har i oppgave å bistå bankrådgivere med kunnskap om alt som omhandler refinansiering og kreditt. For å gjøre denne informasjonsflyten lettere har SB1K laget en infokanal i SharePoint som inneholder svar på alle spørsmål vedrørende kreditt. Utfordringen til SB1K var enkel: Infokanalen blir ikke brukt av bankene slikt SB1K håpte. Denne utfordringen fører til situasjoner litt som beskrevet i tegneserien under.

Rådgiverne i SB1K opplever å bli overbelastet på chat med unødvendige henvendelser fra bankrådgivere. Informasjonen er tilgjengelig for bankrådgiverne, så hvorfor bruker de den ikke? Er det mulig å redusere antall henvendeler SB1K får på chat? Kan vi bruke det som finnes av ny teknologi for å løse problemet?

Fra idé til prototype

Dette var utfordringen teamet satt i gang for å løse: Hvordan kan vi frigi kredittrådgiveres tid ved å redusere antall unødvendige henvendelser fra bankrådgivere?

Infokanalen – Et kaos av faner og rutinesider

Det vi fort skjønte var at infokanalen var proppfull av informasjon som var tungvint å navigere i. Det tar rett og slett så lang tid å lete etter det man trenger at man heller velger å spørre SB1K på chat. Det var denne barrieren vi bestemte oss for at vi måtte fjerne for å nå målet.

Uten noen forkunnskaper om kreditt og refinansiering, starta vi prosjektet med en intensiv to-dagers designsprint for å prøve å samle sammen mest mulig informasjon om SB1Ks infokanal. Vi stilte spørsmål, tegnet, diskuterte og stemte oss gjennom utallige forslag og idéer med mål om identifisere et mulig løsningsrom. Allerede etter to dager hadde vi en mye dypere forståelse av problemstillingen, og vi hadde definert en mulig retning for prosjektet.

Kan en språkmodell gjøre jobben?

Allerede fra prosjektstart hadde vi i bakhodet at en god språkmodell kunne vært en del av løsningen på problemet. Det var likevel et par utfordringer med en slik løsning. For det første merket vi i brukerintervjuene skepsis blant brukerene knyttet til troverdigheten til AI-løsninger. Flere fortalte om dårlige erfaringer med tidligere AI-chatløsninger, og hadde generelt lite tillit til slike chatter. For det andre er språkmodeller fremdeles noe uforutsigbare. De hallusinerer, og kan misforstå, noe som i dette tilfellet potensielt kan få kritiske konsekvenser. Dette er både fordi bankrådgivere har travle hverdager med lite overskudd til dårlige AI-løsninger, men også fordi feilinformasjon om kreditt ut mot kunde kan være kritisk. Samtidig har man problemet med at man ikke kan putte hele infokanalen inn i en språkmodell. Alt dette måtte vi ta stilling til hvis vi ønsket å bruke en språkmodell i den endelige løsningen.

“Spør Infokanalen” – Et kredittorakel for bankrådgivere

Sluttproduktet kalles “Spør Infokanalen”. Dette AI-drevne søket gir rådgiverne svar på spørmålene sine på bare sekunder, i motsetning til tidligere hvor de har vært nødt til å selv lete seg gjennom drøssevis av faner og rutinesider.

Det fungerer slik at brukeren kan stille et spørsmål i søkefeltet, og får opp en generert oppsummering av svaret sammen med den tilhørende rutinen hentet direkte fra Infokanalen i SharePoint.

Utfordringer knyttet til språkmodeller

“Chat eller søk?”

Flere av diskusjonene vi hadde underveis i prosjektet omhandlet hvorvidt vi skulle gå for chat eller søk. Spesielt relevant ble dette med tanke på den AI-skepsisen vi møtte fra enkelte sluttbrukere. Vi prøvde derfor se på hvordan vi kunne imøtekomme denne skepsisen. Det vi fant var at brukere ofte stiller veldig strenge krav til chatboter. Man forventer den samme leseforståelsen og intuisjonen hos en robot som hos et menneske, samtidig som at man også forventer å få mye raskere og enda mer presise svar enn hos et menneske. Denne utfordringen var grunnen til at vi valgte gå for et AI-søk. Ved å eliminere elementet “samtale” mellom bruker og robot, håpte vi å senke de høye forventingene bruker kan ha til AI-løsningen og legge mer av “ansvaret” over på brukeren selv. For eksempel uttrykte brukerene våre at de ofte hadde mye mer tillit til egne evner enn til en robot. Ved å la brukeren beholde autoriteten over egen leting gjennom søk, vil “Spør Infokanalen” fungere som et verktøy som hjelper bankrådgivere å lete raskere, heller enn en dårlig robotchat-erstatning for en kredittrådgiver. Et annet viktig poeng er at vi oppdaget i innsiktsfasen at det sjeldent var behov for oppfølgingsspørmål. Vi vurderte derfor at søk ville fungere bedre enn chat.

RAG og andre AI-buzzwords

En utfordring med språkmodeller er at man ikke kan sende inn hele infokanalen i en språkmodell samtidig. Løsningen på dette var å bruke en RAG-løsning. RAG går ut på å velge ut kun relevante deler fra infokanalen og sende dem inn sammen med spørsmålet, isteden for å velge hele. Tegneserien under illusterer hvordan RAG fungerer konseptuelt.

I tillegg til dette brukte vi mye tid på prompt engineering for å få presise og gode svar. Som nevnt er hallusinasjoner en kjent problemstilling knyttet til språkmodeller, og det ble også et problem i dette prosjektet. Vi måtte derfor være strenge på at modellen ikke fikk benytte informasjon fra andre kilder enn de oppgitte. Etter mye testing av edge caser landet vi på en prompt som ga gode svar i de fleste tilfeller. Veien videre for prosjektet vil kreve enda bedre testdekning på dette punktet for å kunne sikre enda bedre svar i fremtiden.

✨Work-life-balance✨

I tillegg til intensive arbeidsøkter, har vi også hatt mye fri! Det har vært flere sosiale arrangementer i regi av Kantega, både i forkant av sommeren og underveis i sommer. Vi har også hatt stor frihet til å foreslå sosiale aktiviteter selv. Blant annet har vi grillet på gården til John, buldret, vært ute å spist, hatt quiz, minigolf og hybrid-vinsmaking med de andre kontorene til Kantega i Oslo og Bergen.

På kontoret går pausene med til Mario Kart, og i tradisjonen tro, biljardturnering. I tillegg har vi fast Adresseavisa-quiz kl. 14 hver dag, felles lunsjer (gratis for oss sommerstudenter!), og veldig mange ispauser.

Hvorfor burde du også søke Kantega?

Til slutt vil vi dele at par av de tingene vi liker best med Kantega.

1. Utrolig god oppfølging fra de dyktige ansatte hos Kantega. Terskelen for å spørre om hjelp er lav, men kompetansen blant de ansatte er høy!
2. Mye frihet. Vi fikk velge vårt eget prosjekt i slutten av april. Da ble vi presentert for en rekke veldig ulike prosjekt, som vi deretter fikk velge fra. Generelt gjennom hele prosjektfasen har vi fått styre arbeidet selv, og vi ble vist mye tillit.
3. Veldig gode fasiliteter. Kantega sine hjemmekoselige kontorer, lunsjbuffeten og de tekniske fasilitetene er blant de tilbudene Kantega tilbyr for å ivareta sine ansatte.
4. Kantega er 100% ansatteid. Kantega tilhører de ansatte, og dette gjenspeiles virkelig i bedriftskulturen. Til tross for at bedriften har omtrent 180 ansatte merker man fort at man blir en del av et lag, selv som sommerstudent.
5. Ubegrensa tilgang på is. Denne trenger ingen forklaring.

Hvis du fremdeles er litt usikker, kan vi avsløre at alle sommerstudenter hos Kantega blir tilbudt et foredrag om forskjellen på altan, terrasse og balkong, og hva mer kan man ønske seg fra en arbeidsplass enn det?

Noen siste ord

Det var vært en utrolig lærerik sommer, og mye av æren for dette ligger hos de andre ansatte hos Kantega. Takk til alle dere som har deltatt på demoene våre, støttet oss i prosessen, stilt spørsmål og fasilitert. Spesielt takk til våre flotte veiledere Tobias, Maia, Magnus og Jørund for at dere har fulgt oss opp hele veien, og samtidig latt oss finne veien på egen hånd.