Innsikt på godt og (mye) vondt

Gammel løsning skal bli som ny

I september 2021 fikk vi klarsignal til å starte utviklingen av mobilappen «Mitt NTE». Prosjektet skulle reetablere kundeappen på ny teknisk plattform, være tettere på organisasjonen, og egne utviklere fra NTE (Nord-Trøndelag Elektrisitetsverk) skulle nå også bli med på laget. Annonsert “end of support” på eksisterende plattform var med på å framskynde tidsplanen. Derfor ble det etter hvert mer og mer tydelig at det beste vi kunne gjøre, var å skrive om hele løsningen.

Opprinnelig var NTE sin kundeapp en prototyp som var utviklet for å se om bedre oversikt over strømforbruket ville innebære at NTE-kundene brukte mindre strøm. Appen hadde vokst i omfang og brukergruppe og var en av de best likte (rating 4,3 på Google Play), ca 50 000 nedlastinger og over 1000 anmeldelser. Analyser fra appen viste at antallet aktive brukere lå rundt 20 000 og at de brukte appen ofte mer enn en gang i uka.

Å legge sjela i en app

Prosjektet fikk i oppgave å få på plass tilstrekkelig funksjonalitet til at brukerne følte seg ivaretatt, og slik at en første versjon kunne lanseres i første kvartal 2022.

Teamet besto av tre utviklere, én UX-designer på fulltid, prosjekteier og teamleder på deltid. Med stramt tidsskjema og begrensede ressurser måtte det prioriteres hardt. Om vi skulle få fortsette å videreutvikle appen, forutsatte det også at vi kunne levere nok funksjonalitet til at vi beholdt brukerne fra den gamle appen etter lansering.

Vi kjørte i gang med 2-ukers sprinter som ble avsluttet med demo. Der kunne alle som var interessert delta. I starten var det stort sett bare de som hadde direkte interessere i utviklingen som deltok, men etter hvert begynte ryktet og gå og flere kom inn i Teamsmøtet som gikk annenhver fredag.

Teamet la sjela i den nye appen, med nytt utseende og på ny teknologistack. Vi brukertestet konsepter og enkelte detaljer, og da vi begynte å nærme oss noe som virket, tok vi inn pilotbrukere, samtidig som vi kjørte funksjonelle og tekniske tester for å sikre at løsningen ville gi en så myk overgang som mulig for brukerne.

All innsikt er (god) innsikt

Med en eksisterende app i produksjon hadde vi en betydelig base med tilbakemeldinger. Over tusen av disse tilbakemeldingene ble analysert og lagt til grunn for de løsningene vi valgte for den nye appen. Point of no return nærmet seg. Etter vinterferien skulle vi begynne å flytte 20 000 brukere over på ny løsning.

Det var da det traff oss!

Vi hadde gitt brukerne muligheten til å sende oss innspill og supportforespørsler på epost. Eposten ble rutet inn i verktøyet vårt, Productboard, der vi kategoriserte innspillene og knyttet dem til funksjonsområder i appen.

Tilbakemeldinger fra misfornøyde brukere

Tilbakemeldinger fra misfornøyde brukere

De første dagene haglet det med tilbakemeldinger. På kort tid hadde vi opparbeidet oss en backlog med over 200, til dels krasse innspill fra misfornøyde brukere. Pulsen steg i teamet. Samtidig som innspillene fortsatte å strømme på kom det også innspill internt som reflekterte misnøye fra en gruppe brukere som ikke var videre fornøyd med å miste funksjonalitet.

Temperaturen var høy:

Mesteparten av kapasiteten i teamet ble brukt på å prøve å finne ut hvorfor så mange var misfornøyde. Hver enkelt tilbakemelding ble analysert. Data fra fagsystemet ble hentet ut for slik at vi kunne prøve å forstå hvorfor brukerne opplevde appen som de gjorde.

Det føltes ganske urettferdig å få så mye negativ feedback på kort tid. Spesielt når alle signaler før lansering var så positive. På et tidspunkt rådet vi alle til å la være å «stikke innom» Productboard utenom arbeidstid. Rett og slett for å slippe å bruke fritiden på å gruble over negative tilbakemeldinger.

Jobben med å forstå tilbakemeldingene

Når vi klarte å skille skitt og kanel viste det seg at det var en del support iblandet innspillene. Selv om vi hadde prøvd å be brukerne sende konkrete problemer til Kundeservice og tilbakemeldinger til oss i utviklingsteamet, så var nok ikke dette skillet like tydelig for brukerne.

Overraskende mange ba om å få tilbake gammel app, noe som ville bety en tregere og mer ustabil løsning.

Hvordan kunne vi?

Den nye appen hadde mye av den samme funksjonaliteten som den gamle. Det som var utelatt, var funksjonalitet som var lite i bruk og som var vurdert å være mindre relevant for brukerne. Design og brukeropplevelse var endret, men brukertester hadde avdekket at den i høyeste grad var gjenkjennbar.

Vi hadde også avdekket at en liten gruppe av de eksisterende brukerne, ca 8% av dem, ikke ville få tilgang etter oppdatering. Dette for å stramme inn sikkerheten slik at vi kunne være tryggere på at personvern og tilgang til egne data var ivaretatt.

Svært mange av tilbakemeldingene kunne knyttes til denne gruppen og deres skuffelse av å ikke lenger kunne bruke appen som de gjorde før. To uker i forkant av lansering hadde vi sendt ut informasjon til denne gruppen brukere og gitt dem informasjon om at de ville måtte bruke en alternativ webbasert løsning. Ingen tilbakemeldinger på eposten, all sporing tilsa at budskapet var mottatt. Vi har i ettertid erkjent at dette ikke nødvendigvis betyr at budskapet er lest, forstått og godtatt.

Vi ba ikke eksplisitt om tilbakemeldinger på den nye appen. Brukere som kom med innspill, måtte aktivt lete etter en mulighet til å sende oss disse. Bare de som var misfornøyde brukte tid på å tømme seg for frustrasjon både til teamet og til kundeservice.

Etter hvert som vi fikk ut statistikk fra appen, så vi at over 20 000 brukere tok appen i bruk på ukentlig basis. De kom tilbake dag etter dag, uten å sende oss tilbakemelding. Målinger på svartider viste oss at appen var rask, responsiv og ga brukerne den informasjonen de var ute etter å finne. I en tid da strømpriser og strømforbruk hadde stort fokus i media, ga vi brukerne en app som ga dem nyttig informasjon.

Aldri så galt at det ikke er godt for noe

Oppsummert kan vi si at vi undervurderte at brukerne har vent seg til én bestemt måte bruke appen på. Vi så også at andre målinger gir verdifull innsikt. Det at det etter hvert ikke kom nye innspill, samtidig som antallet brukere økte og trafikken holdt seg jevnt oppe, gjorde at vi litt nøkternt kunne konkludere med at det ikke var full krise.

Brukerstyrt videreutvikling

Etter lansering har vi vært nødt til å prioritere knallhardt med innspillene fra brukerne som utgangspunkt. Med hyppige leveranser og målrettet informasjon til brukerne begynte gullkornene å komme inn.

Lanseringen har vært en berg-og-dalbane. Først opplevelsen av å få et skikkelig slag i trynet der nær alle tilbakemeldingene fra brukerne var negative, til tross for at vi følte vi hadde gjort det rette og var godt forberedt. Videre at vi fant årsaken til problemene og ga brukerne løsninger de trenger og tar i bruk.

Å bruke tid på å forstå hvorfor brukerne handler som de gjør har vært grunnleggende for å komme fram til disse løsningene.

Ringen sluttes av positive tilbakemeldinger som grenser til skamros. Når vi nå har fått hodet over vannet og litt tykkere hud, tør vi utfordre brukerne på nytt og samtidig be dem gi oss tilbakemeldinger på det vi leverer.

Og ja, all innsikt er innsikt, og selv om den kan være vond til tider, så kan man komme styrket ut av det.