«KI assisterer, mennesket beslutter» – hvorfor det ikke er beviset på trygg KI-bruk

«KI er assistenten. Mennesket tar beslutningen.»

Følg med, så ser du denne formuleringen overalt. Leverandører bruker den for å vise at løsningen er trygg, og offentlige virksomheter bruker den for å vise at de har tatt KI i bruk på en ansvarlig måte.

Budskapet er at ingenting forlater huset uten at et menneske har bestemt utfallet. Formuleringen fungerer som et stempel av autoritet og troverdighet.

La meg si det tydelig først: det er ikke galt å bygge systemer slik. Tvert imot. Problemet oppstår når formuleringen brukes som bevis på at KI-bruken er trygg, for det er nettopp det AI Act ikke godtar.

De som skrev loven har tenkt på at det er mennesket som sitter bak spakene og at det er KI som gir assistanse, og peker også på det som risikoen:

«to remain aware of the possible tendency of automatically relying or over-relying on the output produced by a high-risk AI system (automation bias), in particular for high-risk AI systems used to provide information or recommendations for decisions to be taken by natural persons»

— artikkel 14(4)(b)

Enkelt forklart så sier artikkel 14 i loven at høyrisikosystemer skal utformes slik at mennesker effektivt kan føre tilsyn med dem. Leverandøren skal levere systemet slik at den som fører tilsyn, er bevisst tendensen til å stole automatisk, eller for mye, på det systemet leverer. Loven kaller dette automatiseringsskjevhet.

Og den peker særlig på systemer som gir informasjon eller anbefalinger til beslutninger et menneske skal ta. «KI assisterer, mennesket beslutter» er altså ikke situasjonen loven sier er et bevis på trygg bruk. Det er situasjonen loven ber oss være ekstra på vakt!

Grunnen er ikke vanskelig å forstå. Et forslag er ikke nøytralt. Når saksbehandleren får et ferdig utkast, en score eller en rangert liste, er vurderingen allerede i gang før hun har begynt. Hun beslutter og signerer, men det var systemet som la premissene.

Mennesket endrer ikke klassifiseringen

Det tiltenkte formålet avgjør om et system er høyrisiko. Formålet er det leverandøren har beskrevet at systemet er laget for, i bruksanvisningen, den tekniske dokumentasjonen og salgsmateriellet. Treffer formålet en av høyrisikokategoriene i vedlegg III i loven, så er systemet høyrisiko.

Loven har et unntak. Et system i disse kategoriene regnes ikke som høyrisiko hvis det ikke utgjør en vesentlig risiko, «including by not materially influencing the outcome of decision making» (art. 6(3)). Fortalen presiserer at det betyr at systemet ikke påvirker substansen i beslutningen, «whether human or automated» (fortale 53). Hvem som signerer til slutt, er altså ikke testen.

Her blir bildet mer nyansert. Loven bryr seg om mennesket også i risikoklassifiseringen. Men om rekkefølgen, ikke om underskriften/beslutningen. To av unntakene forutsetter at mennesket kommer først.

• Det ene gjelder KI som bare forbedrer resultatet av «a previously completed human activity».
• Det andre gjelder KI som oppdager avvik fra tidligere beslutningsmønstre uten å erstatte eller påvirke «the previously completed human assessment, without proper human review».

Når mennesket har gjort vurderingen og KI-en etterpå forbedrer språket eller sjekker for avvik, kan systemet falle utenfor høyrisiko. Når KI-en foreslår og mennesket etterpå godkjenner, er det motsatt. Da er det KI-en som legger premissene, og det er akkurat den rekkefølgen «KI assisterer, mennesket beslutter» beskriver.

«Human-in-the-loop» står ikke i loven

Begrepet finnes ikke i AI Act, ikke ett eneste sted. Loven snakker om menneskelig tilsyn, human oversight, og kravet er at tilsynet skal være effektivt.

Artikkel 14(4) lister opp hva den som fører tilsyn, skal settes i stand til å gjøre:

• forstå systemets muligheter og begrensninger, og oppdage avvik
• være bevisst automatiseringsskjevhet
• tolke det systemet leverer riktig
• velge å se bort fra, overstyre eller reversere det
• gripe inn eller stoppe systemet

Kravet treffer begge parter. Leverandøren skal bygge systemet slik at dette er mulig. Virksomheten som tar det i bruk, skal gi tilsynet til personer med «the necessary competence, training and authority, as well as the necessary support» (art. 26(2)).

Et menneske som «er i loopen» uten kompetanse, tid eller mandat til å si nei, oppfyller ikke det kravet. En enkel test er å spørre hvor ofte saksbehandlerne avviker fra forslaget. Er svaret «nesten aldri», er det verdt å spørre om det er tilsyn eller ekspedering.

Så hva er riktig?

Behold mennesket. Menneskelig tilsyn er et krav for høyrisikosystemer, og godt utformet reduserer det reell risiko. Det er hele poenget med artikkel 14(2).

Vær ærlig om gapet. Et menneske i loopen senker alltid den opplevde risikoen. Om det senker den reelle risikoen, avhenger av om tilsynet virker. Og gapet mellom de to, altså følelsen av kontroll uten at kontrollen finnes, er i seg selv automatiseringsskjevhet.

Skill mellom regelverkene. GDPR artikkel 22 og forvaltningsretten kan kreve at et menneske fatter beslutningen. AI Act krever noe annet, nemlig at tilsynet er effektivt. Det ene erstatter ikke det andre.

Husk at tilsyn er ett av mange krav. Høyrisikosystemer krever også risikostyring, datastyring, logging, transparens, nøyaktighet og robusthet. Offentlige virksomheter må i tillegg gjøre en konsekvensvurdering for grunnleggende rettigheter (art. 27).

Neste gang du leser «KI assisterer, mennesket beslutter», kan du stille ett spørsmål tilbake:

Hvordan vet dere at det er mennesket som faktisk beslutter?