Hvorfor laver algoritmer så mange fejl?

’A-niveau resultater: Hvorfor algoritmer laver så mange fejl - og hvad vi kan gøre for at rette dem’ er en artikel i The Conversation, der er skrevet på baggrund af en skandale i UK, hvor studerende, især fra socialt dårligt stillede områder, fik deres karakterer nedjusteret af en algoritme. Det endte med at premierminister Boris Johnson måtte gribe ind og stoppe brugen af algoritmen.

Docent i informationssystemer Amany Elbanna, Royal Holloway

Lektor Jostein Engesmo, Institut for Datalogi, Norges teknisk-naturvidenskabelige universitet

Det voldsomme offentlige vrede over den automatiske nedgradering af tusindvis af studerendes A-resultater viser, hvor stor social og politisk magt beslutninger taget af algoritmer har fået. Ud over elevernes karakterer beslutter algoritmer nu alle mulige ting, der har stor indflydelse på almindelige menneskers liv, lige fra låneansøgninger til jobinterviews, og hvilke kvarterer politiet patruljerer i.

Alt for ofte mener de fleste mennesker at resultaterne af disse beslutninger er uretfærdige, som det var tilfældet med de studerende, hvis karakterer blev nedjusteret på trods af, at de havde gode akademiske resultater, eller fordi det var baseret på deres skoles tidligere præstationer ikke deres egne. Hvorfor laver disse algoritmer så mange fejl, og hvordan kan vi sikre, at de producerer mere retfærdige resultater i fremtiden?

I datalogi er en algoritme et sæt instruktioner baseret på en matematisk model, der fortæller en computer, hvordan den skal lave en beregning. Modellen er normalt bygget på data om tidligere beslutninger og nogle af de faktorer, der lå til grund for at tage dem.

Algoritmen kan derefter automatisere beslutningsprocessen, så store mængder data kan behandles effektivt på kort tid. Maskinlæringsalgoritmer forbedrer deres modeller, når de behandler flere og flere data.

Det er i disse data, der bruges til at opbygge og træne algoritmer, at mange af problemerne ligger. For det første har algoritmer typisk brug for relativt store datasæt for at fungere godt. Så i tilfældet med A-niveau-resultaterne tog man i små klasser på færre end 15 studerende deres lærers vurdering i betragtning, men i større klasser gjorde man det ikke.

Et andet centralt problem er, at data om fortiden ikke nødvendigvis hjælper dig med at træffe passende beslutninger om nutiden eller fremtiden. Det blokerer for enhver mulighed for forandring og udvikling – som når en skole forbedrer sin undervisning, eller en årgang med studerende præsterer bedre end deres jævnaldrende i tidligere år.

Det er ikke så vigtigt, når Google eller Amazon prøver at finde ud af, hvilke annoncer eller anbefalinger der kan være nyttige for dig baseret på, hvad andre mennesker med lignende profil har ønsket. Men at bestemme din fremtid baseret på andres fortid har meget større implikationer.

Den type sociale data, der er involveret i disse kritiske livsbeslutninger, er i sagens natur uforudsigelige. Opbygning af en model for, hvordan en tumor reagerer på behandling, er baseret på veletablerede naturlove om molekyler og celler. Men mennesker opfører sig ikke i overensstemmelse med den slags love. Det øger risikoen for, at testdata, der bruges til at opbygge algoritmer, kan være forskellige fra de reelle data, de behandler, og at beslutningerne i algoritmen vil være unøjagtige eller uretfærdige.

Desuden indeholder alle sociale data bias, som en algoritme kan ende med at kopiere. For eksempel justerede A-niveau-algoritmen resultater for at forsøge at kopiere de tidligere indsamlede resultater for forskellige etniske grupper, resultater som formentlig afspejler racemæssig ulighed. At stole på historiske data for at træne en algoritme fastfryser fortidens problemer, forhindrer ændringer i samfundet og de forsøg, der er på at forhindre fortidens fordomme i at dukke op i systemerne.

Endelig har sociale data også en politisk og social betydning. For eksempel er en klasse på mindre end 15 studerende, som ikke vil blive udsat for algoritmen, sandsynligvis enten en klasse i en privat skole eller studerer på et ikke særlig populært fag. Så en beslutning baseret på algoritmen vil have alvorlige sociale slagsider, i dette tilfælde til fordel for privatskoleelever eller studerende, der studerer mindre populære fag.

Det betyder, at man ikke kan fjerne den systematiske forskelsbehandling af sociale karakteristika, der findes i forudindtagne algoritmer, ved at undgå at bruge disse data i beregningen, fordi andre data kan fungere med tilsvarende fordomme.

Der er også et større problem. Algoritmer understøttet af maskinlæring sigter ikke mod at fungere som ekspertbeslutninger, men snarere mod at kopiere den gennemsnitlige beslutningstagning fra tidligere data.

Denne logik med det ’gennemsnitlige samfund’ er farlig for et samfund, der værdsætter individuel kreativitet og præstation. Det forhindrer forskel og ekspertise, da algoritmen systematisk skubber folk mod gennemsnittet.

Alt dette betyder, at algoritmisk retfærdighed er et mangesidet problem, som teknikken ikke kan løse alene. I stedet kan man sikre, at folk ikke bliver uretfærdigt eller ugunstigt stillet af en algoritme, ved at involvere dem tæt i udviklingen af algoritmen.

Mennesket styrer

Vores forskning har vist, at folk, der bruger en algoritme, kan gætte, hvordan det fungerer og opdage ændringer i den ved at være i den modtagende ende af algoritmens beslutninger. For eksempel fandt vi ud af, at arbejdstagere, der bruger digitale arbejdsplatforme som Uber og Fiverr, kan finde ud af, hvordan man manipulerer de data, der går ind i systemet for at få den til at tage beslutninger, der er gunstige for en selv.

En anden af vores undersøgelser viste, at folk, der arbejder i en organisation, der bruger kunstig intelligens i beslutningstagningen, kunne se, når den kunstige intelligens beslutninger var forkerte. Det betyder, at de kan fungere som et system, der tidligt i processen opdager uretfærdige og partiske beslutninger.

I et meget vellykket eksempel udviklede en organisation sine algoritmer i tæt samspil med de mennesker, der plejede at være ansvarlige for beslutningstagningen og med forskellige typer af brugere. Det betød at medarbejderne kunne registrere deres observationer og gøre opmærksom på eventuelle problemer, der skulle rettes.

Organisationen erkendte også, at den fortsat havde ansvaret for maskinens beslutninger. Så der blev udarbejdet en metode til at forklare algoritmen og dens beslutninger, så medarbejderne havde tillid til systemet og kunne rapportere, når det gik galt.

Når algoritmer har en magt over vores liv, er det vigtigt, at disse systemer er resultatet af politisk debat og drøftelse mellem alle, der er berørt af dem. En sådan debat sikrer, at algoritmen er gennemsigtig, forklarlig og accepteret.

Læs den originale artikel her

Denne uge:

Hvorfor laver algoritmer så mange fejl?

’A-niveau resultater: Hvorfor algoritmer laver så mange fejl - og hvad vi kan gøre for at rette dem’ er en artikel i The Conversation, der er skrevet på baggrund af en skandale i UK, hvor studerende, især fra socialt dårligt stillede områder, fik deres karakterer nedjusteret af en algoritme. Det endte med at premierminister Boris Johnson måtte gribe ind og stoppe brugen af algoritmen.

Docent i informationssystemer Amany Elbanna, Royal Holloway

Lektor Jostein Engesmo, Institut for Datalogi, Norges teknisk-naturvidenskabelige universitet

Det voldsomme offentlige vrede over den automatiske nedgradering af tusindvis af studerendes A-resultater viser, hvor stor social og politisk magt beslutninger taget af algoritmer har fået. Ud over elevernes karakterer beslutter algoritmer nu alle mulige ting, der har stor indflydelse på almindelige menneskers liv, lige fra låneansøgninger til jobinterviews, og hvilke kvarterer politiet patruljerer i.

Alt for ofte mener de fleste mennesker at resultaterne af disse beslutninger er uretfærdige, som det var tilfældet med de studerende, hvis karakterer blev nedjusteret på trods af, at de havde gode akademiske resultater, eller fordi det var baseret på deres skoles tidligere præstationer ikke deres egne. Hvorfor laver disse algoritmer så mange fejl, og hvordan kan vi sikre, at de producerer mere retfærdige resultater i fremtiden?

I datalogi er en algoritme et sæt instruktioner baseret på en matematisk model, der fortæller en computer, hvordan den skal lave en beregning. Modellen er normalt bygget på data om tidligere beslutninger og nogle af de faktorer, der lå til grund for at tage dem.

Algoritmen kan derefter automatisere beslutningsprocessen, så store mængder data kan behandles effektivt på kort tid. Maskinlæringsalgoritmer forbedrer deres modeller, når de behandler flere og flere data.

Det er i disse data, der bruges til at opbygge og træne algoritmer, at mange af problemerne ligger. For det første har algoritmer typisk brug for relativt store datasæt for at fungere godt. Så i tilfældet med A-niveau-resultaterne tog man i små klasser på færre end 15 studerende deres lærers vurdering i betragtning, men i større klasser gjorde man det ikke.

Et andet centralt problem er, at data om fortiden ikke nødvendigvis hjælper dig med at træffe passende beslutninger om nutiden eller fremtiden. Det blokerer for enhver mulighed for forandring og udvikling – som når en skole forbedrer sin undervisning, eller en årgang med studerende præsterer bedre end deres jævnaldrende i tidligere år.

Det er ikke så vigtigt, når Google eller Amazon prøver at finde ud af, hvilke annoncer eller anbefalinger der kan være nyttige for dig baseret på, hvad andre mennesker med lignende profil har ønsket. Men at bestemme din fremtid baseret på andres fortid har meget større implikationer.

Den type sociale data, der er involveret i disse kritiske livsbeslutninger, er i sagens natur uforudsigelige. Opbygning af en model for, hvordan en tumor reagerer på behandling, er baseret på veletablerede naturlove om molekyler og celler. Men mennesker opfører sig ikke i overensstemmelse med den slags love. Det øger risikoen for, at testdata, der bruges til at opbygge algoritmer, kan være forskellige fra de reelle data, de behandler, og at beslutningerne i algoritmen vil være unøjagtige eller uretfærdige.

Desuden indeholder alle sociale data bias, som en algoritme kan ende med at kopiere. For eksempel justerede A-niveau-algoritmen resultater for at forsøge at kopiere de tidligere indsamlede resultater for forskellige etniske grupper, resultater som formentlig afspejler racemæssig ulighed. At stole på historiske data for at træne en algoritme fastfryser fortidens problemer, forhindrer ændringer i samfundet og de forsøg, der er på at forhindre fortidens fordomme i at dukke op i systemerne.

Endelig har sociale data også en politisk og social betydning. For eksempel er en klasse på mindre end 15 studerende, som ikke vil blive udsat for algoritmen, sandsynligvis enten en klasse i en privat skole eller studerer på et ikke særlig populært fag. Så en beslutning baseret på algoritmen vil have alvorlige sociale slagsider, i dette tilfælde til fordel for privatskoleelever eller studerende, der studerer mindre populære fag.

Det betyder, at man ikke kan fjerne den systematiske forskelsbehandling af sociale karakteristika, der findes i forudindtagne algoritmer, ved at undgå at bruge disse data i beregningen, fordi andre data kan fungere med tilsvarende fordomme.

Der er også et større problem. Algoritmer understøttet af maskinlæring sigter ikke mod at fungere som ekspertbeslutninger, men snarere mod at kopiere den gennemsnitlige beslutningstagning fra tidligere data.

Denne logik med det ’gennemsnitlige samfund’ er farlig for et samfund, der værdsætter individuel kreativitet og præstation. Det forhindrer forskel og ekspertise, da algoritmen systematisk skubber folk mod gennemsnittet.

Alt dette betyder, at algoritmisk retfærdighed er et mangesidet problem, som teknikken ikke kan løse alene. I stedet kan man sikre, at folk ikke bliver uretfærdigt eller ugunstigt stillet af en algoritme, ved at involvere dem tæt i udviklingen af algoritmen.

Mennesket styrer

Vores forskning har vist, at folk, der bruger en algoritme, kan gætte, hvordan det fungerer og opdage ændringer i den ved at være i den modtagende ende af algoritmens beslutninger. For eksempel fandt vi ud af, at arbejdstagere, der bruger digitale arbejdsplatforme som Uber og Fiverr, kan finde ud af, hvordan man manipulerer de data, der går ind i systemet for at få den til at tage beslutninger, der er gunstige for en selv.

En anden af vores undersøgelser viste, at folk, der arbejder i en organisation, der bruger kunstig intelligens i beslutningstagningen, kunne se, når den kunstige intelligens beslutninger var forkerte. Det betyder, at de kan fungere som et system, der tidligt i processen opdager uretfærdige og partiske beslutninger.

I et meget vellykket eksempel udviklede en organisation sine algoritmer i tæt samspil med de mennesker, der plejede at være ansvarlige for beslutningstagningen og med forskellige typer af brugere. Det betød at medarbejderne kunne registrere deres observationer og gøre opmærksom på eventuelle problemer, der skulle rettes.

Organisationen erkendte også, at den fortsat havde ansvaret for maskinens beslutninger. Så der blev udarbejdet en metode til at forklare algoritmen og dens beslutninger, så medarbejderne havde tillid til systemet og kunne rapportere, når det gik galt.

Når algoritmer har en magt over vores liv, er det vigtigt, at disse systemer er resultatet af politisk debat og drøftelse mellem alle, der er berørt af dem. En sådan debat sikrer, at algoritmen er gennemsigtig, forklarlig og accepteret.

Læs den originale artikel her

Log ind

Opret kundekonto

Dine personlige data vil blive anvendt til at understøtte din brugeroplevelse,, til at administrere adgang til din konto, og til andre formål, som er beskrevet i vores persondatapolitik.

Ja tak, jeg vil gerne have et gratis prøveabonnement og adgang til alle artikler

Enkelt abonnement


Abonnement

30 dages gratis prøveperiode. Herefter 49,00 DKK per måned. Dit abonnement bliver fornyet automatisk, når prøveperioden udløber. Du kan opsige abonnementet når du vil.

30 dages gratis prøveperiode. Herefter 49,00 DKK per måned

Varenummer (SKU): 40000 Varekategori:

Gruppeabonnement


Gruppeabonnement

Dit abonnement bliver fornyet automatisk, når prøveperioden udløber. Du kan opsige abonnementet når du vil.

30 dages gratis prøveperiode. Herefter Fra: 39,00 DKK per måned per medlem

Fra 5102550
Clear

Gruppemedlemmer:

Varenummer (SKU): 30000 Varekategori:

Gavekort


Tilbud

Gavekort

Gavekortet modtages som kode via e-mail og kan frit gives væk. Den første måned er stadig gratis ved brug af gavekort.

90,00 DKK120,00 DKK

3 måneder4 måneder
Ryd

Varenummer (SKU): N/A Varekategori: