Verner Sand Kirk: Profilering – det nye sort

Verner Sand Kirk, direktør i Danske A-kasser skriver om sine bekymringer ved at bruge profilering af ledige. Digitale profileringsværktøjer vinder indpas i den offentlige sagsbehandling som påstået mirakel metode til at forudse hvilke mennesker, der er i en eller anden risikogruppe.

Disse værktøjer søger via samkøring af statistiske data og matematiske algoritmer at beregne den enkeltes risiko for f.eks. – at få en bestemt sygdom, – at få sociale problemer, – at børn klarer sig dårligt i skolen.

I kontanthjælpsreformen og beskæftigelsesreformen har begejstringen for ”profiling” også holdt sit indtog. Filosofien er intuitivt helt rigtig. Nemlig, at hvis man tidligt kan forudse den enkeltes risiko for at ende som langtidsledig, så kan man sætte tidligt ind med skræddersyede tiltag, der kan forebygge langtidsledighed.

Problemet ved disse værktøjer er imidlertid, at de forkert anvendt risikerer at gøre mere skade end gavn.

Jeg har det med profileringsværktøjer på samme måde, som Indre Mission har det med dansen. Det er ikke selve dansen, de har noget imod, men frygten for, hvad det kan føre til.

Pas på med statistikken

Verner Sand Kirk er direktør i brancheforeningen Danske A-kasser

Min skepsis går helt tilbage til min studietid, hvor vi i metode- og statistikundervisningen blev kraftigt belært om at undgå risikoen for såkaldte økologiske fejlslutninger.
Det går i korthed ud på, at man ikke kan slutte fra individniveau til aggregeret niveau – og heller ikke fra aggregeret niveau til individniveau. Det fleste ved godt, at man ikke blot fordi man har kendskab til et par unge tyveknægte, kan konkludere, at alle unge stjæler.

Men man kan heller ikke slutte den anden vej. F.eks. hvis en person tilhører en statistisk gruppe, hvor relativt mange bliver syge, kriminelle eller langtidsledige, så kan man ikke sige, at en bestemt person med de samme statistiske karakteristika også bliver det.

Stor risiko for fejltolkning

I sociologiske studier m.v. er det helt gængs og godt for forståelsen af diverse sammenhænge og mekanismer, hvis man kan forudse eller konstatere, at f.eks. 60 personer ud af 100 med kort uddannelse, anden etnicitet, forudgående ledighedsperioder m.v. ender som langtidsledige eller helt uden for arbejdsmarkedet. Men en overhyppighed må ikke, som det desværre ofte sker, fejlfortolkes som en lovmæssighed for alle. For i så fald giver man et forkert stempel til de 40 ud af de 100, som ikke er i risiko.

Det er en diskussion værd, om de 60, der reelt er i risiko, bliver godt hjulpet eller måske mister modet, når en computer og en sagsbehandler ud fra statistisk profiling meget tidligt i et ledighedsforløb fortæller dem, at de med stor sandsynlighed bliver langtidsledige. Og endnu mere problematisk er det, at de 40, som har gode chancer for snart at komme i arbejde, får at vide, at de godt kan dæmpe forhåbningerne.

Obligatorisk brug af profilering

Styrelsen for Arbejdsmarked og Rekruttering (STAR) har udviklet et sådant profileringsværktøj. Det er frivilligt for a-kasserne og de ledige, om de vil bruge dette værktøj. Men i det a-kasseforsøg, hvor 9 a-kasser fra årsskiftet skal stå for hele kontaktforløbet med de ledige i de første 3 måneder, er det obligatorisk at anvende et profileringsværktøj. A-kasserne skal enten bruge STARs værktøj eller udvikle et selv.

STAR udviklede oprindeligt modellen alene med anvendelse af en række objektive data fra diverse registre om f.eks. alder, herkomst og ledighedshistorik. Da det viste sig, at træfsikkerheden var ”beskeden”, supplerede man med et frivilligt spørgeskema med 10 spørgsmål om de lediges jobsøgning og om dem selv.

Det viste sig, at en af de stærkeste indikatorer er den enkeltes egen vurdering/tro om, hvor lang tid, der vil gå før vedkommende igen er i arbejde.

Svag træfsikkerhed

Det supplerende skema forbedrede modellen, men som det fremgår nedenfor, er det ikke just imponerende:

Opgjort på historiske data, har man testet modellens træfsikkerhed. (Det skal bemærkes, at man anvender en noget bred definition af langtidsledighed. Hvor normalen i statistik er 80 % ledighed i det seneste år, er det her 6 måneders ledighed beregnet med op til 7 ugers mellemliggende beskæftigelse).

Det viste sig, at modellen udskilte ca. 21 % af de ledige som værende i risikogruppen. Men i virkelighedens verden var det faktisk 45 %, som opfyldte det valgte kriterium for langtidsledighed.

Af de 21 ud af 100, som blev udskilt som i risiko, var det kun 14 (67 %), som blev langtidsledige. Altså blev 7 udtaget fejlagtigt af modellen.
Og af de 79, som ikke fik risikoprædikatet, viste det sig, at 31 (39 %) faktisk blev langtidsledige.
Ud af hver 100 er der således 7, der ukorrekt får en ”risikodiagnose” og 31 som fejlagtigt får at vide, at de ikke er i fare.

Men alligevel får alle automatisk en kvittering med deres resultat fra systemet, eller de får at vide af sagsbehandleren, om de vurderes i risiko eller ej. Når man gør det, er det helt afgørende, at den ledige som minimum får at vide, hvad modellen gør, og hvor stor usikkerheden er. Og at hele formålet med indsatsen i a-kasse og jobcenter er at gøre en evt. negativ prognose til skamme.

Må ikke stå alene

STAR og andre, der arbejder med dette, vedgår, at den statistiske udvælgelse ikke kan stå alene. Og at den alene tjener som et støtteværktøj til det, der kommer frem i den lediges CV, i forhold til de søgte job og i den personlige samtale med en sagsbehandler i jobcentret eller a-kassen.

Men her er det jo for det første vigtigt, at denne erkendelse om modellens forklaringskraft trænger ud til de sagsbehandlere og de ledige, der bruger værktøjet. Det er altså helt afgørende, at sagsbehandlerne er ordentligt uddannet i systemets muligheder og især dets begrænsninger. Og at de ledige kan forstå modellen, så de ikke skræmmes fra vid og sans.

Derfor er det også vigtigt, at den enkelte sagsbehandler har evnen og viljen til at ”overrule” modellens forudsigelse, både for dem, der fejlagtigt er vurderet i risiko, og for dem, der fejlagtigt er vurderet uden for risiko. Her har jeg svært ved at undertrykke en vis skepsis.

Er det til gavn eller det modsatte?

Det siger sig selv, at det mindste, de ledige bør kunne forlange, når de kommer til samtale er, at sagsbehandleren eller jobkonsulenten har sat sig ind i deres uddannelses- og beskæftigelseshistorik, og med sit kendskab til behovene på arbejdsmarkedet kan vurdere, og der er brug for noget uddannelse eller andet. Eller om de bare skal holde modet oppe og søge alle relevante job.

“Det gode spørgsmål, som der mig bekendt ikke er givet et evidensbaseret svar på er, om datadrevne og algoritmebaserede profileringsværktøjer er til gavn eller det modsatte som grundlag for dette.”

Det gode spørgsmål, som der mig bekendt ikke er givet et evidensbaseret svar på er, om datadrevne og algoritmebaserede profileringsværktøjer er til gavn eller det modsatte som grundlag for dette.

Derfor vil mit forslag være, at der laves et ordentligt videnskabeligt forsøg med ægte kontrolgrupper, så vi kan få vished for om anvendelsen af disse værktøjer resulterer i flere eller færre langtidsledige. Det kommende a-kasseforsøg kunne være en god mulighed. F.eks. ved at de deltagende a-kasser bruger profileringsværktøjet for halvdelen af deres nyledige og undlader det for resten.

Denne uge:

Verner Sand Kirk: Profilering – det nye sort

Verner Sand Kirk, direktør i Danske A-kasser skriver om sine bekymringer ved at bruge profilering af ledige. Digitale profileringsværktøjer vinder indpas i den offentlige sagsbehandling som påstået mirakel metode til at forudse hvilke mennesker, der er i en eller anden risikogruppe.

Disse værktøjer søger via samkøring af statistiske data og matematiske algoritmer at beregne den enkeltes risiko for f.eks. – at få en bestemt sygdom, – at få sociale problemer, – at børn klarer sig dårligt i skolen.

I kontanthjælpsreformen og beskæftigelsesreformen har begejstringen for ”profiling” også holdt sit indtog. Filosofien er intuitivt helt rigtig. Nemlig, at hvis man tidligt kan forudse den enkeltes risiko for at ende som langtidsledig, så kan man sætte tidligt ind med skræddersyede tiltag, der kan forebygge langtidsledighed.

Problemet ved disse værktøjer er imidlertid, at de forkert anvendt risikerer at gøre mere skade end gavn.

Jeg har det med profileringsværktøjer på samme måde, som Indre Mission har det med dansen. Det er ikke selve dansen, de har noget imod, men frygten for, hvad det kan føre til.

Pas på med statistikken

Verner Sand Kirk er direktør i brancheforeningen Danske A-kasser

Min skepsis går helt tilbage til min studietid, hvor vi i metode- og statistikundervisningen blev kraftigt belært om at undgå risikoen for såkaldte økologiske fejlslutninger.
Det går i korthed ud på, at man ikke kan slutte fra individniveau til aggregeret niveau – og heller ikke fra aggregeret niveau til individniveau. Det fleste ved godt, at man ikke blot fordi man har kendskab til et par unge tyveknægte, kan konkludere, at alle unge stjæler.

Men man kan heller ikke slutte den anden vej. F.eks. hvis en person tilhører en statistisk gruppe, hvor relativt mange bliver syge, kriminelle eller langtidsledige, så kan man ikke sige, at en bestemt person med de samme statistiske karakteristika også bliver det.

Stor risiko for fejltolkning

I sociologiske studier m.v. er det helt gængs og godt for forståelsen af diverse sammenhænge og mekanismer, hvis man kan forudse eller konstatere, at f.eks. 60 personer ud af 100 med kort uddannelse, anden etnicitet, forudgående ledighedsperioder m.v. ender som langtidsledige eller helt uden for arbejdsmarkedet. Men en overhyppighed må ikke, som det desværre ofte sker, fejlfortolkes som en lovmæssighed for alle. For i så fald giver man et forkert stempel til de 40 ud af de 100, som ikke er i risiko.

Det er en diskussion værd, om de 60, der reelt er i risiko, bliver godt hjulpet eller måske mister modet, når en computer og en sagsbehandler ud fra statistisk profiling meget tidligt i et ledighedsforløb fortæller dem, at de med stor sandsynlighed bliver langtidsledige. Og endnu mere problematisk er det, at de 40, som har gode chancer for snart at komme i arbejde, får at vide, at de godt kan dæmpe forhåbningerne.

Obligatorisk brug af profilering

Styrelsen for Arbejdsmarked og Rekruttering (STAR) har udviklet et sådant profileringsværktøj. Det er frivilligt for a-kasserne og de ledige, om de vil bruge dette værktøj. Men i det a-kasseforsøg, hvor 9 a-kasser fra årsskiftet skal stå for hele kontaktforløbet med de ledige i de første 3 måneder, er det obligatorisk at anvende et profileringsværktøj. A-kasserne skal enten bruge STARs værktøj eller udvikle et selv.

STAR udviklede oprindeligt modellen alene med anvendelse af en række objektive data fra diverse registre om f.eks. alder, herkomst og ledighedshistorik. Da det viste sig, at træfsikkerheden var ”beskeden”, supplerede man med et frivilligt spørgeskema med 10 spørgsmål om de lediges jobsøgning og om dem selv.

Det viste sig, at en af de stærkeste indikatorer er den enkeltes egen vurdering/tro om, hvor lang tid, der vil gå før vedkommende igen er i arbejde.

Svag træfsikkerhed

Det supplerende skema forbedrede modellen, men som det fremgår nedenfor, er det ikke just imponerende:

Opgjort på historiske data, har man testet modellens træfsikkerhed. (Det skal bemærkes, at man anvender en noget bred definition af langtidsledighed. Hvor normalen i statistik er 80 % ledighed i det seneste år, er det her 6 måneders ledighed beregnet med op til 7 ugers mellemliggende beskæftigelse).

Det viste sig, at modellen udskilte ca. 21 % af de ledige som værende i risikogruppen. Men i virkelighedens verden var det faktisk 45 %, som opfyldte det valgte kriterium for langtidsledighed.

Af de 21 ud af 100, som blev udskilt som i risiko, var det kun 14 (67 %), som blev langtidsledige. Altså blev 7 udtaget fejlagtigt af modellen.
Og af de 79, som ikke fik risikoprædikatet, viste det sig, at 31 (39 %) faktisk blev langtidsledige.
Ud af hver 100 er der således 7, der ukorrekt får en ”risikodiagnose” og 31 som fejlagtigt får at vide, at de ikke er i fare.

Men alligevel får alle automatisk en kvittering med deres resultat fra systemet, eller de får at vide af sagsbehandleren, om de vurderes i risiko eller ej. Når man gør det, er det helt afgørende, at den ledige som minimum får at vide, hvad modellen gør, og hvor stor usikkerheden er. Og at hele formålet med indsatsen i a-kasse og jobcenter er at gøre en evt. negativ prognose til skamme.

Må ikke stå alene

STAR og andre, der arbejder med dette, vedgår, at den statistiske udvælgelse ikke kan stå alene. Og at den alene tjener som et støtteværktøj til det, der kommer frem i den lediges CV, i forhold til de søgte job og i den personlige samtale med en sagsbehandler i jobcentret eller a-kassen.

Men her er det jo for det første vigtigt, at denne erkendelse om modellens forklaringskraft trænger ud til de sagsbehandlere og de ledige, der bruger værktøjet. Det er altså helt afgørende, at sagsbehandlerne er ordentligt uddannet i systemets muligheder og især dets begrænsninger. Og at de ledige kan forstå modellen, så de ikke skræmmes fra vid og sans.

Derfor er det også vigtigt, at den enkelte sagsbehandler har evnen og viljen til at ”overrule” modellens forudsigelse, både for dem, der fejlagtigt er vurderet i risiko, og for dem, der fejlagtigt er vurderet uden for risiko. Her har jeg svært ved at undertrykke en vis skepsis.

Er det til gavn eller det modsatte?

Det siger sig selv, at det mindste, de ledige bør kunne forlange, når de kommer til samtale er, at sagsbehandleren eller jobkonsulenten har sat sig ind i deres uddannelses- og beskæftigelseshistorik, og med sit kendskab til behovene på arbejdsmarkedet kan vurdere, og der er brug for noget uddannelse eller andet. Eller om de bare skal holde modet oppe og søge alle relevante job.

“Det gode spørgsmål, som der mig bekendt ikke er givet et evidensbaseret svar på er, om datadrevne og algoritmebaserede profileringsværktøjer er til gavn eller det modsatte som grundlag for dette.”

Det gode spørgsmål, som der mig bekendt ikke er givet et evidensbaseret svar på er, om datadrevne og algoritmebaserede profileringsværktøjer er til gavn eller det modsatte som grundlag for dette.

Derfor vil mit forslag være, at der laves et ordentligt videnskabeligt forsøg med ægte kontrolgrupper, så vi kan få vished for om anvendelsen af disse værktøjer resulterer i flere eller færre langtidsledige. Det kommende a-kasseforsøg kunne være en god mulighed. F.eks. ved at de deltagende a-kasser bruger profileringsværktøjet for halvdelen af deres nyledige og undlader det for resten.

Log ind

Opret kundekonto

Dine personlige data vil blive anvendt til at understøtte din brugeroplevelse,, til at administrere adgang til din konto, og til andre formål, som er beskrevet i vores persondatapolitik.

Ja tak, jeg vil gerne have et gratis prøveabonnement og adgang til alle artikler

Enkelt abonnement



Gruppeabonnement



Gavekort