AI-bias i rekrytering: er rekryterings-AI kan gallra fram sig själv

AI-bias i rekrytering handlar inte bara om kön, ålder, etnicitet eller dålig träningsdata.

Det finns ett konstigare problem nu: AI:n kan föredra kandidater som låter som AI:n.

Det låter smalt tills ni ser hur rekrytering redan fungerar. Kandidater använder ChatGPT eller Copilot för att putsa CV:n. Rekryterare använder AI-verktyg för att sammanfatta, filtrera, rangordna eller jämföra samma CV:n. Samma typ av modell kan hamna på båda sidor av bordet.

En ny studie kallar det AI self-preferencing. På vanlig svenska betyder det att en stor språkmodell, en LLM,¹ kan föredra text som ser ut som något den själv skulle ha skrivit, även när informationen om kandidaten är densamma.²

Det är den nyttiga delen av historien.

Inte “AI är dåligt”. Inte “använd aldrig AI i rekrytering”. Inte “ISO 42001 löser EU AI Act automatiskt”.

Poängen är spetsigare: om AI kan påverka vem som hamnar på en shortlist, behövs styrning innan shortlisten finns.

Studien hittade en bias som många revisioner skulle missa

Forskarna testade ett mönster som blir allt vanligare i rekrytering.

Sökande använder AI för att skriva eller förbättra sammanfattningar i CV:t. Arbetsgivare använder AI för att bedöma dem. Utvärderande modell får då text som kan bära samma stil, struktur och formuleringar som text den själv skulle ha skapat.

Studien beskriver risken så här:

Self-preferencing bias is inherently interactional: it arises when LLMs are asked to judge content that may share stylistic or linguistic patterns with their own generative outputs.

Source: Xu, Li, Jiang, “AI Self-preferencing in Algorithmic Hiring”, Section 1.²

Det ordet spelar roll: interactional.

Detta är inte bara den gamla historien där skev historisk data byggs in i en modell. Det kan fortfarande hända. Men här är problemet ett annat. Biasen kommer ur upplägget: AI-skrivna ansökningar mot AI-baserad utvärdering.

I studien jämförde forskarna CV-sammanfattningar medan informationen om kandidaten var fast. De hittade stark LLM-mot-människa-self-preference i flera stora modeller. I simulerade rekryteringsflöden för 24 yrken var kandidater som använde samma LLM som utvärderaren 23 till 60 procent mer sannolika att bli shortlistade än lika kvalificerade sökande som skickade människoskrivna CV:n.²

Kandidaten blev inte bättre. Signalen ändrades.

Det är i shortlisten skadan uppstår

Rekryteringsteam pratar ofta som om AI-screening bara är förarbete. Slutbeslutet tas ju fortfarande av en människa, så risken känns mindre.

Det är för bekvämt.

Shortlisten är inte administration. Det är där rekryteringen blir verklig. En kandidat som aldrig kommer vidare får sällan chansen att imponera senare. Ett falskt negativt beslut i gallringen dör oftast tyst.

Därför är studien viktig även om den inte är fältbevis från skarpa ATS-flöden.³ Den bevisar inte att varje arbetsgivare som använder AI-screening redan har detta problem. Den studerar kontrollerade CV-sammanfattningar, inte hela rekryteringsprocesser.²

Men den visar ett felmönster som är värt att ta på allvar. Ett verktyg som ska hitta bättre kandidater kan i stället belöna kandidater som skrev på modellens favoritvis.

Det är inte en liten ordfråga. Det påverkar vem som får människors uppmärksamhet.

EU AI Act behandlar detta som hög risk

EU AI Act behandlar inte rekryterings-AI som vanlig arbetsplatsprogramvara.

Bilaga III punkt 4(a) omfattar AI-system som är avsedda för rekrytering eller urval, särskilt system som används för riktade jobbannonser, analys och filtrering av jobbansökningar eller utvärdering av kandidater. Artikel 6 säger att system i bilaga III är högrisk, om inte ett specifikt undantag gäller där systemet inte innebär betydande risk, bland annat genom att inte påverka beslutsfattandet på ett väsentligt sätt.⁴

Det undantaget är viktigt. Ett smalt verktyg som bara formaterar intervjunoteringar är inte samma sak som ett verktyg som filtrerar kandidater.

Men om verktyget analyserar ansökningar, rangordnar kandidater, rekommenderar vilka som ska intervjuas eller påverkar shortlisten på ett väsentligt sätt, avfärda det inte som “bara en produktivitetsfunktion”. Förordningen placerar anställning och arbetsledning i en känslig kategori av en anledning.

Bilaga III punkt 4(b) drar samma logik vidare efter rekryteringen. Den omfattar AI som används för beslut som påverkar arbetsförhållanden, befordran, uppsägning, uppgiftsfördelning utifrån personliga egenskaper eller beteenden samt övervakning eller utvärdering av arbetstagares prestation och beteende.⁵

Gränsen går alltså inte mellan före anställning och efter anställning.

Gränsen går vid om AI kan påverka en persons tillgång till arbete, villkor i arbetet, utveckling, övervakning eller utvärdering.

De flesta skyldigheter för högrisksystem börjar gälla den 2 augusti 2026, medan vissa kapitel i AI Act redan börjat gälla tidigare.⁶ Det ger företag lite tid, men ingen stor trygghet. Den juridiska kategorin kan ändras när samma generiska AI-funktion går från att skriva text till att påverka beslut om människor.

Vad en vanlig arbetsgivare måste ha koll på

De flesta arbetsgivare bygger inte egna rekryteringsmodeller. De köper verktyg eller slår på funktioner i system de redan har.

Enligt AI Act gör det dem oftast till deployers, alltså organisationer som använder ett AI-system under sitt ansvar.⁷

Det ordet är lätt att underskatta. “Vi använder bara leverantörens verktyg” tar inte bort arbetsgivarens del av ansvaret.

För högrisksystem förväntar sig artikel 26 att deployers använder systemet enligt instruktioner, ger människor med kompetens, utbildning, mandat och stöd ansvar för human oversight, övervakar driften, sparar loggar som de kontrollerar, informerar arbetstagare och arbetstagarrepresentanter innan användning i arbetslivet och informerar fysiska personer när ett högrisksystem enligt bilaga III fattar eller hjälper till att fatta beslut om dem.⁸

Artikel 4 lägger till en bredare skyldighet kring AI literacy. Leverantörer och deployers ska, så långt de kan, se till att personal och andra som använder AI-system på deras uppdrag har tillräcklig AI literacy för sammanhanget och de personer som påverkas.⁹

Sätt det på vanlig rekryteringssvenska.

Om en rekryterare använder en AI-funktion för screening måste företaget veta vad verktyget är till för, vad det inte får användas till, vem som granskar utfallet, vilken bevisning som sparas, vad kandidater eller medarbetare får veta och hur företaget agerar om verktyget börjar bete sig dåligt.

Det är inte ett sidospår för juristavdelningen. Det är arbetssättet.

ISO 42001 är den disciplinerade delen. Därför hjälper den

ISO/IEC 42001:2023 ger inte automatisk efterlevnad av AI Act. Det är inget magiskt certifikatsskydd.

Standarden är nyttig av ett bättre skäl: den tvingar fram de tråkiga frågor som AI-införande annars hoppar över.

Vem äger användningsfallet?

Vad är avsedd användning?

Vem påverkas?

Vilken leverantör är inblandad?

Vilka loggar finns?

Vilka risker är acceptabla?

Vad händer när risken ändras efter att lösningen tagits i bruk?

Kapitel 4 kräver att organisationen fastställer sitt sammanhang, sin roll i relation till AI-system, relevanta intressenter och omfattning.¹⁰ Kapitel 6 kräver processer för AI-riskbedömning, AI-riskbehandling och konsekvensbedömning för AI-system.¹¹

Bilaga A gör detta konkret i form av kontrollområden: AI-policy, roller och ansvar, rapportering av farhågor, konsekvensbedömning, livscykelkontroller, data, information till intressenter, ansvarsfull användning, avsedd användning och ansvar i leverantörsrelationer.¹²

Det passar bra mot problemet i rekrytering.

AI self-preference är inte bara ett modellbeteende. Det är en processrisk. Den beror på vem som använder verktyget, för vilket beslut, med vilka indata, under vilka instruktioner, med vilken tillsyn och med vilken uppföljning.

Det är ledningssystemsterritorium.

Ett bättre test innan ni släpper in AI i rekryteringen

Innan ett AI-verktyg får påverka en shortlist, gör ett test som matchar den verkliga risken. Inte en demo. Inte en leverantörspresentation. En riktig genomgång av styrningen.

1. Definiera beslutslinjen.

Skriv exakt var AI får hjälpa till och var den inte får avgöra. Att sammanfatta ansökningar är en sak. Att sortera bort kandidater är en annan.

2. Klassificera användningsfallet.

Kontrollera om systemet analyserar ansökningar, filtrerar kandidater, utvärderar kandidater eller påverkar arbetsrelaterade beslut. Om ja, behandla bilaga III som direkt relevant om ni inte har ett dokumenterat skäl till att högriskundantaget gäller.⁴

3. Granska leverantörens avsedda användning.

Köp inte “AI för HR” som kategori. Fråga vad systemet är avsett att göra, vilka data det använder, vilka loggar som finns, vilken human oversight leverantören förväntar sig och vad leverantören säger att ni inte ska göra.

4. Testa mer än demografisk bias.

Demografisk bias är fortfarande viktig. Testa den. Men testa också stilpreferens, preferens för en viss modells formuleringar, preferens för AI-polering av CV:n och fall där samma kandidatdata får olika poäng för att formuleringen ändrades.²

5. Ge human oversight verkligt mandat.

Human oversight är inte en gummistämpel efter att modellen redan sorterat alla. Granskaren måste ha kompetens, tid, mandat och ett sätt att ifrågasätta utfallet.

6. Spara tillräckligt med bevis för att lära er.

Spara de loggar och poster som behövs för att förstå vad som hände. Vilken modellversion. Vilken indata. Vilken shortlist. Vilken överstyrning. Vilken farhåga. Vilken korrigerande åtgärd.¹³

7. Följ upp efter start.

Risken slutar inte när inköp skriver på. AI-system ändras. Kandidaters beteenden ändras. Rekryterande chefer lär sig lita på eller misstro verktyget. Följ upp processen som något som kan driva iväg, för det kan den.

Listan är inte glamorös. God styrning är sällan det.

Men det är mycket bättre än att upptäcka problemet efter tre rekryteringsrundor utan något sätt att i efterhand förstå vad som hände.

Artikeln i en mening

Rekryterings-AI kan skapa en ny sorts bias: kandidater kan vinna för att deras CV passar utvärderarmodellen, inte för att de passar jobbet.

EU AI Act spelar roll eftersom rekrytering och arbetsledning ligger i en högriskkategori. ISO/IEC 42001:2023 spelar roll eftersom standarden ger organisationen ett sätt att styra AI-användning innan den blir osynlig vardag.

Om ni redan arbetar med ledningssystem borde detta kännas bekant. Svaret är inte en heroisk engångskontroll. Svaret är policy, ägarskap, leverantörsstyrning, riskbedömning, konsekvensbedömning, övervakning, korrigerande åtgärder och ledningens genomgång.

Samma ledningsdisciplin som håller kvalitet, miljö, informationssäkerhet och arbetsmiljö under kontroll har nu ett nytt jobb.

AI har flyttat in i rekryteringsprocessen. Ledningssystemet måste följa efter.

Om ni vill se hur det kan se ut i praktiken, visar AmpliFlows ISO 42001-upplägg hur AI-policy, riskbedömning, konsekvensbedömning, leverantörsstyrning, åtgärder och uppföljning kan samlas i ett och samma ledningssystem.

Footnotes

1. LLM står för Large Language Model, stor språkmodell. Det är tekniken bakom verktyg som ChatGPT, Copilot och Gemini. ↩

2. Jiannan Xu, Gujie Li och Jane Yi Jiang, “AI Self-preferencing in Algorithmic Hiring: Empirical Evidence and Insights”, arXiv, 2025. Studien visar LLM-mot-människa-self-preference i en kontrollerad granskning av CV:n och simulerade shortlist-effekter på 23 till 60 procent. Källa: arXiv HTML. ↩ ↩² ↩³ ↩⁴ ↩⁵

3. ATS står för Applicant Tracking System, system som företag använder för att hantera jobbansökningar och kandidater. ↩

4. Regulation (EU) 2024/1689, Article 6 and Annex III point 4(a). Bilaga III omfattar AI-system som används för rekrytering eller urval, bland annat system som används för att analysera och filtrera jobbansökningar eller utvärdera kandidater. Artikel 6 innehåller klassificeringsregeln för högrisk och undantaget i artikel 6.3 för system i bilaga III som inte innebär betydande risk, bland annat genom att inte påverka beslutsfattandet på ett väsentligt sätt. Källa: EUR-Lex. ↩ ↩²

5. Regulation (EU) 2024/1689, Annex III point 4(b). Förordningen omfattar också AI-system som används för beslut som påverkar arbetsrelaterade relationer, befordran, uppsägning, uppgiftsfördelning utifrån personliga egenskaper eller beteenden samt övervakning eller utvärdering av arbetstagares prestation och beteende. Källa: EUR-Lex. ↩

6. Regulation (EU) 2024/1689, Article 113. Förordningen tillämpas från den 2 augusti 2026, medan kapitel I och II tillämpas från den 2 februari 2025, och Chapter III Section 4, Chapter V, Chapter VII, Chapter XII och Article 78 tillämpas från den 2 augusti 2025, utom Article 101. Källa: EUR-Lex. ↩

7. Regulation (EU) 2024/1689, Article 3(4). En deployer är en fysisk eller juridisk person, myndighet eller annat organ som använder ett AI-system under sitt ansvar, utom vid rent personlig och icke-yrkesmässig användning. Källa: EUR-Lex. ↩

8. Regulation (EU) 2024/1689, Article 26. Skyldigheter för deployers av högrisksystem omfattar användning enligt instruktioner, kompetent human oversight, övervakning, logghantering när loggarna kontrolleras av deployern, informationsskyldighet i arbetslivet och information till fysiska personer när högrisksystem enligt bilaga III fattar eller hjälper till att fatta beslut om dem. Källa: EUR-Lex. ↩

9. Regulation (EU) 2024/1689, Article 4. Leverantörer och deployers ska vidta åtgärder för att, så långt det är möjligt, ge personal och andra som använder AI-system på deras uppdrag en tillräcklig nivå av AI literacy. Källa: EUR-Lex. ↩

10. ISO/IEC 42001:2023, kapitel 4.1 till 4.4. Dessa kapitel omfattar organisationens sammanhang, organisationens roll i relation till AI-system, intressenter, omfattning och att inrätta ett ledningssystem för AI. ↩

11. ISO/IEC 42001:2023, kapitel 6.1.2, 6.1.3 och 6.1.4. Dessa kapitel kräver processer för AI-riskbedömning, AI-riskbehandling och konsekvensbedömning för AI-system. ↩

12. ISO/IEC 42001:2023, bilaga A. Relevanta kontroller är bland annat A.2.2 AI-policy, A.3.2 roller och ansvar, A.3.3 rapportering av farhågor, A.5.2 till A.5.4 konsekvensbedömning, A.6.2 livscykelkontroller, A.7 datastyrning, A.8 information till intressenter, A.9 ansvarsfull och avsedd användning samt A.10 tredjepartsrelationer. ↩

13. Korrigerande åtgärd betyder att ni inte bara rättar ett fel, utan också tar bort orsaken så att det inte händer igen. ↩