Vem vill inte ha anställda i stjärnklass?
Men hur ska man nå dit? Svaret är att det är enkelt. Om jag själv skulle anställa till viktiga, komplicerade och svåra jobb skulle jag veta precis hur man ska gå tillväga för att nå maximalt resultat till minimal kostnad.
1. Se till att många söker jobbet, minst 30.
2. Testa dem med ett screeningtest som mäter personlighet och allmän begåvning, den s k g-faktorn. Se till att testet avslöjar skönmålande svar - sådana är vanliga!
3. Välj ut en tätgrupp för mera ingående testning, intervjuer mm
Denna metodik leder med stor säkerhet till målet att hitta en anställd i stjärnklass. Den viktigaste faktorn är urvalskvoten, dvs antalet sökande till ett jobb. Enkla statistiska analyser visar att om gruppen är tillräckligt stor finns det med betydande säkerhet minst en mycket bra person i den, och chansen att han eller hon kommer med i tätgruppen blir också mycket stor om man testar alla sökande i steg 1, även om testet är snabbt och lite "trubbigt". Se nedanstående bild:
Bilden visar att om man anställer en mindre del av de sökande - i detta fall en urvalskvot på 10% - blir andel framgångsrika på jobbet extremt stor även om testet är ett tämligen modest samband med kriteriet framgång i jobbet, i en oselegerad grupp.
Tabeller publicerade av Abrahams et al. (1971) visar:
Med en urvalskvot på 5%, och om chansen till framgång i en oselegerad grupp är låg, också den 5%, kan man förvänta sig 85% framgångrika i den selegerade gruppen om testets validitet är 0.6, ett rimligt värde med ett bra screeningtest som mäter både begåvning och relevanta aspekter på personlighet. De allra bästa kan sedan sållas fram med mera ingående testning, intervjuer, referenstagning och arbetsprov.
Inte många gör så här, och allra minst för de absoluta toppjobben som chefer för stora företag och organisationer, statsråd mm. Man använder sig av nätverksrekrytering och väljer bland dem man råkar känna, en alldeles för liten grupp för att garantera ett riktigt bra urval. Och misslyckandena är många.
Man känner inte till screeninglogiken, litar till rykten ("referenser"), intuition och vänskap: nätverksrekrytering. Nepotism är troligen vanlig, se på alla statsråd som är barn till statsråd (Thomas Bodström) eller till vänner som umgåtts i de högsta kretsarna (Mona Sahlin), eller som gifte sig med chefens dotter (Pehr Gyllenhammar, Carl Bildt). Detta är oseriös rekrytering som leder ner i avgrunden. "Det finns ingen annan" fick jag höra när jag satt i ett forskningsråd som skulle rekrytera en chef på 80-talet. Det var ett löjeväckande argument men antagligen upplevdes det så. En god vän skulle ha jobbet, så enkelt var det.
Rekryteraren måste stålsätta sig mot dessa faktorer och sin egen naiva önskan att ha fullständig personlig kontroll över den första fasen i processen. Den blir mindre realistisk ju flera som testas, samtidigt som processens resultat blir allt bättre. Testa många, ge dem chansen, även om det känns tråkigt att sedan säga nej till att som inte fick toppresultat. Det är mycket billigt att testa men mycket dyrt att missa framtida stjärnanställda. Den som inser det får en enorm konkurrensfördel på marknaden, särskilt vid stor arbetslöshet bland ungdomar och invandrare, men ytterst få förstår screeninglogiken och är villiga att arbeta efter den. Läsa mera här.
Referens
Abrahams, N. M., Alf, E. F., & Wolfe, J. J. (1971). Taylor-Russell tables for dichotomous criterion variables. [doi:10.1037/h0031761]. Journal of Applied Psychology, 55(5), 449-457.
Recent research and practice in testing and psychometrics, with an emphasis on scientific and critical discussions.
Tuesday, August 31, 2010
Stjärnrekrytering eller nätverksrekrytering?
Tuesday, August 24, 2010
Risker med Internettestning
Det tycks vara vanligt att testdata skickas till USA eller Storbritannien för utvärdering och arkivering där. Detta är kanske naturligt med tanke på att de flesta personlighetstesterna vi använder i Sverige är importerade och översatta; scoringnycklar torde ej lämnas ut till svenska agenter. Det är svårt att ha kontroll över var dessa känsliga data hamnar eller vem som får tillgång till dem när man arbetar på det sättet. Det är svårt att värja sig mot dataintrång när resultat skickas i öppen okrypterad e-post. Det är den testades rättighet att ingen obehörig kan läsa eller påverka hans data, och det är också en skyldighet för den som administrerar och använder testningen att se till att så inte kan ske. Vid arbete med UPP-testet har vi försäkrat oss om SSL-kryptering (samma som internetbankerna), och dessutom en helt egen server med extrem snabbhet och utrymme. Tusentals testningar kan göras samtidigt. Tillgänglighet och skalbarhet garanteras på detta sätt. Två svensktalande supportfunktioner finns för snabbt åtgärdande av eventuella tekniska problem och svar på psykometriska frågor. Inga data lämnar landet i någon fas.
I offentlig sektor har man rätt att vänta sig att säkerhets- och integritetsfrågorna behandlas särskilt genomtänkt och kompetent.
I offentlig sektor har man rätt att vänta sig att säkerhets- och integritetsfrågorna behandlas särskilt genomtänkt och kompetent.
Friday, August 13, 2010
Testningar i arbetslivet
En utmärkt bok av Furnham ger en vetenskapligt väl underbyggd genomgång av området personlighet och test i arbetslivet. Skaffa den och läs den med eftertanke. Den ger en konstruktiv bild av området utan att släta över svårigheter och kritik.
Furnham, A. (2008). Personality and intelligence at work. Exploring and explaining individual differences at work. Hove, East Sussex: Routledge.
Furnham, A. (2008). Personality and intelligence at work. Exploring and explaining individual differences at work. Hove, East Sussex: Routledge.
Sunday, August 8, 2010
Misslyckade chefer kan undvikas med hjälp av test
Chefer misslyckas ofta. Aktuell forskning mobbning tar fram chefernas roll i sådan destruktiv aktivitet. Amerikanska data tyder på ca 50% misslyckade rekryteringar. Vem har inte haft en chef som varit livrädd för självständiga och kreativa medarbetare? Personlighet tycks vara en avgörande faktor. Misslyckade rekryteringar kan bli oerhört kostsamma. Personlighet är en kritisk faktor i sammanhanget. Väl fungerande test kan vara extremt kostnadseffektiva.
Hogan, Hogan och Kaiser har skrivit en utmärkt översikt av området, som ger "state of the art" . Rekommenderas! Den är ännu inte publicerad men finns på en länk, se nedan. Deras inriktning är i hög grad på Big Five. Men Big Five har gett ytterst lite vid validering i arbetslivet. Jagstyrka är ett intressant alternativ.
Begreppet jagstyrka har en omfattande teoretisk grund. UPP-testet mäter jagstyrka och korrigerar för skönmålning. Korrelationen i en grupp chefer mellan jagstyrka och av koncernledningen bedömd effektivitet var 0.63. Se bilden:
.
Visst önskar man sig replikationer av ett sådant resultat, men onekligen är det lovande. Valideringar är ju svåra att genomföra, men mina resultat tyder på att proxyvalidering fungerar, se referens nedan. Proxyvalidering innebär att man validerar testet mot skalor som mäter arbetsmotivation, resultatorientering, förändringsvilja, balans mellan arbete och övrigt liv samt arbetsintresse. Sådana skalor finns inkorporerade i UPP-testet och mäts rutinmässigt där. Det tycks som om validering mot denna typ av skalor ger resultat som är jämförbara dem som man får vid validering mot oberoende bedömningar.
Referenser
Hogan, J., Hogan, R., & Kaiser, R. B. (2011). Management derailment APA handbook of industrial and organizational psychology, Vol 3: Maintaining, expanding, and contracting the organization. (pp. 555-575): Washington, DC, US: American Psychological Association. Klicka här.
Sjöberg, L. (2005). Ledarskap och personlighet: Testning av jagstyrka. (Leadership and personality: Testing ego-strength) (SSE/EFI Working Paper Series in Business Administration No. 2005:7). Stockholm: Stockholm School of Economics.
Klicka här.
Sjöberg, L. (2010). UPP-testet och kundservice: Kriteriestudie. Forskningsrapport 2010:6. Stockholm: Psykologisk Metod AB.
Klicka här.
Sjöberg, L. (2010). A third generation personality test (SSE/EFI Working Paper Series in Business Administration No. 2010:3). Stockholm: Stockholm School of Economics.
Klicka här.
Hogan, Hogan och Kaiser har skrivit en utmärkt översikt av området, som ger "state of the art" . Rekommenderas! Den är ännu inte publicerad men finns på en länk, se nedan. Deras inriktning är i hög grad på Big Five. Men Big Five har gett ytterst lite vid validering i arbetslivet. Jagstyrka är ett intressant alternativ.
Begreppet jagstyrka har en omfattande teoretisk grund. UPP-testet mäter jagstyrka och korrigerar för skönmålning. Korrelationen i en grupp chefer mellan jagstyrka och av koncernledningen bedömd effektivitet var 0.63. Se bilden:
.
Visst önskar man sig replikationer av ett sådant resultat, men onekligen är det lovande. Valideringar är ju svåra att genomföra, men mina resultat tyder på att proxyvalidering fungerar, se referens nedan. Proxyvalidering innebär att man validerar testet mot skalor som mäter arbetsmotivation, resultatorientering, förändringsvilja, balans mellan arbete och övrigt liv samt arbetsintresse. Sådana skalor finns inkorporerade i UPP-testet och mäts rutinmässigt där. Det tycks som om validering mot denna typ av skalor ger resultat som är jämförbara dem som man får vid validering mot oberoende bedömningar.
Referenser
Hogan, J., Hogan, R., & Kaiser, R. B. (2011). Management derailment APA handbook of industrial and organizational psychology, Vol 3: Maintaining, expanding, and contracting the organization. (pp. 555-575): Washington, DC, US: American Psychological Association. Klicka här.
Sjöberg, L. (2005). Ledarskap och personlighet: Testning av jagstyrka. (Leadership and personality: Testing ego-strength) (SSE/EFI Working Paper Series in Business Administration No. 2005:7). Stockholm: Stockholm School of Economics.
Klicka här.
Sjöberg, L. (2010). UPP-testet och kundservice: Kriteriestudie. Forskningsrapport 2010:6. Stockholm: Psykologisk Metod AB.
Klicka här.
Sjöberg, L. (2010). A third generation personality test (SSE/EFI Working Paper Series in Business Administration No. 2010:3). Stockholm: Stockholm School of Economics.
Klicka här.
Sunday, July 25, 2010
Big Five-validitet
Femfaktormodellen (FFM) med sina fem dominerande och övergripande dimensioner har kommit att dominera arbetspsykologisk testning i vårt land med kända test som OPQ, HPI, MBTI och NEO-PI-R. (Tre amerikanska och ett brittiskt, översatta till svenska men knappast validerade i Sverige annat än med enstaka studier). Eftersom modellen tar så stor plats både i internationell forskning och i praktik är den trovärdig om man inte följer valideringsforskningen. Denna har nämligen tydligt visat att FFM ger mycket magra tillskott till testens validitet för prognos av arbetsprestation och utbildningsresultat.
En av de bästa meta-analyserna av FFM-validitet publicerades år 2008 av Schmidt et al. (2008). De har gjort ett ambitiöst försök att hitta all relevant valideringsforskning och dessutom korrigerat resultaten för mätfel i kriterierna och begränsad variation i FFM-dimensionerna. Mätfel i kriterierna sänker korrelationerna och detsamma gäller begränsad variation. Deras värden torde därför vara de mest rättvisande som publicerats. Särskilt intressant är deras nyskapande metodik för att korrigera för begränsad variation - tidigare använda metoder gav för små effekter (Schmidt et al., 2006).
Medianvärden av validitetskoefficienterna (korrelationer) återfinns i nedanstående tabell.
Det är alltså bara noggrannhet som ligger över 0.20, även det en bra bit under det normala för personlighetstest som snarare ligger omkring 0.3 (sällan mera för enstaka skalor). Medianen för alla skalorna ligger på 0.090 för prestation och 0.170 för utbildningsresultat. Om man tillämpar STP:s kriterier för testgranskning och deras sätt att räkna skulle hela FFM underkännas!
Varför fungerar FFM så dåligt? Ett skäl är troligen att dimensionerna är för allmänna. De fokuserar inte på viktiga dimensioner i arbetslivet. Ett annat skäl är deras kognitiva, beskrivande, karaktär. Emotionella funktioner är viktigare (Sjöberg, 2008, 2010).
Bättre validitet än ovanstående kan man inte hoppas på för de övergripande FFM-dimensionerna och man ställer sig lite undrande till det stora genomslaget för FFM-test i svensk praktik. Bättre resultat kan emellertid erhållas med andra dimensioner och vissa av underskalorna ("fasetter") till FFM-modellerna, mera därom i ett kommande inlägg.
Onekligen är det intressant att se vilken överlägsen validitet som allmänbegåvning har. Länge var det tabu i vårt land att tala om och använda intelligenstest, så tycks inte riktigt vara fallet längre och det är som synes på goda grunder.
Referenser
Schmidt, F. L., Oh, I.-S., & Le, H. (2006). Increasing the accuracy of corrections for range restriction: Implications for selection procedure validities and other research results. Personnel Psychology, 59(2), 281-305.
Schmidt, F. L., Shaffer, J. A., & Oh, I.-S. (2008). Increased accuracy for range restriction corrections: Implications for the role of personality and general mental ability in job and training performance. [doi:10.1111/j.1744-6570.2008.00132.x]. Personnel Psychology, 61(4), 827-868.
Sjöberg, L. (2008). Bortom Big Five: Konstruktion och validering av ett personlighetstest. (SSE/EFI Working Paper Series in Business Administration No. 2008:7). Stockholm: Stockholm School of Economics.Klicka här.
Sjöberg, L. (2010). A third generation personality test (SSE/EFI Working Paper Series in Business Administration No. 2010:3). Stockholm: Stockholm School of Economics. Klicka här,
En av de bästa meta-analyserna av FFM-validitet publicerades år 2008 av Schmidt et al. (2008). De har gjort ett ambitiöst försök att hitta all relevant valideringsforskning och dessutom korrigerat resultaten för mätfel i kriterierna och begränsad variation i FFM-dimensionerna. Mätfel i kriterierna sänker korrelationerna och detsamma gäller begränsad variation. Deras värden torde därför vara de mest rättvisande som publicerats. Särskilt intressant är deras nyskapande metodik för att korrigera för begränsad variation - tidigare använda metoder gav för små effekter (Schmidt et al., 2006).
Medianvärden av validitetskoefficienterna (korrelationer) återfinns i nedanstående tabell.
| Validitetskoefficienter (medianer) hos FFM-dimensioner samt intelligens (g-faktorn) enligt meta-analys av Schmidt et al. (2008). | ||
| Dimension | Arbetsprestation | Utbildningsresultat |
| Noggrannhet | 0.209 | 0.260 |
| Emotionell stabilitet | 0.131 | 0.159 |
| Vänlighet/smidighet | 0.080 | 0.120 |
| Extraversion/utåtvändhet | 0.090 | 0.170 |
| Öppenhet | 0.040 | 0.240 |
| Intelligens | 0.615 | 0.665 |
Det är alltså bara noggrannhet som ligger över 0.20, även det en bra bit under det normala för personlighetstest som snarare ligger omkring 0.3 (sällan mera för enstaka skalor). Medianen för alla skalorna ligger på 0.090 för prestation och 0.170 för utbildningsresultat. Om man tillämpar STP:s kriterier för testgranskning och deras sätt att räkna skulle hela FFM underkännas!
Varför fungerar FFM så dåligt? Ett skäl är troligen att dimensionerna är för allmänna. De fokuserar inte på viktiga dimensioner i arbetslivet. Ett annat skäl är deras kognitiva, beskrivande, karaktär. Emotionella funktioner är viktigare (Sjöberg, 2008, 2010).
Bättre validitet än ovanstående kan man inte hoppas på för de övergripande FFM-dimensionerna och man ställer sig lite undrande till det stora genomslaget för FFM-test i svensk praktik. Bättre resultat kan emellertid erhållas med andra dimensioner och vissa av underskalorna ("fasetter") till FFM-modellerna, mera därom i ett kommande inlägg.
Onekligen är det intressant att se vilken överlägsen validitet som allmänbegåvning har. Länge var det tabu i vårt land att tala om och använda intelligenstest, så tycks inte riktigt vara fallet längre och det är som synes på goda grunder.
Referenser
Schmidt, F. L., Oh, I.-S., & Le, H. (2006). Increasing the accuracy of corrections for range restriction: Implications for selection procedure validities and other research results. Personnel Psychology, 59(2), 281-305.
Schmidt, F. L., Shaffer, J. A., & Oh, I.-S. (2008). Increased accuracy for range restriction corrections: Implications for the role of personality and general mental ability in job and training performance. [doi:10.1111/j.1744-6570.2008.00132.x]. Personnel Psychology, 61(4), 827-868.
Sjöberg, L. (2008). Bortom Big Five: Konstruktion och validering av ett personlighetstest. (SSE/EFI Working Paper Series in Business Administration No. 2008:7). Stockholm: Stockholm School of Economics.Klicka här.
Sjöberg, L. (2010). A third generation personality test (SSE/EFI Working Paper Series in Business Administration No. 2010:3). Stockholm: Stockholm School of Economics. Klicka här,
Labels:
begränsad variation,
Big Five,
FFM,
meta-analys,
NEO-PI-R,
STP,
testvalidering
Friday, July 23, 2010
Skönmålning är stark, vanlig och viktig vid testning i skarpt läge
Det påstås ibland att skönmålning på personlighetstest knappast förekommer, åtminstone inte i hög grad. Jaså. Hur vet man det? Påståendet verkar gå helt emot vanligt sunt förnuft. Visst försöker väl testade i ett skarpt läge att framställa sig i så positiv dager som möjligt på självrapporttest - den absolut vanligaste formen av personlighetstest?
För att påstå att stark skönmålning inte förekommer måste man ha data också på icke skönmålade svar. Detta kan man få, approximativt givetvis, genom att ta fram testsvar som rensats från skönmålning med hjälp av validerad metodik för sådan rensning.
Jag arbetar med korrektion för skönmålning med hjälp av två skalor som mäter social önskvärdhet, en overt (genomskådlig, Hunter Mabons term) och en kovert (ogenomskådlig). De ger likartade resultat och har validerats både experimentellt och i skarpa testningar vid jobbansökning, se referens nedan. Vid testningar på rekryteringsplattformen Katapult används den koverta skalan och UPP-testets screeningmodul, se referens nedan. Modulen mäter extraversion, uthållighet, samarbetsvilja, positiv grundattityd och kreativitet.
De data som analyseras här baseras på testsvar från 4457 personer (Katapult) som tog screeningmodulen när de anmälde sig som sökande till olika jobb. Det är alltså data från testning i skarpt läge som det gäller.Korrelationerna mellan personlighetsdimensionerna och skönmålning framgår av tabellen nedan, liksom korrelationerna mellan råvärden och korrigerade värden.
I fyra av de fem fallen var sambanden starka mellan skönmålning och personlighetsdimensionen.
Märk också att effekten av korrektion var ytterst liten i ett av fallen (kreativitet) men större i de övriga. Detta är ett vanligt resultat. Olika dimensioner är i olika hög grad påverkade av skönmålning.
Men hur viktiga, eller stora, är effekterna?
Jag skapade en sammansatt poäng genom att beräkna medelvärdet av alla fem dimensionerna, med lika vikter, före och efter korrektion. Båda dessa summapoäng rangordnades i hela materialet. (Tack gode Gud för datorer). Därefter lade jag in gränsvärden för de bästa 1%, 5%, 10% och 20% för råvärdena. Hur många av dem som nådde dessa topp-placeringar behöll sina platser efter korrektion? Svar, se nedanstående tabell:
Detta betyder att bland dem i den bästa procenten före korrektion var det bara 8.9% som behöll den placeringen efter korrektion. Vid mindre krav för topp-plats var andelen som behöll sin plats större men vid 20% topp-plats var det fortfarande bara 17.7 % som behöll platsen.
Med andra ord: över 80% av dem som hamnar på "lilla listan" om rekrytering baseras på personlighetstestet har troligen hamnat där på grund av att de bluffat på testet! Eftersom dessa data baseras på korrektion med enbart en skala i stället för vår vanliga design med två skalor är dessutom effekterna troligen underskattade.
Ett annat och enklare svar på frågan om det förekommer stora effekter av skönmålning kan vi få genom att se närmare på hur stora förändringar i rangplats som de 45 bästa (bästa procenten, 99:e percentilen) fick efter korrektion och ny rangordning. Som visade ovan var det 91% av dem som inte lyckades behålla sin plats. Fördelningen av skillnaderna mellan de två rangordningarna för de 45 bästa enligt rådata framgår av nedanstående graf. Medianen för tappade rangplatser var 545, alltså ett fall, i genomsnitt, från 99:e till 88:e percentilen. Mycket mera dramatiska fall förekom också, upp till 1200 rangplatser. I ljuset av de data som presenterats här är det enligt min mening osakligt att fortsätta att påstå att stark skönmålning "knappast förekommer".
Ännu en kontroll är intressant. Antag att vi försöker värja oss mot effekterna av skönmålning genom att utesluta dem som har högst värde i detta avseende. Det är troligen ett vanligt sätt att arbeta, som jag sett på nära håll under min tid på Handelshögskolan. Jag lade därför in en cut-off vid 21% av stickprovet och uteslöt 922 personer. (Just denna gräns var lämplig på grund av klustring av data; omkring 20-25 % är troligen vanligt). De som nu återstod i 99:e percentilen i rådata kunde emellertid inte alls försvara sina platser efter korrektion. Korrektionen medförde att deras rangplatser sjönk 629 steg, alltså ännu mera än för hela stickprovet. För att motverka de snedvridande effekterna av skönmålning måste man alltså korrigera fullt ut enligt den metod som använts här (och i våra övriga test) - uteslutande av dem som ligger högst på en "lögnskala" har bara kosmetiska effekter.
Frågan om hur kraftig skönmålningen är kan också besvaras genom att analysera den absoluta nivån på svaren.Den informationen brukar man inte använda i testpsykologin, men i andra sammanhang som medarbetarundersökningar gör man ju det. Det som talar mot att använda absolutnivån är att den påverkas av frågornas formulering. Då emellertid en skala i typfallet består av ganska många frågor motverkas den felkällan; man får trots allt en viss uppfattning om styrkan i svarstendensen. I fallet med våra data och måttet på skönmålning låg medianen på 4.33, svarsskala 1-5. 74 % av de testade hade ett värde > 4.0, mindre än 1 % låg under 3.0. De testade hade alltså en mycket stark tendens att välja skönmålande svar. Det stödjer min tes att skönmålning är stark och vanligt förekommande.
Man kan fråga sig om skönmålning har ännu flera konsekvenser. Det påstås ofta att validiteten inte påverkas av korrektion. Detta är nog tämligen riktigt, se data ovan som visar på höga samband mellan korrigerade och okorrigerade data. För vissa typer av kriterier kan de som skönmålar också ha förmåga att övertyga omgivningen i vidare mening om sin kompetens, men detta betyder naturligtvis inte att de också gör ett bättre jobb. Kvar står till slut att få nog vill ge prioritet åt dem som bluffar, att effekterna är stora och att systemet för korrektion som använts står på solid grund efter särskilda valideringar - se referenserna. Inga andra självrapporttest har en effektiv och validerad metodik för att korrigera för skönmålning (HPI, NEO), många - som MBTI (NEO-PI-R, Myers-Briggs) - ingen alls.
Ones et al. (1996) är en ofta åberopad artikel som anses stödja slutsatsen att skönmålning inte spelar någon roll. Den baseras på en mycket omfattande meta-analys men det är troligen inte data i skarpt läge som den bygger på, åtminstone inte i de flesta fallen. Författarna säger inte vilket som är fallet, men deras korrelationer mellan skönmålning och personlighetsdimensioner är dramatiskt mycket lägre än dem som presenterats här. Våra undersökningar har konsistent gett mycket högre korrelationer mellan personlighetsskalor och olika mått på skönmålning. Det är rimligt att tro att skönmålning har mycket större betydelse i skarpt läge än vid andra former av datainsamling, och det är ju skarpt läge som är det praktiskt intressanta.
Referenser
Ones, D. S., Viswesvaran, C., & Reiss, A. D. (1996). Role of social desirability in personality testing for personnel selection: The red herring. Journal of Applied Psychology, 81, 660-679.
Sjöberg, L. (2009). UPP-testet: Korrektion för skönmålning. Forskningsrapport 2009:3. Stockholm: Psykologisk Metod AB. Klicka här
Sjöberg, L. (2010). UPP/Screen: Ett screeningtest av personlighet och begåvning. Forskningsrapport 2010:7. Stockholm: Psykologisk Metod AB. Klicka här.
För att påstå att stark skönmålning inte förekommer måste man ha data också på icke skönmålade svar. Detta kan man få, approximativt givetvis, genom att ta fram testsvar som rensats från skönmålning med hjälp av validerad metodik för sådan rensning.
Jag arbetar med korrektion för skönmålning med hjälp av två skalor som mäter social önskvärdhet, en overt (genomskådlig, Hunter Mabons term) och en kovert (ogenomskådlig). De ger likartade resultat och har validerats både experimentellt och i skarpa testningar vid jobbansökning, se referens nedan. Vid testningar på rekryteringsplattformen Katapult används den koverta skalan och UPP-testets screeningmodul, se referens nedan. Modulen mäter extraversion, uthållighet, samarbetsvilja, positiv grundattityd och kreativitet.
De data som analyseras här baseras på testsvar från 4457 personer (Katapult) som tog screeningmodulen när de anmälde sig som sökande till olika jobb. Det är alltså data från testning i skarpt läge som det gäller.Korrelationerna mellan personlighetsdimensionerna och skönmålning framgår av tabellen nedan, liksom korrelationerna mellan råvärden och korrigerade värden.
| Korrelationer mellan personlighetsdimensioner och kovert skönmålning, samt okorrigerade och korrigerade data | ||
| Dimension | Korrelation med skönmålning | Korrelation rådata-korrigerade data |
| Extraversion | 0.49 | 0.87 |
| Uthållighet | 0.63 | 0.77 |
| Samarbetsvilja | 0.66 | 0.75 |
| Positiv grundattityd | 0.64 | 0.77 |
| Kreativitet | 0.32 | 0.95 |
I fyra av de fem fallen var sambanden starka mellan skönmålning och personlighetsdimensionen.
Märk också att effekten av korrektion var ytterst liten i ett av fallen (kreativitet) men större i de övriga. Detta är ett vanligt resultat. Olika dimensioner är i olika hög grad påverkade av skönmålning.
Men hur viktiga, eller stora, är effekterna?
Jag skapade en sammansatt poäng genom att beräkna medelvärdet av alla fem dimensionerna, med lika vikter, före och efter korrektion. Båda dessa summapoäng rangordnades i hela materialet. (Tack gode Gud för datorer). Därefter lade jag in gränsvärden för de bästa 1%, 5%, 10% och 20% för råvärdena. Hur många av dem som nådde dessa topp-placeringar behöll sina platser efter korrektion? Svar, se nedanstående tabell:
| Andel som behöll sin tätplats efter korrektion för skönmålning. Skarpt läge, N=4457. Data från Katapult. | |
| Andel i tätgruppen | Andel av tätgruppen som behöll sin position i tätgruppen efter korrektion för skönmålning |
| 0.01 | 8.9% |
| 0.05 | 11.7% |
| 0.10 | 12.8% |
| 0.20 | 17.7% |
Detta betyder att bland dem i den bästa procenten före korrektion var det bara 8.9% som behöll den placeringen efter korrektion. Vid mindre krav för topp-plats var andelen som behöll sin plats större men vid 20% topp-plats var det fortfarande bara 17.7 % som behöll platsen.
Med andra ord: över 80% av dem som hamnar på "lilla listan" om rekrytering baseras på personlighetstestet har troligen hamnat där på grund av att de bluffat på testet! Eftersom dessa data baseras på korrektion med enbart en skala i stället för vår vanliga design med två skalor är dessutom effekterna troligen underskattade.
Ett annat och enklare svar på frågan om det förekommer stora effekter av skönmålning kan vi få genom att se närmare på hur stora förändringar i rangplats som de 45 bästa (bästa procenten, 99:e percentilen) fick efter korrektion och ny rangordning. Som visade ovan var det 91% av dem som inte lyckades behålla sin plats. Fördelningen av skillnaderna mellan de två rangordningarna för de 45 bästa enligt rådata framgår av nedanstående graf. Medianen för tappade rangplatser var 545, alltså ett fall, i genomsnitt, från 99:e till 88:e percentilen. Mycket mera dramatiska fall förekom också, upp till 1200 rangplatser. I ljuset av de data som presenterats här är det enligt min mening osakligt att fortsätta att påstå att stark skönmålning "knappast förekommer".
Ännu en kontroll är intressant. Antag att vi försöker värja oss mot effekterna av skönmålning genom att utesluta dem som har högst värde i detta avseende. Det är troligen ett vanligt sätt att arbeta, som jag sett på nära håll under min tid på Handelshögskolan. Jag lade därför in en cut-off vid 21% av stickprovet och uteslöt 922 personer. (Just denna gräns var lämplig på grund av klustring av data; omkring 20-25 % är troligen vanligt). De som nu återstod i 99:e percentilen i rådata kunde emellertid inte alls försvara sina platser efter korrektion. Korrektionen medförde att deras rangplatser sjönk 629 steg, alltså ännu mera än för hela stickprovet. För att motverka de snedvridande effekterna av skönmålning måste man alltså korrigera fullt ut enligt den metod som använts här (och i våra övriga test) - uteslutande av dem som ligger högst på en "lögnskala" har bara kosmetiska effekter.
Frågan om hur kraftig skönmålningen är kan också besvaras genom att analysera den absoluta nivån på svaren.Den informationen brukar man inte använda i testpsykologin, men i andra sammanhang som medarbetarundersökningar gör man ju det. Det som talar mot att använda absolutnivån är att den påverkas av frågornas formulering. Då emellertid en skala i typfallet består av ganska många frågor motverkas den felkällan; man får trots allt en viss uppfattning om styrkan i svarstendensen. I fallet med våra data och måttet på skönmålning låg medianen på 4.33, svarsskala 1-5. 74 % av de testade hade ett värde > 4.0, mindre än 1 % låg under 3.0. De testade hade alltså en mycket stark tendens att välja skönmålande svar. Det stödjer min tes att skönmålning är stark och vanligt förekommande.
Man kan fråga sig om skönmålning har ännu flera konsekvenser. Det påstås ofta att validiteten inte påverkas av korrektion. Detta är nog tämligen riktigt, se data ovan som visar på höga samband mellan korrigerade och okorrigerade data. För vissa typer av kriterier kan de som skönmålar också ha förmåga att övertyga omgivningen i vidare mening om sin kompetens, men detta betyder naturligtvis inte att de också gör ett bättre jobb. Kvar står till slut att få nog vill ge prioritet åt dem som bluffar, att effekterna är stora och att systemet för korrektion som använts står på solid grund efter särskilda valideringar - se referenserna. Inga andra självrapporttest har en effektiv och validerad metodik för att korrigera för skönmålning (HPI, NEO), många - som MBTI (NEO-PI-R, Myers-Briggs) - ingen alls.
Ones et al. (1996) är en ofta åberopad artikel som anses stödja slutsatsen att skönmålning inte spelar någon roll. Den baseras på en mycket omfattande meta-analys men det är troligen inte data i skarpt läge som den bygger på, åtminstone inte i de flesta fallen. Författarna säger inte vilket som är fallet, men deras korrelationer mellan skönmålning och personlighetsdimensioner är dramatiskt mycket lägre än dem som presenterats här. Våra undersökningar har konsistent gett mycket högre korrelationer mellan personlighetsskalor och olika mått på skönmålning. Det är rimligt att tro att skönmålning har mycket större betydelse i skarpt läge än vid andra former av datainsamling, och det är ju skarpt läge som är det praktiskt intressanta.
Referenser
Ones, D. S., Viswesvaran, C., & Reiss, A. D. (1996). Role of social desirability in personality testing for personnel selection: The red herring. Journal of Applied Psychology, 81, 660-679.
Sjöberg, L. (2009). UPP-testet: Korrektion för skönmålning. Forskningsrapport 2009:3. Stockholm: Psykologisk Metod AB. Klicka här
Sjöberg, L. (2010). UPP/Screen: Ett screeningtest av personlighet och begåvning. Forskningsrapport 2010:7. Stockholm: Psykologisk Metod AB. Klicka här.
Wednesday, July 21, 2010
Screeninglogik
Screening av många sökande till ett jobb är ett bra sätt att hitta högpresterande personer. Varför?
Antag att vi är ute efter en verklig elitperson (vem är inte det?), bäst av 100, alltså den bäst presterande procenten. Ju fler vi testar desto större är chansen att det finns minst en sådan person i den testade gruppen, sr tabellen nedan. Tabellen visar också sannolikheten för att det i gruppen av testade finns minst en person i 98:e percentilen och en i 90:e.
Tabellen visar att testning av 75 personer ger höga sannolikheter för att hitta minst en person med mycket hög kapacitet, och att chansen är mycket god redan vid 25 testade om vi nöjer oss med kapacitet vid 90:e percentilen, även det ett mycket gott resultat.
Knepet är alltså att utgå från ett så stort underlag som möjligt. Det är dyrbart och tidsödande att göra det om man inte använder enkla, valida och billiga screeningtest, se referens nedan. Det ger dessutom en konkurrensfördel eftersom screeningstestningens effektivitet inte är känd av flera än ett fåtal. Man kan förstås gå på intuition och "magkänsla" men påverkas då av irrelevanta faktorer som utseende, kroppsspråk, dialekt, klädsel etc, se vår monografi om personkemi här.I en studie av anställningsintervjuer (Higgins & Judge, 2004) fann man att det som avgjorde varken var erfarenhet eller förmåga - det var om man tyckte bra eller illa om den jobbsökande, vilket i sin tur berodde på om han eller hon lyckades med "ingratiation". Med den termen menas ett strategiskt försök att göra ett gott intryck, t ex genom smicker, framhålla likhet i värderingar eller allmänt sett att framhålla sina goda egenskaper på ett trovärdigt sätt, se denna länk.
I min egen erfarenhet har jag gjort extremt goda rekryteringar genom screening av 40-60 jobbsökande. Och faktiskt varit en medioker rekryterare i många övriga fall. Det är intressant att fundera över vilka rekryteringsprinciper som kommer till användning för viktiga chefsjobb i samhället. Hur många övervägde man innan ministrar anställdes i Alliansregeringen? (Alla tycks inte ha tillhört eliten, med tanke på vad som sedan hänt). Hur bred är urvalsbasen för VD-jobben och styrelseposterna för de stora företagen? Ju smalare den är desto större är chansen att missa verkliga superstars ty de tillhör bara i undantagsfall "old boys' network"
Referenser
Higgins, C. A., & Judge, T. A. (2004). The Effect of Applicant Influence Tactics on Recruiter Perceptions of Fit and Hiring Recommendations: A Field Study. [doi:10.1037/0021-9010.89.4.622]. Journal of Applied Psychology, 89(4), 622-632.
Sjöberg, L., & Tollgerdt-Andersson, I. (1985). Vad är personkemi? Socialpsykologisk forskning om attraktivitet. Stockholm: Scandinavian Executive Search. Klicka här.
Sjöberg, L. (2010). UPP/Screen: Ett screeningtest av personlighet och begåvning. Forskningsrapport 2010:7. Stockholm: Psykologisk Metod AB. Klicka här.
Antag att vi är ute efter en verklig elitperson (vem är inte det?), bäst av 100, alltså den bäst presterande procenten. Ju fler vi testar desto större är chansen att det finns minst en sådan person i den testade gruppen, sr tabellen nedan. Tabellen visar också sannolikheten för att det i gruppen av testade finns minst en person i 98:e percentilen och en i 90:e.
| Sannolikheten att få minst en jobbsökande som tillhör 99:e, 98:e eller 90:e percentilen vi testning av 5-75 personer | |||
| Antal testade personer | 99:e percentilen | 98:e percentilen | 90:e percentilen |
| 5 | 0.049 | 0.096 | 0.410 |
| 10 | 0.096 | 0.183 | 0.651 |
| 15 | 0.140 | 0.261 | 0.794 |
| 20 | 0.182 | 0.332 | 0.878 |
| 25 | 0.222 | 0.397 | 0.928 |
| 30 | 0.260 | 0.455 | 0.958 |
| 35 | 0.267 | 0.507 | 0.975 |
| 40 | 0.331 | 0.554 | 0.985 |
| 45 | 0.364 | 0.597 | 0.991 |
| 50 | 0.395 | 0.636 | 0.995 |
| 55 | 0.425 | 0.671 | 0.997 |
| 60 | 0.453 | 0.702 | 0.998 |
| 65 | 0.480 | 0.731 | 0.999 |
| 70 | 0.505 | 0.757 | 0.999 |
| 75 | 0.529 | 0.780 | 1.000 |
Tabellen visar att testning av 75 personer ger höga sannolikheter för att hitta minst en person med mycket hög kapacitet, och att chansen är mycket god redan vid 25 testade om vi nöjer oss med kapacitet vid 90:e percentilen, även det ett mycket gott resultat.
I min egen erfarenhet har jag gjort extremt goda rekryteringar genom screening av 40-60 jobbsökande. Och faktiskt varit en medioker rekryterare i många övriga fall. Det är intressant att fundera över vilka rekryteringsprinciper som kommer till användning för viktiga chefsjobb i samhället. Hur många övervägde man innan ministrar anställdes i Alliansregeringen? (Alla tycks inte ha tillhört eliten, med tanke på vad som sedan hänt). Hur bred är urvalsbasen för VD-jobben och styrelseposterna för de stora företagen? Ju smalare den är desto större är chansen att missa verkliga superstars ty de tillhör bara i undantagsfall "old boys' network"
Referenser
Higgins, C. A., & Judge, T. A. (2004). The Effect of Applicant Influence Tactics on Recruiter Perceptions of Fit and Hiring Recommendations: A Field Study. [doi:10.1037/0021-9010.89.4.622]. Journal of Applied Psychology, 89(4), 622-632.
Sjöberg, L., & Tollgerdt-Andersson, I. (1985). Vad är personkemi? Socialpsykologisk forskning om attraktivitet. Stockholm: Scandinavian Executive Search. Klicka här.
Sjöberg, L. (2010). UPP/Screen: Ett screeningtest av personlighet och begåvning. Forskningsrapport 2010:7. Stockholm: Psykologisk Metod AB. Klicka här.
Subscribe to:
Posts (Atom)
