En ny rapport, klicka här, om toppchefer i USA visar att 40% misslyckas, trots enorma löner (350 gånger högre än vanliga anställda) och gyllene fallskärmar (i snitt 48 miljoner dollar till dem som avskedats). De skriver:
"The lavishly compensated CEOs we spotlight here should be exemplars
of value-added performance. After all, sky-high CEO pay purportedly
reflects the superior value that elite chief executives add to their
enterprises and the broader U.S. economy.
But our analysis reveals widespread poor performance within America’s
elite CEO circles. Chief executives performing poorly — and blatantly
so — have consistently populated the ranks of our nation’s top-paid CEOs
over the last two decades."
En del av problemen torde bero på rekryteringsmetoderna, som nästan aldrig inbegriper psykologiska test. Bra test är objektiva och har dokumenterad validitet. Referenser är notoriskt opålitliga (särskilt om de är positiva), "magkänslan" efter informella och ostrukturerade intervjuer likaså. Kontakter, gammal vänskap och liknande värderingar kan leda spikrakt åt skogen. Många är skickliga på att manipulera, att styra det intryck de ger. Se Babiak och Hare, nedan, en utmärkt bok om subkliniska psykopater i näringslivet.
Ett mysterium är varför företagen dels inte rekryterar på att professionellt optimalt sätt till topptjänster, dels är beredda att betala löjligt höga löner. De tycks tro att det handlar om exceptionellt kompetenta, sällsynt kompetenta, personer - och att de lyckas hitta dem. Risken är stor att de låter sig luras av extrema narcissister eller subkliniska psykopater, eller manipuleras av cyniker. För dessa personlighetsdrag ("The dark triad"), som alla kan testas med bra personlighetstest, se O´Boyle et al. (2011).
I Sverige är förhållandena nog ganska lika dem i USA, både i privat och offentlig sektor. Carolina Neurath ger bra synpunkter på regeringens misslyckanden med topprekryteringar, se här. Om AB igår kan en sann bild av hur chefen för Arbetsförmedlingen rekryterades blir man mörkrädd, se deras artikel här.
Referenser
Babiak, P., & Hare, R. D. (2006). Snakes in suits. When psychopaths go to work. New York: Harper.
O'Boyle Jr, E. H., Forsyth, D. R., Banks, G. C., & McDaniel, M. A. (2011). A meta-analysis of the dark triad and work behavior: A social exchange perspective. [doi:10.1037/a0025679]. Journal of Applied Psychology, 97(3), 557-579.
Recent research and practice in testing and psychometrics, with an emphasis on scientific and critical discussions.
Saturday, August 31, 2013
Frekventa misslyckanden bland toppchefer
Friday, June 28, 2013
Stor genomgång av problematiken med skönmålning
Min tidigare EFI-rapport är nu kraftigt utökad och tar upp den senaste forskningen och diskussionerna på området, klicka här..
I denna rapport finns nu också en s k Executive Summary för den som snabbt vill bilda sig en uppfattning, klicka här.
I denna rapport finns nu också en s k Executive Summary för den som snabbt vill bilda sig en uppfattning, klicka här.
Rapportens slutsatser:
- Förekommer skönmålning, är den vanlig och stark? Svaret är ett entydigt ja.
- Har skönmålning effekter på beslutsfattandet på grundval av testning, t ex vid urval? Svaret är ja.
- Här skönmålning betydelse för normdata? Svaret är ja, om testet ska användas i skarpt läge måste normdata vara insamlade i skarpt läge.
- Kan skönmålning undvikas, åtminstone till betydande del, med hjälp av
- Varningar
- Omformulering av item till at bli mera neutrala
- Särskilda mätningar av tendensen att tillskriva sig mera kunskaper än man har
- Anpassning av matematiska modeller till testdata och mätning av i vilken mån testpersoner avviker från dessa modeller
Svaret för
alla dessa ansatser är nej, de löser inte problemet
- Ett ganska vanligt sätt att hantera skönmålning tycks vara att utesluta de testpersoner som har högst värde i en sådan skala, t ex de 25 % som ligger högst. Detta har en svag och otillräcklig effekt, se Reeder och Ryan (Reeder & Ryan, 2012).
Ännu tycks det inte finnas någon ny metodik för att upptäcka
och korrigera för skönmålning som är tillräckligt lovande för att leva upp till
kraven att den ska vara teoretiskt och empiriskt väl underbyggd, och praktiskt
användbar. Korrektion med en särskild skala som mäter skönmålning fungerar,
även om inte heller denna metod helt eliminerar effekterna.
Monday, May 6, 2013
Skönmålning - finns det?
Ett populärt argument bland testleverantörer som arbetar med test som är helt eller till största delen oskyddade mot skönmålning är att sådan inte förekommer. Det går på tvären mot sunt förnuft och berg av forskning. Om den ignoreras kommer man att prioritera bluffare i den mån man bryr sig om resultatet av personlighetstest.
En aktuell artikel av Griffith och Converse (2012) ger en sammanställning av uppskattningar av hur många som skönmålade i olika undersökningar, se tabell nedan.
En aktuell artikel av Griffith och Converse (2012) ger en sammanställning av uppskattningar av hur många som skönmålade i olika undersökningar, se tabell nedan.
Det handlar alltså om ca 30 % i genomsnitt. Det är en hög siffra, men troligen är den mycket högre om man tittar enbart på dem som rankas högst på testet. Det är uppenbart att här finns ett gigantiskt problem för testindustrin, ett problem som inte försvinner för att man blundar för det eller förnekar det. För den som letar efter en lösning, ty en sådan finns, se min rapport om skönmålning (Sjöberg, 2012).
Referens
Griffith, R. L., & Converse, P. D. (2012). The rules of evidence and the prevalence of applicant faking. In M. Ziegler, C. Maccann & R. D. Roberts (Eds.), New perspectives on faking in personality assessment. Oxford: Oxford University Press.
Sjöberg, L. (2012). Skönmålning i personlighetstest. Handelshögskolan i Stockholm, Rapport 2012:2. Klicka här.
Saturday, April 27, 2013
Skönmålning i personlighetstest
SSE/EFI Working Paper Series in Business Administration
No 2012:2:
Lennart Sjöberg (lennartsjoberg@gmail.com)
Abstract: Skönmålning är ett stort problem vid användning av
personlighetstest av självrapporttyp. Det är ofta lätt att genomskåda vad
olika testfrågor syftar till att mäta och vill man bluffa är det lätt att
göra det. Trots det är denna typ av test vanliga och de tycks få en ökande
användning i näringslivet. Det kan delvis bero på att vissa test använder
ett format (ipsativt) där den testade är instruerad att välja mellan
alternativ som man har försökt matcha i social önskvärdhet. Sådana test har
troligen en viss trovärdighet, men forskningen visar att de inte lyckas
särskilt väl med att eliminera effekterna av skönmålning. Dessutom
samvarierar de med intelligens, och den validitet de eventuellt kan ha
beror troligen till stor del på detta. Ett annat skäl till den omfattande
användningen av personlighetstest är det vanliga påståendet att dessa test,
även om de är helt oskyddade mot skönmålning, har högt prognosvärde i
arbetslivet. Men detta påstående är felaktigt om man ser till den
omfattande forskningen om "Big Five" som visat att dessa dimensioner, bara
har en marginell prognosförmåga i förhållande till arbetsresultat. Ett test
som är oskyddat mot skönmålning, eller bara mycket ineffektivt skyddat, ger
regelmässigt kraftiga överskattningar av testvärden hos dem som utnyttjar
chansen att svara taktiskt. Andra, ofta kvinnor och invandrare, skönmålar
mindre och missgynnas därför av testen. I denna rapport, klicka här beskrivs en
alternativ metodik som bygger på användning av särskilda skalor för att
mäta tendensen till skönmålning. Modeller som anpassas på grundval av
empiriska data och som är olika för olika testskalor påvisas eliminera ca
95 % av effekterna av skönmålning. Metodiken har validerats i en rad
empiriska studier som kortfattat beskrivs i rapporten. Korrektion för
skönmålning är av mycket stor betydelse vid tolkning av testdata, och för
etablering av en fungerande normdatabas.
Keywords: faking; personality tests; (follow links to similar papers)
40 pages, December 17, 2012
No 2012:2:
Skönmålning i personlighetstest
Lennart Sjöberg (lennartsjoberg@gmail.com)
Abstract: Skönmålning är ett stort problem vid användning av
personlighetstest av självrapporttyp. Det är ofta lätt att genomskåda vad
olika testfrågor syftar till att mäta och vill man bluffa är det lätt att
göra det. Trots det är denna typ av test vanliga och de tycks få en ökande
användning i näringslivet. Det kan delvis bero på att vissa test använder
ett format (ipsativt) där den testade är instruerad att välja mellan
alternativ som man har försökt matcha i social önskvärdhet. Sådana test har
troligen en viss trovärdighet, men forskningen visar att de inte lyckas
särskilt väl med att eliminera effekterna av skönmålning. Dessutom
samvarierar de med intelligens, och den validitet de eventuellt kan ha
beror troligen till stor del på detta. Ett annat skäl till den omfattande
användningen av personlighetstest är det vanliga påståendet att dessa test,
även om de är helt oskyddade mot skönmålning, har högt prognosvärde i
arbetslivet. Men detta påstående är felaktigt om man ser till den
omfattande forskningen om "Big Five" som visat att dessa dimensioner, bara
har en marginell prognosförmåga i förhållande till arbetsresultat. Ett test
som är oskyddat mot skönmålning, eller bara mycket ineffektivt skyddat, ger
regelmässigt kraftiga överskattningar av testvärden hos dem som utnyttjar
chansen att svara taktiskt. Andra, ofta kvinnor och invandrare, skönmålar
mindre och missgynnas därför av testen. I denna rapport, klicka här beskrivs en
alternativ metodik som bygger på användning av särskilda skalor för att
mäta tendensen till skönmålning. Modeller som anpassas på grundval av
empiriska data och som är olika för olika testskalor påvisas eliminera ca
95 % av effekterna av skönmålning. Metodiken har validerats i en rad
empiriska studier som kortfattat beskrivs i rapporten. Korrektion för
skönmålning är av mycket stor betydelse vid tolkning av testdata, och för
etablering av en fungerande normdatabas.Keywords: faking; personality tests; (follow links to similar papers)
40 pages, December 17, 2012
Friday, March 29, 2013
Testgranskning leder till fel slutsatser
STP (Stiftelsen för Tillämpad Psykologi) genomför testgranskningar, och dess företrädare uttalar sig ofta i media. De omdömen de ger om test (nästan alltid personlighetstest) brukar vara mycket kritiska, men tycks inte påverka marknaden. Det senare kan ju bero på att STP:s rapporter sprids mycket ineffektivt (för dyra), men det kan också bero på att trovärdigheten är låg. I så fall, varför? Jag hade anledning att intressera mig för frågan för en tid sedan och fann att verksamheten sköttes mycket ineffektivt, men också med tveksam kompetens. Man har övertagit ett europeiskt system men utan att riktigt förstå det. Jag ger en detaljerad kritik här. Slutsatsen är att STP missförstått hur testen ska bedömas, och att de genomgående gjort alldeles för negativa bedömningar av det skälet.
Thursday, March 28, 2013
Testen ignoreras?
I en intervju i tidskriften Personal och Ledarskap läser jag att testresultat till allra största delen ignoreras vid anställningsbeslut. Det är förvånande och stämmer inte alls med mina erfarenheter med UPP-testet. Men kanske kan det vara sant i en del fall, beroende på vilket test det rör sig om. En del test bygger på svårförståeliga teorier som inte har någon tydlig relation till arbetslivet. Det gäller t ex Myers-Briggs och vissa andra test som baseras på Jungs typteori. Andra test ger en komplex bild av testpersonen som man medvetet kopplat bort från arbetsprestation med resonemang av typen "alla resultat är bra" eller "alla behövs". Kanske det, men om man tror det, varför testa - då borde ju slumpen vara lika bra eller bättre, eftersom ett lotteri inte kostar något.
Subscribe to:
Posts (Atom)