Frekventa misslyckanden bland toppchefer

En ny rapport, klicka  här, om toppchefer i USA visar att 40% misslyckas, trots enorma löner (350 gånger högre än vanliga anställda) och gyllene fallskärmar (i snitt 48 miljoner dollar till dem som avskedats). De skriver:

"The lavishly compensated CEOs we spotlight here should be exemplars of value-added performance. After all, sky-high CEO pay purportedly reflects the superior value that elite chief executives add to their enterprises and the broader U.S. economy.
But our analysis reveals widespread poor performance within America’s elite CEO circles. Chief executives performing poorly — and blatantly so — have consistently populated the ranks of our nation’s top-paid CEOs over the last two decades."

En del av problemen torde bero på rekryteringsmetoderna, som nästan aldrig inbegriper psykologiska test. Bra test är objektiva och har dokumenterad validitet. Referenser är notoriskt opålitliga (särskilt om de är positiva), "magkänslan" efter informella och ostrukturerade intervjuer likaså. Kontakter, gammal vänskap och liknande värderingar kan leda spikrakt åt skogen. Många är skickliga på att manipulera, att styra det intryck de ger. Se Babiak och Hare, nedan, en utmärkt bok om subkliniska psykopater i näringslivet.

Ett mysterium är varför företagen dels inte rekryterar på att professionellt optimalt sätt till topptjänster, dels är beredda att betala löjligt höga löner. De tycks tro att det handlar om exceptionellt kompetenta, sällsynt kompetenta, personer - och att de lyckas hitta dem. Risken är stor att de låter sig luras av extrema narcissister eller subkliniska psykopater, eller manipuleras av cyniker. För dessa personlighetsdrag ("The dark triad"), som alla kan testas med bra personlighetstest, se O´Boyle et al. (2011).

I Sverige är förhållandena nog ganska lika dem i USA, både i privat och offentlig sektor. Carolina Neurath ger bra synpunkter på regeringens misslyckanden med topprekryteringar, se  här. Om AB igår kan en sann bild av hur chefen för Arbetsförmedlingen rekryterades blir man mörkrädd, se deras artikel här. 

Referenser

Babiak, P., & Hare, R. D. (2006). Snakes in suits. When psychopaths go to work. New York: Harper.

O'Boyle Jr, E. H., Forsyth, D. R., Banks, G. C., & McDaniel, M. A. (2011). A meta-analysis of the dark triad and work behavior: A social exchange perspective. [doi:10.1037/a0025679]. Journal of Applied Psychology, 97(3), 557-579.

Stor genomgång av problematiken med skönmålning

Min tidigare EFI-rapport är nu kraftigt utökad och tar upp den senaste forskningen och diskussionerna på området, klicka här..

I denna rapport finns nu också en s k Executive Summary för den som snabbt vill bilda sig en uppfattning, klicka här.

Rapportens slutsatser:

1. Förekommer skönmålning, är den vanlig och stark? Svaret är ett entydigt ja.
2. Har skönmålning effekter på beslutsfattandet på grundval av testning, t ex vid urval? Svaret är ja.
3. Här skönmålning betydelse för normdata? Svaret är ja, om testet ska användas i skarpt läge måste normdata vara insamlade i skarpt läge.
4. Kan skönmålning undvikas, åtminstone till betydande del, med hjälp av
1. Varningar
2. Omformulering av item till at bli mera neutrala
3. Särskilda mätningar av tendensen att tillskriva sig mera kunskaper än man har
4. Anpassning av matematiska modeller till testdata och mätning av i vilken mån testpersoner avviker från dessa modeller

            Svaret för alla dessa ansatser är nej, de löser inte problemet

5. Ett ganska vanligt sätt att hantera skönmålning tycks vara att utesluta de testpersoner som har högst värde i en sådan skala, t ex de 25 % som ligger högst. Detta har en svag och otillräcklig effekt, se Reeder och Ryan (Reeder & Ryan, 2012).

Ännu tycks det inte finnas någon ny metodik för att upptäcka och korrigera för skönmålning som är tillräckligt lovande för att leva upp till kraven att den ska vara teoretiskt och empiriskt väl underbyggd, och praktiskt användbar. Korrektion med en särskild skala som mäter skönmålning fungerar, även om inte heller denna metod helt eliminerar effekterna.

Skönmålning - finns det?

Ett populärt argument bland testleverantörer som arbetar med test som är helt eller till största delen oskyddade mot skönmålning är att sådan inte förekommer. Det går på tvären mot sunt förnuft och berg av forskning. Om den ignoreras kommer man att prioritera bluffare i den mån man bryr sig om resultatet av personlighetstest.

En aktuell artikel av Griffith och Converse (2012) ger en sammanställning av uppskattningar av hur många som skönmålade i olika undersökningar, se tabell nedan.

 

      Det handlar alltså om ca 30 % i genomsnitt.  Det är en hög siffra, men troligen är den mycket högre om man tittar enbart på dem som rankas högst på testet. Det är uppenbart att här finns ett gigantiskt problem för testindustrin, ett problem som inte försvinner för att man blundar för det eller förnekar det. För den som letar efter en lösning, ty en sådan finns, se min rapport om skönmålning (Sjöberg, 2012).

Referens

Griffith, R. L., & Converse, P. D. (2012). The rules of evidence and the prevalence of applicant faking. In M. Ziegler, C. Maccann & R. D. Roberts (Eds.), New perspectives on faking in personality assessment. Oxford: Oxford University Press.

 Sjöberg, L. (2012). Skönmålning i personlighetstest. Handelshögskolan i Stockholm, Rapport    2012:2. Klicka här.

Skönmålning i personlighetstest

SSE/EFI Working Paper Series in Business Administration

No 2012:2:
Skönmålning i personlighetstest

Lennart Sjöberg (lennartsjoberg@gmail.com) Abstract: Skönmålning är ett stort problem vid användning av personlighetstest av självrapporttyp. Det är ofta lätt att genomskåda vad olika testfrågor syftar till att mäta och vill man bluffa är det lätt att göra det. Trots det är denna typ av test vanliga och de tycks få en ökande användning i näringslivet. Det kan delvis bero på att vissa test använder ett format (ipsativt) där den testade är instruerad att välja mellan alternativ som man har försökt matcha i social önskvärdhet. Sådana test har troligen en viss trovärdighet, men forskningen visar att de inte lyckas särskilt väl med att eliminera effekterna av skönmålning. Dessutom samvarierar de med intelligens, och den validitet de eventuellt kan ha beror troligen till stor del på detta. Ett annat skäl till den omfattande användningen av personlighetstest är det vanliga påståendet att dessa test, även om de är helt oskyddade mot skönmålning, har högt prognosvärde i arbetslivet. Men detta påstående är felaktigt om man ser till den omfattande forskningen om "Big Five" som visat att dessa dimensioner, bara har en marginell prognosförmåga i förhållande till arbetsresultat. Ett test som är oskyddat mot skönmålning, eller bara mycket ineffektivt skyddat, ger regelmässigt kraftiga överskattningar av testvärden hos dem som utnyttjar chansen att svara taktiskt. Andra, ofta kvinnor och invandrare, skönmålar mindre och missgynnas därför av testen. I denna rapport, klicka här beskrivs en alternativ metodik som bygger på användning av särskilda skalor för att mäta tendensen till skönmålning. Modeller som anpassas på grundval av empiriska data och som är olika för olika testskalor påvisas eliminera ca 95 % av effekterna av skönmålning. Metodiken har validerats i en rad empiriska studier som kortfattat beskrivs i rapporten. Korrektion för skönmålning är av mycket stor betydelse vid tolkning av testdata, och för etablering av en fungerande normdatabas.
Keywords: faking; personality tests; (follow links to similar papers)
40 pages, December 17, 2012

Testgranskning leder till fel slutsatser

STP (Stiftelsen för Tillämpad Psykologi) genomför testgranskningar, och dess företrädare uttalar sig ofta i media. De omdömen de ger om test (nästan alltid personlighetstest) brukar vara mycket kritiska, men tycks inte påverka marknaden. Det senare kan ju bero på att STP:s rapporter sprids mycket ineffektivt (för dyra), men det kan också bero på att trovärdigheten är låg. I så fall, varför? Jag hade anledning att intressera mig för frågan för en tid sedan och fann att verksamheten sköttes mycket ineffektivt, men också med tveksam kompetens. Man har övertagit ett europeiskt system men utan att riktigt förstå det. Jag ger en detaljerad kritik här. Slutsatsen är att STP missförstått hur testen ska bedömas, och att de genomgående gjort alldeles för negativa bedömningar av det skälet.

Testen ignoreras?

I en intervju i tidskriften Personal och Ledarskap läser jag att testresultat till allra största delen ignoreras vid anställningsbeslut. Det är förvånande och stämmer inte alls med mina erfarenheter med UPP-testet. Men kanske kan det vara sant i en del fall, beroende på vilket test det rör sig om. En del test bygger på svårförståeliga teorier som inte har någon tydlig relation till arbetslivet. Det gäller t ex Myers-Briggs och vissa andra test som baseras på Jungs typteori. Andra test ger en komplex bild av testpersonen som man medvetet kopplat bort från arbetsprestation med resonemang av typen "alla resultat är bra" eller "alla behövs". Kanske det, men om man tror det, varför testa - då borde ju slumpen vara lika bra eller bättre, eftersom ett lotteri inte kostar något.

Norms - a crucial issuse in testing

Test norms need to be specific to the user and the test context. This should be obvious, still is often ignored, perhaps due to the expenses involved. What happens if norms are not specific?

1. A very important aspect is that of faking. Faking is abundant in job applicants. If norms are collected from incumbents or, even worse, the population at large, test scores can be grossly misleading. The reason is that many applicants fake and the distribution of their test scores is shifted towards a higher mean than for incumbents who fake very little or not at all. As a consequence, test scores for applicants will be systematically overestimated. In a stanine scale, the error could easily be 2 or 3 steps. This problem could be greatly mitigated by using a correction procedure using one or several scales for measuring the tendency to respond in a socially desirable manner. In our data, about 95 % of the effect is eliminated this way. Note, however, that the correction model must be scale specific since scales are usually not equally vulnerable to distortion.

2. Test scores may be strongly dependent on the organizational context. In some contexts, independences is not a desired trait and people will on the average have low scores on this trait. Another example is perseverance in the face of failure. If failure is rarely obvious, test takers will report low perseverance. For reasons such as these, norms need to be specific to the organizations.

It is not excessively demanding to construct specific norms, given modern IT technology, and the sample size need to be only as small as 300, or even in some cases 120. The first step is to realize the importance of specific norms, of norms corrected for impression management if they are based on incumbents or the population at large, and the fact that the sample size can be fairly small. In our practice we work with such norms, but many Swedish test providers seem unaware of the issue and that the problems can be solved with relatively modest resources.