Hurdan är en bra säljare?

Jag hade nyligen nöjet att träffa en mycket duktig säljare. Han var/hade

socialt säker
kunnig på ämnesområdet
lyhörd inför vad människor säger
villig att ta till sig kritik och alternativa uppfattningar utan att försvara sig med näbbar och klor
inriktad på vilka kundens behov är
snabb på att svara på frågor, e-post eller annat sätt
tillgänglig
trevlig men absolut inte inställsam
måttligt hög narcissism

Självklart? Inte alls. Tänk på alla misslyckade telefonförsäljare...

Tänk också på alla test som bygger på indirekta, "subtila" dimensioner, om Thomastestet, Service First och MBTI.  UPP-testet klarar det här.

Vi har de test vi vill ha...

Ibland har jag undrat över varför så många användare fortsätter att använda test med en validitet som är okänd, eller vars validitet är känd att ligga omkring noll. Det är en gåta. Ett skäl kan vara att användare helt enkelt inte känner till att man ska ställa krav på validitet, inte vet vad det är, och inte ens förstår vad en korrelationskoefficient är. Ett annat och lite intressantare skäl är att man vill ha test som ger diffusa resultat. Testet ger information som kan tolkas lite som man vill, så man är helt fri att dra de slutsatser man önskar. Ett exempel är MBTI, som bygger på Jungs luftiga spekulationer och mäter dimensioner vars betydelse för arbetslivet ingen har kunnat dokumentera. Men det verkar spännande! Alla har vi en liten amatörpsykolog i oss, och vi smickrar oss själva genom att tro att vi kan förstå människor, skåda in i själens djup, och gör träffsäkra prognoser. Ju mera information vi får, desto säkrare känner vi oss på vår sak - det får gärna vara 30-40 personlighetsskalor. Ingen kan dra vettiga slutsatser utifrån sådan information, särskilt som testkonstruktören säger: "Inget är bra eller dåligt, allt måste tolkas av testanvändaren". Populärt nonsens!

Big Five, skönmålning mm

DN har den 2 februari en sida om personlighetstestning. Störst utrymme får Anders Knutsson, psykolog vid Assessio. Han anser att det "finns fem egenskaper som avgör vilka förutsättningar du har för att lyckas bra på arbetsmarknaden". Dessa är de gamla vanliga "Big Five"; för Agreeableness använder han den missvisande översättningen Vänlighet. (Det är följsamhet det handlar om, något helt annat). Det är helt fel och många gånger motbevisat i forskningen att "Big Five" skulle vara valida prediktorer av arbetsresultat. Omfattande meta-analyser har visat att validiteten för 4 av de 5 dimensionerna ligger på 0.2 eller lägre; mycket låga samband. För den femte, samvetsgrannhet, ligger den omkring 0.25, också det ett mycket lågt värde och ingen förbättring sedan personlighetstest började användas omkring 1920. Inom vilken annan verksamhet skulle man acceptera avsaknad av förbättring på nästan 100 år? I vår forskning har vi med andra dimensioner än "Big Five" nått validiteter omkring 0.5.

Och så till frågan om man kan "fuska", vilket alla som använder sitt sunda förnuft genast inser. (Forskningen har visat detsamma, i mycket omfattande studier). Enligt Knutsson: ... "vi kan se att det svar som känns naturligt tror man är naturligt för andra också". Följer därav att man inte skönmålar om det är en viktigt testsituation? För det gör man! Knutsson lägger till: "Människor är dessutom väldigt ärliga vid direkta frågor". Hur trovärdigt är det?

Frekventa misslyckanden bland toppchefer

En ny rapport, klicka  här, om toppchefer i USA visar att 40% misslyckas, trots enorma löner (350 gånger högre än vanliga anställda) och gyllene fallskärmar (i snitt 48 miljoner dollar till dem som avskedats). De skriver:

"The lavishly compensated CEOs we spotlight here should be exemplars of value-added performance. After all, sky-high CEO pay purportedly reflects the superior value that elite chief executives add to their enterprises and the broader U.S. economy.
But our analysis reveals widespread poor performance within America’s elite CEO circles. Chief executives performing poorly — and blatantly so — have consistently populated the ranks of our nation’s top-paid CEOs over the last two decades."

En del av problemen torde bero på rekryteringsmetoderna, som nästan aldrig inbegriper psykologiska test. Bra test är objektiva och har dokumenterad validitet. Referenser är notoriskt opålitliga (särskilt om de är positiva), "magkänslan" efter informella och ostrukturerade intervjuer likaså. Kontakter, gammal vänskap och liknande värderingar kan leda spikrakt åt skogen. Många är skickliga på att manipulera, att styra det intryck de ger. Se Babiak och Hare, nedan, en utmärkt bok om subkliniska psykopater i näringslivet.

Ett mysterium är varför företagen dels inte rekryterar på att professionellt optimalt sätt till topptjänster, dels är beredda att betala löjligt höga löner. De tycks tro att det handlar om exceptionellt kompetenta, sällsynt kompetenta, personer - och att de lyckas hitta dem. Risken är stor att de låter sig luras av extrema narcissister eller subkliniska psykopater, eller manipuleras av cyniker. För dessa personlighetsdrag ("The dark triad"), som alla kan testas med bra personlighetstest, se O´Boyle et al. (2011).

I Sverige är förhållandena nog ganska lika dem i USA, både i privat och offentlig sektor. Carolina Neurath ger bra synpunkter på regeringens misslyckanden med topprekryteringar, se  här. Om AB igår kan en sann bild av hur chefen för Arbetsförmedlingen rekryterades blir man mörkrädd, se deras artikel här. 

Referenser

Babiak, P., & Hare, R. D. (2006). Snakes in suits. When psychopaths go to work. New York: Harper.

O'Boyle Jr, E. H., Forsyth, D. R., Banks, G. C., & McDaniel, M. A. (2011). A meta-analysis of the dark triad and work behavior: A social exchange perspective. [doi:10.1037/a0025679]. Journal of Applied Psychology, 97(3), 557-579.

Stor genomgång av problematiken med skönmålning

Min tidigare EFI-rapport är nu kraftigt utökad och tar upp den senaste forskningen och diskussionerna på området, klicka här..

I denna rapport finns nu också en s k Executive Summary för den som snabbt vill bilda sig en uppfattning, klicka här.

Rapportens slutsatser:

1. Förekommer skönmålning, är den vanlig och stark? Svaret är ett entydigt ja.
2. Har skönmålning effekter på beslutsfattandet på grundval av testning, t ex vid urval? Svaret är ja.
3. Här skönmålning betydelse för normdata? Svaret är ja, om testet ska användas i skarpt läge måste normdata vara insamlade i skarpt läge.
4. Kan skönmålning undvikas, åtminstone till betydande del, med hjälp av
1. Varningar
2. Omformulering av item till at bli mera neutrala
3. Särskilda mätningar av tendensen att tillskriva sig mera kunskaper än man har
4. Anpassning av matematiska modeller till testdata och mätning av i vilken mån testpersoner avviker från dessa modeller

            Svaret för alla dessa ansatser är nej, de löser inte problemet

5. Ett ganska vanligt sätt att hantera skönmålning tycks vara att utesluta de testpersoner som har högst värde i en sådan skala, t ex de 25 % som ligger högst. Detta har en svag och otillräcklig effekt, se Reeder och Ryan (Reeder & Ryan, 2012).

Ännu tycks det inte finnas någon ny metodik för att upptäcka och korrigera för skönmålning som är tillräckligt lovande för att leva upp till kraven att den ska vara teoretiskt och empiriskt väl underbyggd, och praktiskt användbar. Korrektion med en särskild skala som mäter skönmålning fungerar, även om inte heller denna metod helt eliminerar effekterna.

Skönmålning - finns det?

Ett populärt argument bland testleverantörer som arbetar med test som är helt eller till största delen oskyddade mot skönmålning är att sådan inte förekommer. Det går på tvären mot sunt förnuft och berg av forskning. Om den ignoreras kommer man att prioritera bluffare i den mån man bryr sig om resultatet av personlighetstest.

En aktuell artikel av Griffith och Converse (2012) ger en sammanställning av uppskattningar av hur många som skönmålade i olika undersökningar, se tabell nedan.

 

      Det handlar alltså om ca 30 % i genomsnitt.  Det är en hög siffra, men troligen är den mycket högre om man tittar enbart på dem som rankas högst på testet. Det är uppenbart att här finns ett gigantiskt problem för testindustrin, ett problem som inte försvinner för att man blundar för det eller förnekar det. För den som letar efter en lösning, ty en sådan finns, se min rapport om skönmålning (Sjöberg, 2012).

Referens

Griffith, R. L., & Converse, P. D. (2012). The rules of evidence and the prevalence of applicant faking. In M. Ziegler, C. Maccann & R. D. Roberts (Eds.), New perspectives on faking in personality assessment. Oxford: Oxford University Press.

 Sjöberg, L. (2012). Skönmålning i personlighetstest. Handelshögskolan i Stockholm, Rapport    2012:2. Klicka här.

Skönmålning i personlighetstest

SSE/EFI Working Paper Series in Business Administration

No 2012:2:
Skönmålning i personlighetstest

Lennart Sjöberg (lennartsjoberg@gmail.com) Abstract: Skönmålning är ett stort problem vid användning av personlighetstest av självrapporttyp. Det är ofta lätt att genomskåda vad olika testfrågor syftar till att mäta och vill man bluffa är det lätt att göra det. Trots det är denna typ av test vanliga och de tycks få en ökande användning i näringslivet. Det kan delvis bero på att vissa test använder ett format (ipsativt) där den testade är instruerad att välja mellan alternativ som man har försökt matcha i social önskvärdhet. Sådana test har troligen en viss trovärdighet, men forskningen visar att de inte lyckas särskilt väl med att eliminera effekterna av skönmålning. Dessutom samvarierar de med intelligens, och den validitet de eventuellt kan ha beror troligen till stor del på detta. Ett annat skäl till den omfattande användningen av personlighetstest är det vanliga påståendet att dessa test, även om de är helt oskyddade mot skönmålning, har högt prognosvärde i arbetslivet. Men detta påstående är felaktigt om man ser till den omfattande forskningen om "Big Five" som visat att dessa dimensioner, bara har en marginell prognosförmåga i förhållande till arbetsresultat. Ett test som är oskyddat mot skönmålning, eller bara mycket ineffektivt skyddat, ger regelmässigt kraftiga överskattningar av testvärden hos dem som utnyttjar chansen att svara taktiskt. Andra, ofta kvinnor och invandrare, skönmålar mindre och missgynnas därför av testen. I denna rapport, klicka här beskrivs en alternativ metodik som bygger på användning av särskilda skalor för att mäta tendensen till skönmålning. Modeller som anpassas på grundval av empiriska data och som är olika för olika testskalor påvisas eliminera ca 95 % av effekterna av skönmålning. Metodiken har validerats i en rad empiriska studier som kortfattat beskrivs i rapporten. Korrektion för skönmålning är av mycket stor betydelse vid tolkning av testdata, och för etablering av en fungerande normdatabas.
Keywords: faking; personality tests; (follow links to similar papers)
40 pages, December 17, 2012