Big Five, skönmålning mm

DN har den 2 februari en sida om personlighetstestning. Störst utrymme får Anders Knutsson, psykolog vid Assessio. Han anser att det "finns fem egenskaper som avgör vilka förutsättningar du har för att lyckas bra på arbetsmarknaden". Dessa är de gamla vanliga "Big Five"; för Agreeableness använder han den missvisande översättningen Vänlighet. (Det är följsamhet det handlar om, något helt annat). Det är helt fel och många gånger motbevisat i forskningen att "Big Five" skulle vara valida prediktorer av arbetsresultat. Omfattande meta-analyser har visat att validiteten för 4 av de 5 dimensionerna ligger på 0.2 eller lägre; mycket låga samband. För den femte, samvetsgrannhet, ligger den omkring 0.25, också det ett mycket lågt värde och ingen förbättring sedan personlighetstest började användas omkring 1920. Inom vilken annan verksamhet skulle man acceptera avsaknad av förbättring på nästan 100 år? I vår forskning har vi med andra dimensioner än "Big Five" nått validiteter omkring 0.5.

Och så till frågan om man kan "fuska", vilket alla som använder sitt sunda förnuft genast inser. (Forskningen har visat detsamma, i mycket omfattande studier). Enligt Knutsson: ... "vi kan se att det svar som känns naturligt tror man är naturligt för andra också". Följer därav att man inte skönmålar om det är en viktigt testsituation? För det gör man! Knutsson lägger till: "Människor är dessutom väldigt ärliga vid direkta frågor". Hur trovärdigt är det?

Stor genomgång av problematiken med skönmålning

Min tidigare EFI-rapport är nu kraftigt utökad och tar upp den senaste forskningen och diskussionerna på området, klicka här..

I denna rapport finns nu också en s k Executive Summary för den som snabbt vill bilda sig en uppfattning, klicka här.

Rapportens slutsatser:

1. Förekommer skönmålning, är den vanlig och stark? Svaret är ett entydigt ja.
2. Har skönmålning effekter på beslutsfattandet på grundval av testning, t ex vid urval? Svaret är ja.
3. Här skönmålning betydelse för normdata? Svaret är ja, om testet ska användas i skarpt läge måste normdata vara insamlade i skarpt läge.
4. Kan skönmålning undvikas, åtminstone till betydande del, med hjälp av
1. Varningar
2. Omformulering av item till at bli mera neutrala
3. Särskilda mätningar av tendensen att tillskriva sig mera kunskaper än man har
4. Anpassning av matematiska modeller till testdata och mätning av i vilken mån testpersoner avviker från dessa modeller

            Svaret för alla dessa ansatser är nej, de löser inte problemet

5. Ett ganska vanligt sätt att hantera skönmålning tycks vara att utesluta de testpersoner som har högst värde i en sådan skala, t ex de 25 % som ligger högst. Detta har en svag och otillräcklig effekt, se Reeder och Ryan (Reeder & Ryan, 2012).

Ännu tycks det inte finnas någon ny metodik för att upptäcka och korrigera för skönmålning som är tillräckligt lovande för att leva upp till kraven att den ska vara teoretiskt och empiriskt väl underbyggd, och praktiskt användbar. Korrektion med en särskild skala som mäter skönmålning fungerar, även om inte heller denna metod helt eliminerar effekterna.

Skönmålning i personlighetstest

SSE/EFI Working Paper Series in Business Administration

No 2012:2:
Skönmålning i personlighetstest

Lennart Sjöberg (lennartsjoberg@gmail.com) Abstract: Skönmålning är ett stort problem vid användning av personlighetstest av självrapporttyp. Det är ofta lätt att genomskåda vad olika testfrågor syftar till att mäta och vill man bluffa är det lätt att göra det. Trots det är denna typ av test vanliga och de tycks få en ökande användning i näringslivet. Det kan delvis bero på att vissa test använder ett format (ipsativt) där den testade är instruerad att välja mellan alternativ som man har försökt matcha i social önskvärdhet. Sådana test har troligen en viss trovärdighet, men forskningen visar att de inte lyckas särskilt väl med att eliminera effekterna av skönmålning. Dessutom samvarierar de med intelligens, och den validitet de eventuellt kan ha beror troligen till stor del på detta. Ett annat skäl till den omfattande användningen av personlighetstest är det vanliga påståendet att dessa test, även om de är helt oskyddade mot skönmålning, har högt prognosvärde i arbetslivet. Men detta påstående är felaktigt om man ser till den omfattande forskningen om "Big Five" som visat att dessa dimensioner, bara har en marginell prognosförmåga i förhållande till arbetsresultat. Ett test som är oskyddat mot skönmålning, eller bara mycket ineffektivt skyddat, ger regelmässigt kraftiga överskattningar av testvärden hos dem som utnyttjar chansen att svara taktiskt. Andra, ofta kvinnor och invandrare, skönmålar mindre och missgynnas därför av testen. I denna rapport, klicka här beskrivs en alternativ metodik som bygger på användning av särskilda skalor för att mäta tendensen till skönmålning. Modeller som anpassas på grundval av empiriska data och som är olika för olika testskalor påvisas eliminera ca 95 % av effekterna av skönmålning. Metodiken har validerats i en rad empiriska studier som kortfattat beskrivs i rapporten. Korrektion för skönmålning är av mycket stor betydelse vid tolkning av testdata, och för etablering av en fungerande normdatabas.
Keywords: faking; personality tests; (follow links to similar papers)
40 pages, December 17, 2012

Information om skönmålning kan leda till förbättrad kvalitet i testdata

Skalor för att mäta skönmålning har ofta ifrågasatts. Här är en studie som använts sådana skalor för att besluta om omtestning, som befanns ge mera rättvisande resultat.


Self-report personality questionnaires often contain validity scales designed to flag individuals who intentionally distort their responses toward a more favorable characterization of themselves. Yet, there are no clear directives on how scores on these scales should be used by administrators when making high-stakes decisions about respondents. Two studies were conducted to investigate whether administrator-initiated retesting of flagged individuals represents a viable response to managing intentional distortion on personality questionnaires. We explored the effectiveness of retesting by considering whether retest responses are more accurate representations of a flagged individual's personality characteristics. A comparison of retest scores to a baseline measure of personality indicated that such scores were more accurate. Retesting should only work as a strategy for dealing with intentional distortion when individuals choose to respond more accurately the second time. Thus, we further explored the emotional reaction to being asked to retest as one possible explanation of why individuals who engage in intentional distortion respond more accurately upon retest.


Referens
Ellingson, J. E., Heggestad, E. D., & Makarius, E. E. (2012). Personality retesting for managing intentional distortion. [doi:10.1037/a0027327]. Journal of Personality and Social Psychology, 102, 1063-1076.

Ledarskap och personlighetens mörka sida

Harms et al. (2011) har publicerat ett mycket ambitiöst försök att validera HDS-testet mot ledarskap i det militära. Det är ett av mycket få arbeten som har försökt validera HDS. Se den utmärkta litteraturgenomgången i artikeln.

Officerskadetter följdes under 4 års utbildning där deras ledarförmåga bedömdes varje år. Data på HDS samlades in och relaterades (korrelationer) till ledarskap och utvecklingen av ledarskap.

HDS är ett test som ofta används, även i Sverige, för att mäta den mörka sidan, dvs kliniska eller subkliniska syndrom av typ av passiv aggression. Det är alltså inte utpräglade kliniska problem som mäts, utan tendenser till sådana, som kan vara av varierande styrka. Det är definitivt dimensioner bortom Big Five som det handlar om, men tyvärr tog Harms et al. inte in data på Big Five, inte heller försökte de studera skönmålning, som givetvis är viktig i HDS, som i alla självrapporttest.

De 11 HDS-skalorna bör alla vara negativt relaterade till ledarförmåga, om testet lyckas mäta det som det avser att mäta. Hur blev det?

Enskilda skalor hade svaga samband med ledarskap. 7 av de 11 skalorna hade inga samband alls med kriterierna. I övriga 4 fall fanns en tendens till negativa samband men för vissa skalor blev sambanden positiva. Kanske berodde sådana resultat på att de negativa effekter kommer först på längre sikt, säger författarna, men det är ju bara en spekulation så länge inga sådana data finns. Det kan dock ligga något i denna misstanke eftersom en metaanalys fann tydliga samband mellan narcissism, Machiavellianism och kontraproduktivt beteende bland icke-ledare (O'Boyle et al., 2011). Mönstret av samband mellan subkliniska tendenser och ledarskap ger emellertid inget stöd åt att använda HDS för att mäta den mörka sidan som det var tänkt. Nedanstående tabell som bygger på deras publicerade resultat ger detaljer. 

Korrelationer mellan HDS-skalor och ledarskap i amerikanska armén, Harms et al. (2011), 12 kriterier med likartade trender
Kliniskt begrepp (DSM-IV)	Innehåll	Korrelation i genomsnitt
Borderline	Lynnig och socialt inkonsistent	-0.03
Paranoid	Skeptisk, misstänksam	-0.18
Avoidant	Negativ till förändringar	0.08
Schizoid	Tillbakadragen, förstår ej andra	-0.03
Passive-aggressive	Självgående, ignorerar andras krav	-0.04
Narcissistic	Har extrem självuppskattning, tål ej kritik	0.06
Antisocial	Tycker om att ta risker och testa gränser	-0.08
Histrionic	Dramatisk, vill bli uppmärksammad	0.06
Schizotypal	Visar ovanligt tänkande, ibland kreativ	-0.23
Obsessive-compulsive	Mycket noggrann och kritisk	0.16
Dependent	Vill vara till lags, beroende av andras uppskattning	0.16

Harms et al. lyckades visa ganska höga samband mellan ledarskap och HDS i multipla regressionsanalyser, ca 15 % förklarad varians, motsvarande en multipel korrelation omkring 0.4. Detta är intressant men för praktikern tämligen lite användbart. Analysen tar ju fram vikter som kan vara negativa eller positiva och den prognos av ledarskap man tvingas göra måste grundas på en ad hoc-modell som inte stämmer med teorin och som är bara delvis psykologiskt begriplig. Vikterna är på ett komplicerat sätt beroende av hela mönstret av korrelationer. Fältet öppnas för spekulationer vilkas värde för prognoser är okänt och tveksamt. Vi ställs inför frågan om validiteten av subjektiva bedömningar utifrån testdata eller andra kvantitativa data och sådana bedömningar är väl studerade inom många områden, med svaga resultat.


HDS är ett kreativt pionjärarbete men tycks ha kommit till utbredd praktisk användning alldeles för tidigt. Det behövs mera empirisk forskning och teoretisk analys av personlighetens mörka sida och ledarskap och andra arbetsrelevanta dimensioner. Som det ser ut nu tycks det praktiska värdet vara svagt.

Referenser


Dawes, R. M., Faust, D., & Meehl, P. E. (1989). Clinical versus actuarial judgment. Science, 243, 1668-1674.

Grove, W. M., & Meehl, P. E. (1996). Comparative efficiency of informal (subjective, impressionistic) and formal (mechanical, algorithmic) prediction procedures: The clinical-statistical controversy. Psychology, Public Policy, and Law, 2, 293-323.


Harms, P. D., Spain, S. M., & Hannah, S. T. (2011). Leader development and the dark side of personality. [doi:10.1016/j.leaqua.2011.04.007]. The Leadership Quarterly, 22(3), 495-509.


O'Boyle Jr, E. H., Forsyth, D. R., Banks, G. C., & McDaniel, M. A. (2011). A meta-analysis of the dark triad and work behavior: A social exchange perspective. [doi:10.1037/a0025679]. Journal of Applied Psychology, No Pagination Specified.

Jämförelse mellan sökande och antagna

I denna rapport beskrivs analyser av data från UPP-testningar med sökande och antagna till officersutbildning vid Försvarshögskolan. Sökande jämfördes med antagna med avseende på skönmålning. Skillnaden i skönmålning var mycket stor (de sökande skönmålade mycket mera), och det också skillnaden i sådana testdimensioner som emotionell stabilitet och positiv attityd. Jämfört med normdata gav både sökande och antagna högre värden i skönmålning. Efter korrektion av testdata för skönmålning kvarstod inga signifikanta eller i övrigt nämnvärda skillnader. Dessa resultat stödjer den i UPP-testet använda modellen för korrektion för skönmålning. Det visade sig också att korrektionen gav testresultat som inte var positivt snedfördelade med många värden i den högre delen av skalan, vilket var fallet med okorrigerade data, samt att rangordningen av sökande skilde sig starkt beroende på om testdata korrigerades eller ej. Läs rapporten här.

Referens

Sjöberg, L. (2012). Skönmålning på ett personlighetstest bland sökande och antagna till officersutbildning. Rapport 2012:1. Stockholm: Psykologisk Metod AB.

UPP-testet vid Försvarshögskolan

En studie har genomförts med sökande till och deltagare i officersutbildning, där UPP-testet jämfördes med CTI (Commander Trait Inventory). CTI är liksom UPP ett självrapporttest men innehållet i de två testen är i övrigt mycket olika. CTI bygger till stor del på Jungs typteori och har även ett stort inslag av mätning av psykopati. Det är ett intressant och kreativt försök att nalkas problemet att mäta personlighet inför officersutbildning. Tyvärr kan man säga - låta vara efterklokt - att chansen att lyckas var liten, och det av åtminstone dessa tre skäl:

1. Jungs teori har aldrig visat sig användbar för att predicera beteende i arbetslivet. Mycket omfattande erfarenhet med Myers-Briggstestet är stöd för detta påstående. (Sjöberg, 2005).
2. Psykopati är den del av "den mörka triaden" som visat sig ha minsta prognosvärdet mot arbetslivet. Bättre resultat har man fått med narcissism, som ingår i UPP-testet, och som är en annan del av "den mörka triaden" (O'Boyle et al., 2011).
3. Vid ansökningar om arbete eller utbildning föreligger stor risk för skönmålning. CTI hanterar inte den risken, men UPP-testet gör det med betydande framgång (Sjöberg, 2009, 2011). Drygt 90 % av effekterna av skönmålning elimineras.

I den nu aktuella studien jämfördes CTI och UPP mot s k proxykriterier, dvs dimensioner som på goda grunder kan förväntas vara relaterade till arbetsresultat. UPP visade sig vara ungefär 3 gånger mera effektivt än CTI. Dessutom bedömdes UPP mycket positivt av dem som tog testet medan sådana data ej förelåg för CTI.

Denna forskning fortsätter.

Referenser

O'Boyle Jr, E. H., Forsyth, D. R., Banks, G. C., & McDaniel, M. A. (2011). A meta-analysis of the dark triad and work behavior: A social exchange perspective. [doi:10.1037/a0025679]. Journal of Applied PsychologyNo Pagination Specified.
 

Sjöberg, L. (2005). En kritisk diskussion av Myers-Briggs testet. (A critical discussion of the Myers-Briggs test). Organisational Theory & Practice. Scandinavian Journal of Organisational Psychology, 15, 21-28. Klicka här.


Sjöberg, L. (2009). UPP-testet: Korrektion för skönmålning. Forskningsrapport 2009:3. Stockholm: Psykologisk Metod AB. Klicka här.

Sjöberg, L. (2011). Ökad testvaliditet genom korrektion för skönmålning. Forskningsrapport 2011:2. Stockholm: Psykologisk Metod AB. Klicka här.

Sjöberg, L., Bäccman, C., & Gustavsson, B. (2012). Personlighetstestning vid antagning till FHS officersutbildning. ILM Serie T:39, 2011. Karlstad: Institutionen för ledarskap och Management, Försvarshögskolan. Klicka här.

Gick det att lura UPP-testet?

I höstas inbjöds läsarna av denna blogg att försöka lura UPP-testet. Gick det? Svaret finns här.

Nytt om faking

O'Connell et al. (2011) har publicerat en intressant studie om faking på personlighetstest.Förutom en vanlig skala på social önskvärdhet (SD-skala) mätte de skönmålning med två andra metoder: CVI (bygger på att skönmålning skapar tillskott till korrelation mellan annars orelaterade skalor), samt en skala som frågar om man haft erfarenhet av ej existerande verksamheter (ren lögnskala,. alltså). Resultaten är något komplexa men SD-skalan fungerade bäst.

Författarna är bekymrade över kritiken av SD-skalor och försökte därför hitta alternativ, med begränsad framgång. Att faking förekom och var både stark och vanlig bland jobbsökande var emellertid glasklart. Något måste uppenbarligen göras och fortsatt metodutveckling efterfrågas. Att bara förneka att problemet förekommer är enfaldigt, och sannerligen ingen lösning.

SD-skalor kan eventuellt fungera mot kriterier av objektiv typ, eller bedömningar av hur bra man skött själva kärnuppgifterna i jobbet. När det gäller socialt stödjande insatser i jobbet kanske SD-skalor korrelerar positivt med kriteriet och därför sänker validiteten hos personlighetstest om de används för någon form av korrektion. I jobb av typ kundservice där det sociala inslaget är mycket stort kan det fungera på att liknande sätt.

Idén att mäta faking med en ren lögnskala är inressant men kräver ju speciell anpassning för varje typ av jobb. Kanske kan man använda item av den typ som ibland har används för att mäta icke existerande attityder. 

Referens
O'Connell, M. S., Kung, M.-C., & Tristan, E. (2011). Beyond Impression Management: Evaluating three measures of response distortion and their relationship to job performance. International Journal of Selection and Assessment, 19, Issue 4 (December), pages 340–351, 340-351.

Personlighet och ekonomisk framgång

Validering av personlighetstest brukar sällan ge starka resultat - men undantag finns. Här ska jag redogöra för ett, ur min aktuella forskning. En stor grupp, 110 personer, tog UPP-testet och vissa tillkommande personlighetsskalor, samt besvarade en hel del andra frågor, bland dem frågan om månadsinkomst. Det senare kan betraktas som ett externt kriterium, i förhållande till testets variabler "distalt", dvs utan semantiskt överlappande innehåll. I nedanstående figur återges korrelationerna (efter rangordning) mellan testskalorna (korrigerade för skönmålning) och månadsinkomst.

 

Det är slående att fem skalor är särskilt starkt relaterade till ekonomisk framgång:

Arbetsintresse

Uthållighet

Social säkerhet

Resultatorientering

Positiv attityd

Dessa fem skalor kombinerades till ett index; detta korrelerade 0.52 med ekonomisk framgång, efter korrektion för mätfel.

Månadslön är säkert påverkad av många andra faktorer än personlighet. Att vi når så högt som 0.52 tyder onekligen på att testet har hög validitet. Det är en nivå på validiteteten som närmar sig det som kan nås med kognitiva test, och kombinationen personlighet - kognitivt test blir oslagbar. Märk också att ingen av de fem viktiga faktorerna ligger inom "Big Five", dessa skalor hamnar som figuren visar längre ner när det gäller validitet. Som jag ofta funnit är "Big FIve" dimensionerna en återvändsgränd, man måste arbeta med smalare och på arbetslivet direkt fokuserade skalor, och detta är vad UPP-testet gör, till skillnad från andra personlighetstest.

Mera information om UPP finns på www.psykologisk-metod.se.

Korrektion för skönmålning ökar validiteten

UPP-testet använder sig av särskilda skalor för att mäta tendensen att ge socialt önskvärda var. De är korrelerade med övriga testskalor i varierande grad. De korrigerade värdena är helt enkelt residualer i modeller för sambandet mellan testskalorna och skalorna för skönmålning; olika modeller för olika testskalor - allt beroende på det empiriska sambandet. Exempelvis är skalan för emotionell stabilitet ganska starkt korrelerad med social önskvärdhet, kreativitet knappast alls. Den här ansatsen har visat sig fungera i flera olika avseenden: man kan identifiera testade personer som "bluffat", fördelningarna i de korrigerade skalorna är mindre sneda och bättre differentierade än rådata, experimentella data stödjer förfarandet liksom skillnader mellan testningar i skarpa och oskarpa lägen. Dessutom blir det mera rättvisande och rättvisa jämförelser mellan  män och kvinnor, mellan invandrare och testade av inhemsk härkomst.

Men en fråga återstår. Påverkas validiteten hos testet, dvs sambandet med kriterier på arbetsresultat? I ett pågående projekt vid Karolinska Institutet har vi studerat sambandet mellan UPP och kriterier på chefsframgång, som insamlats via s k 360-gradersbedömningar. I studien medverkade 166 chefer på mellannivå inom SLL (Stockholms Läns Landsting).

Grundförutsättningen för ökad validitet genom korrektion för skönmålning är att måttet på skönmålning fungerar som en s k suppressorvariabel, dvs en variabel som korrelerar svagt eller negativt med kriteriet men positivt med testet. Så ser våra data faktiskt ut. I nedanstående figur har jag plottat resultaten från analys av medarbetares bedömningar av chefernas effektivitet i skilda avseenden. På x-axel validitet för varje skala och kriterium för okorrigerade data; på y-axeln motsvarande för korrigerade data.

Samma tendens fanns vi analyser av 360-gradersbedömningar utförda av kolleger och överordnade chefer. Korrektionen medförde en höjning av validiteten.

Detta är sista pusselbiten i validering av korrektionsmetodiken. Den fungerar, och det har nu dokumenterats i många avseenden.

Eftersom alla, utom de som säljer alla dessa test som inte kan hantera skönmålning, är övertygade om det är ett mycket allvarligt problem för alla självrapporttest att somliga testade försöker bluffa sig till en tätposition på testet - är detta äntligen en lösning på problemet.

UPP-testets validitet mot kundservice

I denna studie undersöktes UPP-testets validitet gentemot förmansbedömningar i en grupp anställda i Customer Service vid ett finansbolag. Testet visade sig ha god psykometriska egenskaper i nivå med tidigare erfarenheter. Data hade god kvalitet men det fanns en tendens till skönmålning. Gruppen visade i genomsnitt höga värden på resultatorientering och förändringsvilja, något lägre i arbetsintresse. De testade personerna bedömdes av cheferna med hjälp av att omfattande bedömningsformulär (40 variabler), som med komponentanalys kunde reduceras till tre kriterievariabler, som alla kunde mätas med mycket god precision. Validiteterna för de tre kriteriedimensionerna Värde för företaget, Effektivitet och Social funktion var 0.66, 0.52 och 0.40 efter korrektion för mätfel och beskuren spridning. Analys av proxykriterier (arbetsmotivation och liknande attitydskalor) gav liknande resultat (mediankorrelationer 0.29-0.59). Data tyder på att proxykriterierna kan ersätta förmansbedömningar vid testvalidering, eftersom de två serierna av validitetskoefficienter var starkt relaterade (r = 0.65). Korrektion för skönmålning medförde en viss sänkning av validiteten gentemot förmansbedömningen, men denna nackdel måste vägas mot de stora effekter på individnivå som korrektionen ger: de som ”bluffat” har inte längre en fördel av det.

Läs hela rapporten här.

Comments on SIOP 2011: Emotional intelligence

Yesterday's panel discussion of EI attracted a huge crowd, which certainly confirmed the statement of one of the panelists, that interest in EI is strong and steadily increasing. The panelists, all well-known researchers in the field, gave a good over-view of the field and agreed that the term should only be used for performance-based measures, not for so-called mixed models (read the Bar-on test). However, the major test of performance EI is the MSCEIT which has NO incremental validity in accounting for job performance, while mixed-model approaches do have such utility. So, why bother about performance EI, for other than theoretical purposes? It can be said that "we do not know what mixed-model tests of EI measure". This is true for such tests as the Bar-On (often used in Sweden) which indeed seem not to measure anything beyond the Big Five, or very little.

Tests can be devised which measure self-assessed EI, and they do make important contributions, admittedly for unclear reasons. Here is a promising topic for research. Meanwhile, they can be used in practical work. Worry about "faking" need not be a concern since scores can be adjusted for this bias factor with the help of one or more measures of social desirability - such adjustment is clearly necessary, by the way.

It is also interesting that performance and self-assessed EI have similar correlates such as age and gender so there is SOME evidence for a relationship, in spite for the very low within-group correlation.

In addition, work in my group has shown clear relationships between self-report EI and values: people with low EI in this sense tend to be materialistic, egoistic, and perhaps even manipulative. It is, reverse scored, a "dark side" measure of such attitudes and motivations, and could function as a good proxy measurement of them.

As a final comment, why continue work on performance EI if it offers so little of practical value? Sure, there are logical reasons it should have priority to the term EI, but that seems a remote advantage.

"Psychosocial fitness" enligt amerikanska armén: GAT-testet

Den amerikanska armén arbetar med ett nytt och stort upplagt program för att utvärdera och utveckla soldaters "fitness", varmed kan förstås "lämplighet". När det gäller utvärdering har de tagit fram ett självrapport-instrument som ganska mycket liknar ett vanligt personlighetstest, men som har vissa skillnader från ett sådant, se Paterson et al.(2011). Bakgrunden är positiv psykologi och någonstans i tänkandet finns observationen att det är lättare att göra en prognos av klart misslyckande än av stor framgång. Intressant.

Paterson et al. diskuterar inte alls personlighetstestning och nämner inte ens "Big Five" och all valideringsforskning som fyllt tidskrifterna de senaste 20 åren. Ganska märkligt.

Deras eget test mäter en del välbekanta dimensioner, men i två avseenden blir man rejält nyfiken: "andlig lämplighet" och "karaktärsstyrkor". Den andliga lämpligheten tycks handla om sådant som att uppleva en mening med livet och sägs vara konfessionellt neutral. Karaktärsstyrkorna är:

Vishet
Mod
Medmänsklighet
Rättvisa
Måttlighet
"Transcendence" (svårt att förstå vad de menar, kan betyda översinnlighet eller överlägsen funktion)

Hur mäter man sådant som "mod" och "vishet"? Mod tycks onekligen testkonstruktörerna ha visat...

Frågan är om dessa dimensioner har validitet i förhållande till kriterier som de nämner: depression, missbruk mm, och livskvalitet. De nämner ytterst lite om vilka resultat de fått i det avseendet. Som personlighetstestare är man ju  något luttrad när det gäller värdet av diverse i början löftesrika nya dimensioner. Man kan ju också undra om inte valet av kriterier bör göras bredare. Vidare kan konstateras at de är medvetna om problemet med skönmålning men som så många andra går de över det med lätt hand. Datakvalitet, "face validity" och emotionella aspekter på testningen tar de inte alls upp. Inte heller tycks de planera att undersöka om deras test ger något tillskott till befintliga test.

Det ska bli spännande att se hur detta nya test kommer att utvecklas och om det kommer att användas i stor skala. Det senare har ju redan påbörjats och resurserna är förstås gigantiska.Vi kommer att få höra mycket om GAT.



Referens

Peterson, C., Park, N., & Castro, C. A. (2011). Assessment for the U.S. Army Comprehensive Soldier Fitness program: The Global Assessment Tool. American Psychologist, 66(1), 10-18.

Meta-analysens risker

Meta-analyser är numera mycket vanliga och åbropas ofta som stöd i jakten på evidens, t ex för psykologiska tester. Detta är i stort sett sunt, men det har sina risker. Som exempel tar jag en aktuell och mycket ambitiös genomgång av forskningen kring personlighet och militär flygutbildning, se referens nedan.

Campbell et al. försöker ge en heltäckande bild av området. Kan personlighetsvariabler predicera utfallet av militär flygutbildning? De finner att bara ett fåtal variabler har studerats i tillräckliga många publikationer. Det är främst extraversion och neuroticism som det handlar om. Båda har i snitt en svag men tydlig korrelation med kriteriet godkänd/icke godkänd, på nivån 0.10 - 0.20. Det är jämförbart med meta-analyser av femfaktormodellen inom andra områden, kanske något lägre. Campbell et al. är försiktiga när det gäller slutsatser för praktisk urvalsverksamhet, men säger att mera reliabla (läs längre) tester skulle kunna vara av värde, och det är allt! De menar också att inkluderande av mått på skönmålning kanske skulle kunna höja validiteten men citerar inga resultat i det avseendet.

Vad de därremot inte tar upp är att frågan om tester till skillnad från dimensioner. Tester mäter oftast många dimensioner och dessa sammanvägs när man försöker göra prognoser. Givetvis är det relevant att undersöka validiteten hos enskilda dimensioner, men det säger ganska lite om hur bra dessa dimensioner är i praktiskt arbete. Meta-analyser inbjuder till en simplistisk analysnivå av den typ som Campbell et al. ger ett bra exempel på. Tester är troligen betydligt bättre än vad Campbell et al. ger intryck av, om man använder dem för att bilda relevanta index som består av flera dimensioner. I valideringsarbete måste man undersöka värdet av index för att inte hamna i helt missvisande slutsatser. Campbell et al. hade troligen inte som syfte att undersöka validiteten hos tester, men läser man denna typ av meta-analys utan eftertanke missar man lätt distinktionen mellan tester och dimensioner.

Detta tror jag är den största risken med meta-ananlys inom området. En annan risk är att innovationers genomslag - i sig en långsam process - bromsas upp. Det tar mycket lång tid innan en ny idé har lett till tillräckligt många publikationer för att kunna läggas till grund för en meta-analys, troligen minst 10 år. och sedan tar det ytterligare några år innan analysen kommer i tryck. Ett,. kanske extremt, exempel är det svenska DMT, som funnits sedan 60-talet och använts i praktiskt arbete nästan lika länge. Campbell et al. nämner faktiskt DMT (som de tror är ett norskt test!) men går förbi detta och andra projektiva tester utan motivering. DMT anses av ganska många psykologer ha stort praktiskt värde och borde diskuteras i sammanhanget, de ganska få studier som finns har gett en splittrad bild som är ganska förvirrande. Kanske kom den forskningen inte med därför att den är för lite omfattande, ännu efter 40 år...

Referens

Campbell, J. S., Castaneda, M., & Pulos, S. (2010). Meta-analysis of personality assessments as predictors of military aviation training success. International Journal of Aviation Psychology, 20(1), 92-109.

Hyperkritisk artikel om tendensen att skönmåla som personlighetsdrag

Uziel (2010) har publicerat en artikel om skönmålning Hans tes är att skönmålning inte kan mätas med hjälp av skalor som mäter social önskvärdhet (IM-skalor). Dessa skalor är nämligen enligt omfattande forskning korrelerade med en mängd andra variabler, mestadels med positivt innehåll. Därför skulle de mäta ett personlighetsdrag och kan inte vara mått på en "response style", enligt honom.

Det är en argumentation som är ganska vanlig. Men logiken är svag. Även om IM-skalor mäter tendensen att ge en överdrivet positiv bild av sig själv kan de vara korrelerade med andra variabler. Det är ett orimligt krav att de inte ska samvariera med något annat. I själva verket måste de samvariera med de personlighetsdrag som man önskar korrigera för skönmålning, annars försvinner vitsen med hela proceduren. (Det blir ingen effekt av korrektionen). Det finns också en rad positiva resultat som kraftigt stödjer korrektionen för skönmålning (Sjöberg, 2010).

Så låt gå för att det finns en rad samband mellan IM-skalor och andra variabler. Hur stor kan effekten av sådana samband vara? Finns det en risk att man "överkorrigerar", dvs eliminerar varians som är av verklig betydelse och inte bara felet i mätningen, felet som beror på en överdrivet positiv bild?

För att pröva den möjligheten gjorde jag följande analys på mina normdata för UPP-testet. IM-skalorna korrigerades först för positiv grundattityd. Detta är en slagkraftig variabel som bör fånga upp det mesta av den aspekt på skönmålning som Uziel diskuterar. De korrigerade IM-skalorna användes sedan för att korrigera för skönmålning på samma sätt de okorrigerade IM-skalorna. Det senare är den standardprocedur som används i testet. Effekten var inte särskilt stark. En variabel som emotionell stabilitet samvarierade mycket högt efter vanlig korrektion och efter korrektion med en eventuell effekt av positiv grundattityd eliminerad (r = 0.9).



Uziels artikel är bra som exempel på argumentation mot korrektion för skönmålning. Vanligt är ju att man påstår att skönmålning inte förkommer och att den, om den skulle förekomma, saknar betydelse. Han lägger till tendensen att den inte går att mäta. Dessa argument är uppenbart empiriskt felaktiga och även ologiska, hyperkritiska. Hyperkritiska diskurser av den här typen utmärks av att man söker med ljus och lykta efter något sätt att skjuta en teori eller metodik i sank, och i sin iver tappar man kontakten med logik, sansat omdöme och sunt förnuft. Ett annat exempel på hyperkritik är Morgeson et al. (2007 a,b) som försöker totalt såga all personlighetstestning, vilket leder dem till destruktiva och mycket missvisande slutsatser (Sjöberg, 2010).

Referenser

Morgeson, F. P., Campion, M. A., Dipboye, R. L., Hollenbeck, J. R., Murphy, K., & Schmitt, N. (2007). Reconsidering the use of personality tests in personnel selection contexts. Personnel Psychology, 60(3), 683-729.

Morgeson, F. P., Campion, M. A., Dipboye, R. L., Hollenbeck, J. R., Murphy, K., & Schmitt, N. (2007). Are we getting fooled again? Coming to terms with limitations in the use of personality tests for personnel selection. Personnel Psychology, 60(4), 1029-1049.

Sjöberg, L. (2009). UPP-testet: Korrektion för skönmålning. Forskningsrapport 2009:3. Stockholm: Psykologisk Metod AB.Klicka här.

Sjöberg, L. (2010). Personlighetsdimensioners validitet i arbetslivet: teorier och empiri (SSE/EFI Working Paper Series in Business Administration No. 2010:6). Stockholm: Stockholm School of Economics. Klicka här,


Uziel, L. (2010). Rethinking social desirability scales: from impression management to interpersonally oriented self-control. Perspectives on Psychological Science, 5(3), 243-262.

Trovärdig personlighetstestning

Personlighetstest av självrapporttyp – den absolut vanligaste typen i praktiskt arbetspsykologiskt arbete – har tveksam trovärdighet i mångas ögon eftersom man misstänker att många testade framställer sig själva i alltför positiva dager (skönmålar), om mycket står på spel. Dessutom differentierar testen dåligt v dessa skäl – de testade ”slår i taket”. Leverantörer av testet, nästan alltid översättningar av amerikanska förlagor, brukar emellertid förneka dessa problem. Tidigare erfarenheter har emellertid visat att skönmålning är vanligt förekommande vid personlighetstestning i skarpt läge. Vid rekrytering till chefsbefattningar har män skönmålat mera än kvinnor, varför den senare gruppen systematiskt missgynnats, i den mån testresultaten påverkat anställningsbeslut 


Nu finns nya data som stödjer användningen av UPP-testets metodik för korrektion för skönmålning.Testresultat erhållna vid chefsrekrytering (N=80) jämfördes med normdata före och efter korrektion skönmålning. Skönmålningen låg på mycket hög nivå i kandidatgruppen. Män skönmålade mera än kvinnor. Stora skillnader fanns mellan grupperna före korrektion men eliminerades eller reducerades starkt. Testvärdena ”slog i taket” före korrektion – de flesta hade mycket positiva värden - men uppvisade en symmetrisk fördelning efter korrektion, och kraftigt förskjuten mot lägre värden. Män uppvisade mycket mera positiva värden än kvinnor före korrektion, vilket ändrades till en fördel för kvinnorna efter korrektion, med undantag för extraversion där emellertid skillnaden nästan halverades. Av dem som låg i de högsta 10 procenten på en sammansatt variabel var det bara 50 % som behöll sin tätposition efter korrektion. Alla dessa resultat gäller UPP-testets fem ”Big Five”-variabler men tendenserna är desamma för övriga personlighetsvariabler i testet, och även för måtten på arbetsattityder och arbetsmotivation. UPP-testet har flera unika fördelar, korrektionen för skönmålning är unik och därtill ingående analys av datakvalitet, mätning av emotionellt tillstånd under testningen, på arbetslivet fokuserade dimensioner samt långt driven datasäkerhet. (Inga data skickas utomlands för utvärdering). Vi ser nu att detta nya svenska test konkurrerar ut kända amerikanska konkurrenter som HPI, HDS och NEO. Flera stora rekryteringsfirmor har tecknat licens på UPP under hösten.


Läs hela rapporten här,

Riskförnekande i testbranschen

Personlighetstest används ofta i arbetslivet. Förmodligen omsätter denna verksamhet flera hundra miljoner kronor årligen. De allra flesta personlighetstesten är självrapporttest och av ytterst varierande kvalitet. De är översatta från, oftast, engelska och de utländska producenterna håller hårt i testen. De utvecklas inte efter svenska önskemål, och den psykometriska kompetensen är svag i Sverige.

En särskild problematik är skönmålning. Det krävs inte mycket tänkande för att inse att folk inte svarar helt uppriktigt om mycket står på spel, t ex vid en jobbansökan. Detta problem blundar man för och påstår att det inte finns. Det är lite tragikomiskt eftersom det finns tonvis med forskning som visar att problemet finns och är stort.

Jag har mött flera konsulter som berättat att de test de använder slår i taket. Nästan alla sökande är helt enkelt väldigt bra på personlighetstestet. Sådana test, som differentierar dåligt är svåra att använda och föga trovärdiga. Exempel är HPI, NEO-PI-R och "Thomassystemet".

Det finns numera validerad metodik för att korrigera för skönmålning. Ett traditionellt försök är att använda ipsativa svarsformat, där man få välja mellan alternativ som förhoppningsvis är lika socialt önskvärda. Den ansatsen har MBTI, Myers-Briggs. Folk tycker illa sådana uppgifter och de tar extra lång tid. Ipsativa data är svåra att analysera och de tycks inte alls eliminera effekten av skönmålning. I UPP-testet använder vi särskilda skalor för att mäta tendensen till skönmålning. Forskning har visat att detta fungerar alldeles utmärkt och höjer validiteten hos testdata.

Skönmålning är stark, vanlig och viktig vid testning i skarpt läge

Det påstås ibland att skönmålning på personlighetstest knappast förekommer, åtminstone inte i hög grad. Jaså. Hur vet man det? Påståendet verkar gå helt emot vanligt sunt förnuft. Visst försöker väl testade i ett skarpt läge att framställa sig i så positiv dager som möjligt på självrapporttest - den absolut vanligaste formen av personlighetstest?

För att påstå att stark skönmålning inte förekommer måste man ha data också på icke skönmålade svar. Detta kan man få, approximativt givetvis, genom att ta fram testsvar som rensats från skönmålning med hjälp av validerad metodik för sådan rensning.

Jag arbetar med korrektion för skönmålning med hjälp av två skalor som mäter social önskvärdhet, en overt (genomskådlig, Hunter Mabons term) och en kovert (ogenomskådlig). De ger likartade resultat och har validerats både experimentellt och i skarpa testningar vid jobbansökning, se referens nedan. Vid testningar på rekryteringsplattformen Katapult används den koverta skalan och UPP-testets screeningmodul, se referens nedan. Modulen mäter extraversion, uthållighet, samarbetsvilja, positiv grundattityd och kreativitet.

De data som analyseras här baseras på testsvar från 4457 personer (Katapult) som tog screeningmodulen när de anmälde sig som sökande till olika jobb.  Det är alltså data från testning i skarpt läge som det gäller.Korrelationerna mellan personlighetsdimensionerna och skönmålning framgår av tabellen nedan, liksom korrelationerna mellan råvärden och korrigerade värden.

Korrelationer mellan personlighetsdimensioner och kovert skönmålning, samt okorrigerade och korrigerade data
Dimension	Korrelation med skönmålning	Korrelation rådata-korrigerade data
Extraversion	0.49	0.87
Uthållighet	0.63	0.77
Samarbetsvilja	0.66	0.75
Positiv grundattityd	0.64	0.77
Kreativitet	0.32	0.95

I fyra av de fem fallen var sambanden starka mellan skönmålning och personlighetsdimensionen.

Märk också att effekten av korrektion var ytterst liten i ett av fallen (kreativitet) men större i de övriga. Detta är ett vanligt resultat. Olika dimensioner är i olika hög grad påverkade av skönmålning.

Men hur viktiga, eller stora, är effekterna?

Jag skapade en sammansatt poäng genom att beräkna medelvärdet av alla fem dimensionerna, med lika vikter, före och efter korrektion. Båda dessa summapoäng rangordnades i hela materialet. (Tack gode Gud för datorer). Därefter lade jag in gränsvärden för de bästa 1%, 5%, 10% och 20% för råvärdena. Hur många av dem som nådde dessa topp-placeringar behöll sina platser efter korrektion? Svar, se nedanstående tabell:

Andel som behöll sin tätplats efter korrektion för skönmålning. Skarpt läge, N=4457. Data från Katapult.
Andel i tätgruppen	Andel av tätgruppen som behöll sin position i tätgruppen efter korrektion för skönmålning
0.01	8.9%
0.05	11.7%
0.10	12.8%
0.20	17.7%

Detta betyder att bland dem i den bästa procenten före korrektion var det bara 8.9% som behöll den placeringen efter korrektion. Vid mindre krav för topp-plats var andelen som behöll sin plats större men vid 20% topp-plats var det fortfarande bara 17.7 % som behöll platsen.

Med andra ord: över 80% av dem som hamnar på "lilla listan" om rekrytering baseras på personlighetstestet har troligen hamnat där på grund av att de bluffat på testet! Eftersom dessa data baseras på korrektion med enbart en skala i stället för vår vanliga design med två skalor är dessutom effekterna troligen underskattade.

Ett annat och enklare svar på frågan om det förekommer stora effekter av skönmålning kan vi få genom att se närmare på hur stora förändringar i rangplats som de 45 bästa (bästa procenten, 99:e percentilen) fick efter korrektion och ny rangordning. Som visade ovan var det 91% av dem som inte lyckades behålla sin plats. Fördelningen av skillnaderna mellan de två rangordningarna för de 45 bästa enligt rådata framgår av nedanstående graf. Medianen för tappade rangplatser var 545, alltså ett fall, i genomsnitt, från 99:e till 88:e percentilen. Mycket mera dramatiska fall förekom också, upp till 1200 rangplatser. I ljuset av de data som presenterats här är det enligt min mening osakligt att fortsätta att påstå att stark skönmålning "knappast förekommer".

Ännu en kontroll är intressant. Antag att vi försöker värja oss mot effekterna av skönmålning genom att utesluta dem som har högst värde i detta avseende. Det är troligen ett vanligt sätt att arbeta, som jag sett på nära håll under min tid på Handelshögskolan. Jag lade därför in en cut-off vid 21% av stickprovet och uteslöt 922 personer. (Just denna gräns var lämplig på grund av klustring av data; omkring 20-25 % är troligen vanligt). De som nu återstod i 99:e percentilen i rådata kunde emellertid inte alls försvara sina platser efter korrektion. Korrektionen medförde att deras rangplatser sjönk 629 steg, alltså ännu mera än för hela stickprovet. För att motverka de snedvridande effekterna av skönmålning måste man alltså korrigera fullt ut enligt den metod som använts här (och i våra övriga test) - uteslutande av dem som ligger högst på en "lögnskala" har bara kosmetiska effekter.

Frågan om hur kraftig skönmålningen är kan också besvaras genom att analysera den absoluta nivån på svaren.Den informationen brukar man inte använda i testpsykologin, men i andra sammanhang som medarbetarundersökningar gör man ju det. Det som talar mot att använda absolutnivån är att den påverkas av frågornas formulering. Då emellertid en skala i typfallet består av ganska många frågor motverkas den felkällan; man får trots allt en viss uppfattning om styrkan i svarstendensen. I fallet med våra data och måttet på skönmålning låg medianen på 4.33, svarsskala 1-5. 74 % av de testade hade ett värde > 4.0, mindre än 1 % låg under 3.0. De testade hade alltså en mycket stark tendens att välja skönmålande svar. Det stödjer min tes att skönmålning är stark och vanligt förekommande.

Man kan fråga sig om skönmålning har ännu flera konsekvenser. Det påstås ofta att validiteten inte påverkas av korrektion. Detta är nog tämligen riktigt, se data ovan som visar på höga samband mellan korrigerade och okorrigerade data. För vissa typer av kriterier kan de som skönmålar också ha förmåga att övertyga omgivningen i vidare mening om sin kompetens, men detta betyder naturligtvis inte att de också gör ett bättre jobb. Kvar står till slut att få nog vill ge prioritet åt dem som bluffar, att effekterna är stora och att systemet för korrektion som använts står på solid grund efter särskilda valideringar - se referenserna. Inga andra självrapporttest har en effektiv och validerad metodik för att korrigera för skönmålning (HPI, NEO), många - som MBTI (NEO-PI-R, Myers-Briggs) - ingen alls.

Ones et al. (1996) är en ofta åberopad artikel som anses stödja slutsatsen att skönmålning inte spelar någon roll.   Den baseras på en mycket omfattande meta-analys men det är troligen inte data i skarpt läge som den bygger på, åtminstone inte i de flesta fallen. Författarna säger inte vilket som är fallet, men deras korrelationer mellan skönmålning och personlighetsdimensioner är dramatiskt mycket lägre än dem som presenterats här. Våra undersökningar har konsistent gett mycket högre korrelationer mellan personlighetsskalor och olika mått på skönmålning. Det är rimligt att tro att skönmålning har mycket större betydelse i skarpt läge än vid andra former av datainsamling, och det är ju skarpt läge som är det praktiskt intressanta.



Referenser
 
Ones, D. S., Viswesvaran, C., & Reiss, A. D. (1996). Role of social desirability in personality testing for personnel selection: The red herring. Journal of Applied Psychology, 81, 660-679.

Sjöberg, L. (2009). UPP-testet: Korrektion för skönmålning. Forskningsrapport 2009:3. Stockholm: Psykologisk Metod AB. Klicka här


Sjöberg, L. (2010). UPP/Screen: Ett screeningtest av personlighet och begåvning. Forskningsrapport 2010:7. Stockholm: Psykologisk Metod AB. Klicka här.