Gick det att lura UPP-testet?

I höstas inbjöds läsarna av denna blogg att försöka lura UPP-testet. Gick det? Svaret finns här.

Nytt om faking

O'Connell et al. (2011) har publicerat en intressant studie om faking på personlighetstest.Förutom en vanlig skala på social önskvärdhet (SD-skala) mätte de skönmålning med två andra metoder: CVI (bygger på att skönmålning skapar tillskott till korrelation mellan annars orelaterade skalor), samt en skala som frågar om man haft erfarenhet av ej existerande verksamheter (ren lögnskala,. alltså). Resultaten är något komplexa men SD-skalan fungerade bäst.

Författarna är bekymrade över kritiken av SD-skalor och försökte därför hitta alternativ, med begränsad framgång. Att faking förekom och var både stark och vanlig bland jobbsökande var emellertid glasklart. Något måste uppenbarligen göras och fortsatt metodutveckling efterfrågas. Att bara förneka att problemet förekommer är enfaldigt, och sannerligen ingen lösning.

SD-skalor kan eventuellt fungera mot kriterier av objektiv typ, eller bedömningar av hur bra man skött själva kärnuppgifterna i jobbet. När det gäller socialt stödjande insatser i jobbet kanske SD-skalor korrelerar positivt med kriteriet och därför sänker validiteten hos personlighetstest om de används för någon form av korrektion. I jobb av typ kundservice där det sociala inslaget är mycket stort kan det fungera på att liknande sätt.

Idén att mäta faking med en ren lögnskala är inressant men kräver ju speciell anpassning för varje typ av jobb. Kanske kan man använda item av den typ som ibland har används för att mäta icke existerande attityder. 

Referens
O'Connell, M. S., Kung, M.-C., & Tristan, E. (2011). Beyond Impression Management: Evaluating three measures of response distortion and their relationship to job performance. International Journal of Selection and Assessment, 19, Issue 4 (December), pages 340–351, 340-351.

Mera om OPQ och validitet

Ju mera man studerar det brittiska OPQ-testet, detta i Sverige mycket populära test, och dess validitet desto mera förbryllad blir man. En mycket ambitiös sammanställning av massor av data, publicerad av Bartram (1995) tyder snarast på värden omkring 0,05 mot olika kriterier. Enda undantaget är s k kanoniska korrelationer mellan uppsättningar av personlighetsskalor och uppsättningar av kriteriemått, där han når nivån 0.5. Men det är väl känt att denna typ av korrelationsberäkning är extremt känslig för slumpvariationer i data, numera sällan använd och betraktad med stor skepsis (Saville, 2008). Mysteriet tätnar: vad är egentligen vitsen om OPQ?

Referenser
Bartram, D. (2005). The Great Eight Competencies: A Criterion-Centric Approach to Validation. [doi:10.1037/0021-9010.90.6.1185]. Journal of Applied Psychology, 90, 1185-1203.


Saville, P. (2008, January). Project Epsom: How Valid Is Your Questionnaire? Phase 1: Saville Consulting Wave®, OPQ®, Hogan Personality Inventory & Development Survey, 16PF5, NEO, Thomas International DISC, MBTI and Saville Personality Questionnaire Compared in Predicting Job Performance. Paper presented at the The British Psychological Society Division of Occupational Psychology Conference: “Personality Questionnaires – Valid Inferences, False Prophecies”. Klicka här.

Teorier inom personlighetstestningen

"Teori" är ett laddat ord. Det är väl alltid bra med en teori? Inte alls. Det krävs att teorin är evidensbaserad och rimlig. Teori har inget egenvärde.

Men om man saknar teori? Vad har man då? Svaret på frågan är empiri, dvs att man har funnit att testet har validitet för de syften som man vill uppnå. Det är både nödvändigt och tillräckligt att ett test har validitet. Teori, om den uppfyller kraven, är också av värde, men kan inte ersätta empirisk evidens. Låt oss se på några teorier bakom den vanligaste personlighetstesten inom arbetspsykologin. Läs fortsättningen här.

VD-personlighet

Spelar det någon roll vem som är VD och vilka egenskaper han eller hon har? Ja, det verkar självklart men vissa forskare förnekar den saken - andra bejakar påståendet. Människor som inte känner till de akademiska trätorna tycker troligen att det är ganska självklart. Vissa VD:ar lyckas, andra misslyckas. Vad kan det bero på?

En aktuell översiktsartikel tar upp dessa frågor (Thornton et al., 2010). Rekrytering till ledande positioner tycks mera sällan bygga på psykologisk teori och metodik. Kanske kan det vara ett skäl till misslyckanden. Å andra sidan finns det inte särskilt mycket forskning om denna exklusiva grupp och det är svårt att utvärdera framgång. Psykologiska test påverkas ju av skönmålning ("self enhancement") så det är svårt att lita på dem. (Undantag finns, se denna länk). Intelligens är troligen en mycket viktig faktor, mera så ju mera komplexa jobben är. Social förmåga och emotionell intelligens brukar nämnas, och ibland (inte i denna översikt) narcissism, som kanske är bra i måttlig utsträckning men kan vara katastrofalt på hög nivå (McFarlin & Sweeney, 2010).

Thornton et al. menar att vi kanske använder fel forskningsparadigm och att det är därför vi inte har kommit längre. VD-jobben är så komplexa och kraven så unika i varje särskilt fall. Nja, det kan man väl säga om allting (nästan)? Vi har ju trots allt kommit ganska långt när det gäller att identifiera personlighetsdrag av betydelse i arbetslivet. Jag tror att problemet snarare är att vi inte får in data, VD-positionen är inte av den typen att man kan och ska forska på den. Den är för "upphöjd" för det, kanske. Jag för min del är övertygad att det går att identifiera framgångsfaktorer bara man får möjlighet att samla in data.

Något liknande kan sägas om politiskt ledarskap. Vad som än ledde till valet av Juholt som partiledare för (s), så inte tycks det ha varit hans personlighet. Han verkar vara ett bra exempel på en dålig ledare som man kunde ha undvikit med lite bättre psykologi i urvalet.

Referenser

McFarlin, D. B., & Sweeney, P. D. (2010). The corporate reflecting pool: Antecedents and consequences of narcissism in executives. In B. Schyns & T. Hansbrough (Eds.), When leadership goes wrong: Destructive leadership, mistakes, and ethical failures. (pp. 247-283): Greenwich, CT, US: IAP Information Age Publishing.

Thornton, G. C., III, Hollenbeck, G. P., & Johnson, S. K. (2010). Selecting leaders: Executives and high potentials. In J. L. Farr & N. T. Tippins (Eds.), Handbook of employee selection. (pp. 823-840): New York, NY, US: Routledge/Taylor & Francis Group.

Validering: Personlighet och ledarskap

Detta är en studie av UPP-testets validitet gentemot 360-gradersbedömningar.
Deltagarna var 166 chefer inom Stockholms läns landsting (SLL), på mellannivå.
De besvarade testet, ett formulär för mätning av stressupplevelser i arbetet, och
bedömdes av sina egna chefer, kollegor och underställda. I genomsnitt bedömdes
de av 2.5 kollegor och 7.5 underställda. 360-gradersbedömningarna kunde
summeras i tre index, som mätte framgång i förändringsarbete, strukturering av
arbetet samt relationer till underställda medarbetare. Egenbedömningarna hade
lågt samband med övriga bedömningar, som i sin tur var moderat korrelerade
(omkring 0.4). Det fanns emellertid ingen tydlig tendens till skillnad när
egenbedömningarnas nivå jämfördes med övrigas bedömningar.
Samtliga testvariabler korrigerades för skönmålning. För analyserna av testets
validitet bildades tre index av testvariabler som matchade bedömningarna
innehållsmässigt. Genomsnittliga bedömningar av kollegor och underställda
beräknades. Testindexen korrelerades med dessa genomsnittliga bedömningar
samt med bedömningarna av överordnad chef. Korrelationerna korrigerades
sedan för mätfel i kriterierna (360-gradersbedömningarna) och för begränsad
variation i testvariablerna. De slutliga värdena på validitet låg omkring 0.5 för
bedömningar av chefers, kollegors och underställdas 360-gradersbedömningar.
Egenbedömningarna var ännu högre korrelerade med UPP-testets variabler. Det
fanns en tendens till högre samband när minst 10 personer gjort 360-
gradersbedömningarna. Slutsatsen är att testet uppvisade en tillfredsställande
validitet mot 360-gradersbedömningar av chefers arbetsinsatser.
Stressupplevelsen hade främst samband med positiv grundattityd (negativt) och
de arbetsrelaterade attityder som UPP mäter, men mycket låga samband med
360-gradersbedömningarna.
Det intressanta mönster som framträder i data var:
· Höga samband mellan personlighet och 360-gradersbedömningar
· Låga samband mellan personlighet och stressdimensioner
· Höga samband mellan stressdimensioner och arbetsattityder enligt UPP
· Låga samband mellan 360-gradersbedömningar (ej egenbedömningar)
och stressdimensioner

Stressdimensionerna kan sägas mäta de svarandes ”inre värld”, och vara uttryck
för den aktuella arbetssituationen. De är inte tydliga för andra människor, inte
heller starka utslag för mera bestående personlighetsdrag. UPP-testets sektion
med arbetsattityder bildar en intressant brygga mellan det inre och det yttre, det
bestående och det mera tillfälliga.

Referens
Sjöberg, L., Bergman, D., Lornudd, C., & Sandahl, C. (2011). Sambandet mellan ett personlighetstest och 360-graders bedömningar av chefer i hälso- och sjukvården. Stockholm: Karolinska Institutet: Institutionen för lärande, informatik, management och etik (LIME).Klicka här

Dagens Industri uppmärksammar UPP-testet, mm

En kortfattad och mycket positiv och sakligt korrekt artikel om UPP tillägnades en helsida i Dagens Industri den 17 oktober 2011, klicka här.De främsta poängerna är att det handlar om ett alltigenom svenskt test  med allt vad det innebär av anpassning till språk och kultur, samt den framgångsrika korrektionen för skönmålning.Testet genom ständigt forskning och vidareutveckling, vilket svenska agenter för amerikanska eller brittiska eller tyska test sältan sysslar med. Vi har goda valideringsresultat mot relevanta kriterier i arbetslivet både för chefer och andra - andra test genomför inga sådana studier i Sverige, med enstaka undantag.

Det är därför mycket glädjande att DI-artikeln har medfört en "Ketchupeffekt" denna vecka och intresset för testet nu är mycket stort. Certifieringskursen 5-6 december kan ev behöva fördubblas. En svensk företagare i Texas hörde av sig och vill pröva testet i sitt företag (engelskspråkig version finns ju). Vi har också i veckan genomfört ett stort uppdrag för Uppsala kommun gällande testningar med UPP inför chefsbefordran.

Mycket snart kommer rapporter från Rekryteringsverket och Karolinska Institutet där UPP-tetstet prövats med goda resultat.