Jämförelse mellan sökande och antagna

I denna rapport beskrivs analyser av data från UPP-testningar med sökande och antagna till officersutbildning vid Försvarshögskolan. Sökande jämfördes med antagna med avseende på skönmålning. Skillnaden i skönmålning var mycket stor (de sökande skönmålade mycket mera), och det också skillnaden i sådana testdimensioner som emotionell stabilitet och positiv attityd. Jämfört med normdata gav både sökande och antagna högre värden i skönmålning. Efter korrektion av testdata för skönmålning kvarstod inga signifikanta eller i övrigt nämnvärda skillnader. Dessa resultat stödjer den i UPP-testet använda modellen för korrektion för skönmålning. Det visade sig också att korrektionen gav testresultat som inte var positivt snedfördelade med många värden i den högre delen av skalan, vilket var fallet med okorrigerade data, samt att rangordningen av sökande skilde sig starkt beroende på om testdata korrigerades eller ej. Läs rapporten här.

Referens

Sjöberg, L. (2012). Skönmålning på ett personlighetstest bland sökande och antagna till officersutbildning. Rapport 2012:1. Stockholm: Psykologisk Metod AB.

UPP-testet vid Försvarshögskolan

En studie har genomförts med sökande till och deltagare i officersutbildning, där UPP-testet jämfördes med CTI (Commander Trait Inventory). CTI är liksom UPP ett självrapporttest men innehållet i de två testen är i övrigt mycket olika. CTI bygger till stor del på Jungs typteori och har även ett stort inslag av mätning av psykopati. Det är ett intressant och kreativt försök att nalkas problemet att mäta personlighet inför officersutbildning. Tyvärr kan man säga - låta vara efterklokt - att chansen att lyckas var liten, och det av åtminstone dessa tre skäl:

1. Jungs teori har aldrig visat sig användbar för att predicera beteende i arbetslivet. Mycket omfattande erfarenhet med Myers-Briggstestet är stöd för detta påstående. (Sjöberg, 2005).
2. Psykopati är den del av "den mörka triaden" som visat sig ha minsta prognosvärdet mot arbetslivet. Bättre resultat har man fått med narcissism, som ingår i UPP-testet, och som är en annan del av "den mörka triaden" (O'Boyle et al., 2011).
3. Vid ansökningar om arbete eller utbildning föreligger stor risk för skönmålning. CTI hanterar inte den risken, men UPP-testet gör det med betydande framgång (Sjöberg, 2009, 2011). Drygt 90 % av effekterna av skönmålning elimineras.

I den nu aktuella studien jämfördes CTI och UPP mot s k proxykriterier, dvs dimensioner som på goda grunder kan förväntas vara relaterade till arbetsresultat. UPP visade sig vara ungefär 3 gånger mera effektivt än CTI. Dessutom bedömdes UPP mycket positivt av dem som tog testet medan sådana data ej förelåg för CTI.

Denna forskning fortsätter.

Referenser

O'Boyle Jr, E. H., Forsyth, D. R., Banks, G. C., & McDaniel, M. A. (2011). A meta-analysis of the dark triad and work behavior: A social exchange perspective. [doi:10.1037/a0025679]. Journal of Applied PsychologyNo Pagination Specified.
 

Sjöberg, L. (2005). En kritisk diskussion av Myers-Briggs testet. (A critical discussion of the Myers-Briggs test). Organisational Theory & Practice. Scandinavian Journal of Organisational Psychology, 15, 21-28. Klicka här.


Sjöberg, L. (2009). UPP-testet: Korrektion för skönmålning. Forskningsrapport 2009:3. Stockholm: Psykologisk Metod AB. Klicka här.

Sjöberg, L. (2011). Ökad testvaliditet genom korrektion för skönmålning. Forskningsrapport 2011:2. Stockholm: Psykologisk Metod AB. Klicka här.

Sjöberg, L., Bäccman, C., & Gustavsson, B. (2012). Personlighetstestning vid antagning till FHS officersutbildning. ILM Serie T:39, 2011. Karlstad: Institutionen för ledarskap och Management, Försvarshögskolan. Klicka här.

Twitter

Följ mig på twitter, klicka här.

Rorschach och psykopati

I en abstract av en publicerad meta-analys kan man läsa:

Gacono and Meloy (2009) have concluded that the Rorschach Inkblot Test is a sensitive instrument with which to discriminate psychopaths from nonpsychopaths. We examined the association of psychopathy with 37 Rorschach variables in a meta-analytic review of 173 validity coefficients derived from 22 studies comprising 780 forensic participants. All studies included the Hare Psychopathy Checklist or one of its versions (Hare, 1980, 1991, 2003) and Exner's (2003) Comprehensive System for the Rorschach. Mean validity coefficients of Rorschach variables in the meta-analysis ranged from −.113 to .239, with a median validity of .070 and a mean validity of .062. Psychopathy displayed a significant and medium-sized association with the number of Aggressive Potential responses (weighted mean validity coefficient = .232) and small but significant associations with the Sum of Texture responses, Cooperative Movement = 0, the number of Personal responses, and the Egocentricity Index (weighted mean validity coefficients = .097 to .159). The remaining 32 Rorschach variables were not significantly related to psychopathy. The present findings contradict the view that the Rorschach is a clinically sensitive instrument for discriminating psychopaths from nonpsychopaths.

Referens

Wood, J. M., Lilienfeld, S. O., Nezworski, M. T., Garb, H. N., Allen, K. H., & Wildermuth, J. L. (2010). Validity of Rorschach Inkblot scores for discriminating psychopaths from nonpsychopaths in forensic populations: A meta-analysis. [doi:10.1037/a0018998]. Psychological Assessment, 22(2), 336-349.

Testgranskning: HDS

Personlighetens mörka sida: HDS-testet

De flesta personlighetstest som används  svenskt arbetsliv mäter normalpersonligheten. I vissa fall som OPQ, MBTI och PPA (Thomas) har man medvetet gåt in för att ge en positiv bild av varje testad person. UPP-testet utgår från en positiv syn på människor inom normalområdet men erkänner också att det finns "subkliniska" varianter av dimensioner som passiv aggression, perfektionism och narcissism; dessa mäts med särskilda skalor. HDS tar ett mera radikalt grepp och mäter enbart sådana aspekter av "den mörka sidan". Det är viktigt att försöka sig på detta, inte minst med tanke på den aktuella diskussionen om "den mörka triaden . I en studie av HDS-data insamlade i skarpt läge fann jag:


•    HDS är ett försök att mäta ett antal olika aspekter på personlighetens ”dark side”. De 11 skalorna har en 2-dimensionell struktur. De är starkt korrelerade med FFM-faktorer och skönmålning, multipla korrelationer omkring 0.40 – 0.65. Om man kontrollerar för FFM och skönmålning finns ingen tydlig struktur kvar i HDS-skalorna.

•    Reliabiliteten hos delskalorna i HDS var dessutom låg, upp till 50 % av variansen var felvarians.

•    Felvarians, skönmålning och "Big Five" svarade för ca 75 % av HDS-skalornas varians


I oberoende granskning (Buros-institutet, se http://www.unl.edu/buros/), av två oberoende vetenskapligt väl kvalificerade utvärderare som inte är anonyma,  riktas tung kritik mot testet:


–    ” All but 4 of these 11 reliability coefficients are below the minimum level of .70. ” (Utvärderare 1)

–    ” The validational data relating to performance is also disappointing, both in quantity and quality. ” (Utvärderare 1)

–    ” Reliability evidence is mixed. Three-month test-retest coefficients appear acceptable; however, the research sample was limited to 60 graduate students. Alpha coefficients ranged from .50 to .78, with seven falling below .70, suggesting considerable caution with respect to the use of the scales in making decisions about individual clients. ” (Utvärderare 2)

–    ” Modest, but meaningful correlations between HDS scores and managerial behavior ratings from an unspecified mix of subordinates, peers, and supervisors are also demonstrated. ” (Utvärderare 2)

Saville et al. (2008) har gjort en stor jämförande studie av olika kommersiella personlighetstest. De noterar att efter endast en vecka hade vid omtestning med HDS endast 8 % oförändrad profil. Det stämmer ju bra med andra resultat som har visat låg reliabilitet hos detta test.

Referenser
Fox, G. (2001). Review of the Hogan Development Survey In B. S. Plake & J. C. Impara (Eds.), The fourteenth mental measurements yearbook. Lincoln NE: Buros Institute of Mental Measurements.

Huebner, E. S. (2001). Review of the Hogan Development Survey. In B. S. Plake & J. C. Impara (Eds.), The fourteenth mental measurements yearbook. Lincoln NE: Buros Institute of Mental Measurements.

Saville, P. (2008, January). Project Epsom: How Valid Is Your Questionnaire? Phase 1: Saville Consulting Wave®, OPQ®, Hogan Personality Inventory & Development Survey, 16PF5, NEO, Thomas International DISC, MBTI and Saville Personality Questionnaire Compared in Predicting Job Performance. Paper presented at the The British Psychological Society Division of Occupational Psychology Conference: “Personality Questionnaires – Valid Inferences, False Prophecies”. För denna rapport klicka här.

Gick det att lura UPP-testet?

I höstas inbjöds läsarna av denna blogg att försöka lura UPP-testet. Gick det? Svaret finns här.

Nytt om faking

O'Connell et al. (2011) har publicerat en intressant studie om faking på personlighetstest.Förutom en vanlig skala på social önskvärdhet (SD-skala) mätte de skönmålning med två andra metoder: CVI (bygger på att skönmålning skapar tillskott till korrelation mellan annars orelaterade skalor), samt en skala som frågar om man haft erfarenhet av ej existerande verksamheter (ren lögnskala,. alltså). Resultaten är något komplexa men SD-skalan fungerade bäst.

Författarna är bekymrade över kritiken av SD-skalor och försökte därför hitta alternativ, med begränsad framgång. Att faking förekom och var både stark och vanlig bland jobbsökande var emellertid glasklart. Något måste uppenbarligen göras och fortsatt metodutveckling efterfrågas. Att bara förneka att problemet förekommer är enfaldigt, och sannerligen ingen lösning.

SD-skalor kan eventuellt fungera mot kriterier av objektiv typ, eller bedömningar av hur bra man skött själva kärnuppgifterna i jobbet. När det gäller socialt stödjande insatser i jobbet kanske SD-skalor korrelerar positivt med kriteriet och därför sänker validiteten hos personlighetstest om de används för någon form av korrektion. I jobb av typ kundservice där det sociala inslaget är mycket stort kan det fungera på att liknande sätt.

Idén att mäta faking med en ren lögnskala är inressant men kräver ju speciell anpassning för varje typ av jobb. Kanske kan man använda item av den typ som ibland har används för att mäta icke existerande attityder. 

Referens
O'Connell, M. S., Kung, M.-C., & Tristan, E. (2011). Beyond Impression Management: Evaluating three measures of response distortion and their relationship to job performance. International Journal of Selection and Assessment, 19, Issue 4 (December), pages 340–351, 340-351.