Ledarskap och personlighetens mörka sida

Harms et al. (2011) har publicerat ett mycket ambitiöst försök att validera HDS-testet mot ledarskap i det militära. Det är ett av mycket få arbeten som har försökt validera HDS. Se den utmärkta litteraturgenomgången i artikeln.

Officerskadetter följdes under 4 års utbildning där deras ledarförmåga bedömdes varje år. Data på HDS samlades in och relaterades (korrelationer) till ledarskap och utvecklingen av ledarskap.

HDS är ett test som ofta används, även i Sverige, för att mäta den mörka sidan, dvs kliniska eller subkliniska syndrom av typ av passiv aggression. Det är alltså inte utpräglade kliniska problem som mäts, utan tendenser till sådana, som kan vara av varierande styrka. Det är definitivt dimensioner bortom Big Five som det handlar om, men tyvärr tog Harms et al. inte in data på Big Five, inte heller försökte de studera skönmålning, som givetvis är viktig i HDS, som i alla självrapporttest.

De 11 HDS-skalorna bör alla vara negativt relaterade till ledarförmåga, om testet lyckas mäta det som det avser att mäta. Hur blev det?

Enskilda skalor hade svaga samband med ledarskap. 7 av de 11 skalorna hade inga samband alls med kriterierna. I övriga 4 fall fanns en tendens till negativa samband men för vissa skalor blev sambanden positiva. Kanske berodde sådana resultat på att de negativa effekter kommer först på längre sikt, säger författarna, men det är ju bara en spekulation så länge inga sådana data finns. Det kan dock ligga något i denna misstanke eftersom en metaanalys fann tydliga samband mellan narcissism, Machiavellianism och kontraproduktivt beteende bland icke-ledare (O'Boyle et al., 2011). Mönstret av samband mellan subkliniska tendenser och ledarskap ger emellertid inget stöd åt att använda HDS för att mäta den mörka sidan som det var tänkt. Nedanstående tabell som bygger på deras publicerade resultat ger detaljer. 

Korrelationer mellan HDS-skalor och ledarskap i amerikanska armén, Harms et al. (2011), 12 kriterier med likartade trender
Kliniskt begrepp (DSM-IV)	Innehåll	Korrelation i genomsnitt
Borderline	Lynnig och socialt inkonsistent	-0.03
Paranoid	Skeptisk, misstänksam	-0.18
Avoidant	Negativ till förändringar	0.08
Schizoid	Tillbakadragen, förstår ej andra	-0.03
Passive-aggressive	Självgående, ignorerar andras krav	-0.04
Narcissistic	Har extrem självuppskattning, tål ej kritik	0.06
Antisocial	Tycker om att ta risker och testa gränser	-0.08
Histrionic	Dramatisk, vill bli uppmärksammad	0.06
Schizotypal	Visar ovanligt tänkande, ibland kreativ	-0.23
Obsessive-compulsive	Mycket noggrann och kritisk	0.16
Dependent	Vill vara till lags, beroende av andras uppskattning	0.16

Harms et al. lyckades visa ganska höga samband mellan ledarskap och HDS i multipla regressionsanalyser, ca 15 % förklarad varians, motsvarande en multipel korrelation omkring 0.4. Detta är intressant men för praktikern tämligen lite användbart. Analysen tar ju fram vikter som kan vara negativa eller positiva och den prognos av ledarskap man tvingas göra måste grundas på en ad hoc-modell som inte stämmer med teorin och som är bara delvis psykologiskt begriplig. Vikterna är på ett komplicerat sätt beroende av hela mönstret av korrelationer. Fältet öppnas för spekulationer vilkas värde för prognoser är okänt och tveksamt. Vi ställs inför frågan om validiteten av subjektiva bedömningar utifrån testdata eller andra kvantitativa data och sådana bedömningar är väl studerade inom många områden, med svaga resultat.


HDS är ett kreativt pionjärarbete men tycks ha kommit till utbredd praktisk användning alldeles för tidigt. Det behövs mera empirisk forskning och teoretisk analys av personlighetens mörka sida och ledarskap och andra arbetsrelevanta dimensioner. Som det ser ut nu tycks det praktiska värdet vara svagt.

Referenser


Dawes, R. M., Faust, D., & Meehl, P. E. (1989). Clinical versus actuarial judgment. Science, 243, 1668-1674.

Grove, W. M., & Meehl, P. E. (1996). Comparative efficiency of informal (subjective, impressionistic) and formal (mechanical, algorithmic) prediction procedures: The clinical-statistical controversy. Psychology, Public Policy, and Law, 2, 293-323.


Harms, P. D., Spain, S. M., & Hannah, S. T. (2011). Leader development and the dark side of personality. [doi:10.1016/j.leaqua.2011.04.007]. The Leadership Quarterly, 22(3), 495-509.


O'Boyle Jr, E. H., Forsyth, D. R., Banks, G. C., & McDaniel, M. A. (2011). A meta-analysis of the dark triad and work behavior: A social exchange perspective. [doi:10.1037/a0025679]. Journal of Applied Psychology, No Pagination Specified.

Work samples

Det är en spridd uppfattning att arbetsprov är den bästa prediktorn för arbetsresultat. Se emellertid en kritisk artikel av Roth et al, som skriver i sin sammanfattning:


"Work sample tests have been used in applied psychology for decades as important predictors of job performance, and they have been suggested to be among the most valid predictors of job performance. As we examined classic work sample literature, we found the narrative review by Asher and Sciarrino (1974) to be plagued by many methodological problems. Further, it is possible that data used in this study may have influenced the results (e.g., r = .54) reported by Hunter and Hunter in their seminal work in 1984. After integrating all of the relevant data, we found an observed mean correlation between work sample tests and measures of job performance of .26. This value increased to .33 when measures of job performance (e.g., supervisory ratings) were corrected for attenuation. Our results suggest that the level of the validity for work sample tests may not be as large as previously thought (i.e., approximately one third less than previously thought). Further, our work also summarizes the relationship of work sample exams to measures of general cognitive ability. We found that work sample tests were associated with an observed correlation of .32 with tests of general cognitive ability."


Arbetsprov tycks alltså i snitt ha en validitet på samma, ganska blygsamma, nivå som vanliga personlighetstest, omkring 0.3. Kanske kan de ge tillskott utöver sådana test, men bättre är nog att använda ett mera effektivt test, som ju finns. Arbetsprov tar dessutom tid och kostar mycket mera än test.




Referens


Roth, P. L., Bobko, P., & McFarland, L. A. (2005). A meta-analysis of work sample test validity: Updating and integrating some classic literature. [doi:10.1111/j.1744-6570.2005.00714.x]. Personnel Psychology, 58(4), 1009-1037

Jämförelse mellan sökande och antagna

I denna rapport beskrivs analyser av data från UPP-testningar med sökande och antagna till officersutbildning vid Försvarshögskolan. Sökande jämfördes med antagna med avseende på skönmålning. Skillnaden i skönmålning var mycket stor (de sökande skönmålade mycket mera), och det också skillnaden i sådana testdimensioner som emotionell stabilitet och positiv attityd. Jämfört med normdata gav både sökande och antagna högre värden i skönmålning. Efter korrektion av testdata för skönmålning kvarstod inga signifikanta eller i övrigt nämnvärda skillnader. Dessa resultat stödjer den i UPP-testet använda modellen för korrektion för skönmålning. Det visade sig också att korrektionen gav testresultat som inte var positivt snedfördelade med många värden i den högre delen av skalan, vilket var fallet med okorrigerade data, samt att rangordningen av sökande skilde sig starkt beroende på om testdata korrigerades eller ej. Läs rapporten här.

Referens

Sjöberg, L. (2012). Skönmålning på ett personlighetstest bland sökande och antagna till officersutbildning. Rapport 2012:1. Stockholm: Psykologisk Metod AB.

UPP-testet vid Försvarshögskolan

En studie har genomförts med sökande till och deltagare i officersutbildning, där UPP-testet jämfördes med CTI (Commander Trait Inventory). CTI är liksom UPP ett självrapporttest men innehållet i de två testen är i övrigt mycket olika. CTI bygger till stor del på Jungs typteori och har även ett stort inslag av mätning av psykopati. Det är ett intressant och kreativt försök att nalkas problemet att mäta personlighet inför officersutbildning. Tyvärr kan man säga - låta vara efterklokt - att chansen att lyckas var liten, och det av åtminstone dessa tre skäl:

1. Jungs teori har aldrig visat sig användbar för att predicera beteende i arbetslivet. Mycket omfattande erfarenhet med Myers-Briggstestet är stöd för detta påstående. (Sjöberg, 2005).
2. Psykopati är den del av "den mörka triaden" som visat sig ha minsta prognosvärdet mot arbetslivet. Bättre resultat har man fått med narcissism, som ingår i UPP-testet, och som är en annan del av "den mörka triaden" (O'Boyle et al., 2011).
3. Vid ansökningar om arbete eller utbildning föreligger stor risk för skönmålning. CTI hanterar inte den risken, men UPP-testet gör det med betydande framgång (Sjöberg, 2009, 2011). Drygt 90 % av effekterna av skönmålning elimineras.

I den nu aktuella studien jämfördes CTI och UPP mot s k proxykriterier, dvs dimensioner som på goda grunder kan förväntas vara relaterade till arbetsresultat. UPP visade sig vara ungefär 3 gånger mera effektivt än CTI. Dessutom bedömdes UPP mycket positivt av dem som tog testet medan sådana data ej förelåg för CTI.

Denna forskning fortsätter.

Referenser

O'Boyle Jr, E. H., Forsyth, D. R., Banks, G. C., & McDaniel, M. A. (2011). A meta-analysis of the dark triad and work behavior: A social exchange perspective. [doi:10.1037/a0025679]. Journal of Applied PsychologyNo Pagination Specified.
 

Sjöberg, L. (2005). En kritisk diskussion av Myers-Briggs testet. (A critical discussion of the Myers-Briggs test). Organisational Theory & Practice. Scandinavian Journal of Organisational Psychology, 15, 21-28. Klicka här.


Sjöberg, L. (2009). UPP-testet: Korrektion för skönmålning. Forskningsrapport 2009:3. Stockholm: Psykologisk Metod AB. Klicka här.

Sjöberg, L. (2011). Ökad testvaliditet genom korrektion för skönmålning. Forskningsrapport 2011:2. Stockholm: Psykologisk Metod AB. Klicka här.

Sjöberg, L., Bäccman, C., & Gustavsson, B. (2012). Personlighetstestning vid antagning till FHS officersutbildning. ILM Serie T:39, 2011. Karlstad: Institutionen för ledarskap och Management, Försvarshögskolan. Klicka här.

Twitter

Följ mig på twitter, klicka här.

Rorschach och psykopati

I en abstract av en publicerad meta-analys kan man läsa:

Gacono and Meloy (2009) have concluded that the Rorschach Inkblot Test is a sensitive instrument with which to discriminate psychopaths from nonpsychopaths. We examined the association of psychopathy with 37 Rorschach variables in a meta-analytic review of 173 validity coefficients derived from 22 studies comprising 780 forensic participants. All studies included the Hare Psychopathy Checklist or one of its versions (Hare, 1980, 1991, 2003) and Exner's (2003) Comprehensive System for the Rorschach. Mean validity coefficients of Rorschach variables in the meta-analysis ranged from −.113 to .239, with a median validity of .070 and a mean validity of .062. Psychopathy displayed a significant and medium-sized association with the number of Aggressive Potential responses (weighted mean validity coefficient = .232) and small but significant associations with the Sum of Texture responses, Cooperative Movement = 0, the number of Personal responses, and the Egocentricity Index (weighted mean validity coefficients = .097 to .159). The remaining 32 Rorschach variables were not significantly related to psychopathy. The present findings contradict the view that the Rorschach is a clinically sensitive instrument for discriminating psychopaths from nonpsychopaths.

Referens

Wood, J. M., Lilienfeld, S. O., Nezworski, M. T., Garb, H. N., Allen, K. H., & Wildermuth, J. L. (2010). Validity of Rorschach Inkblot scores for discriminating psychopaths from nonpsychopaths in forensic populations: A meta-analysis. [doi:10.1037/a0018998]. Psychological Assessment, 22(2), 336-349.

Testgranskning: HDS

Personlighetens mörka sida: HDS-testet

De flesta personlighetstest som används  svenskt arbetsliv mäter normalpersonligheten. I vissa fall som OPQ, MBTI och PPA (Thomas) har man medvetet gåt in för att ge en positiv bild av varje testad person. UPP-testet utgår från en positiv syn på människor inom normalområdet men erkänner också att det finns "subkliniska" varianter av dimensioner som passiv aggression, perfektionism och narcissism; dessa mäts med särskilda skalor. HDS tar ett mera radikalt grepp och mäter enbart sådana aspekter av "den mörka sidan". Det är viktigt att försöka sig på detta, inte minst med tanke på den aktuella diskussionen om "den mörka triaden . I en studie av HDS-data insamlade i skarpt läge fann jag:


•    HDS är ett försök att mäta ett antal olika aspekter på personlighetens ”dark side”. De 11 skalorna har en 2-dimensionell struktur. De är starkt korrelerade med FFM-faktorer och skönmålning, multipla korrelationer omkring 0.40 – 0.65. Om man kontrollerar för FFM och skönmålning finns ingen tydlig struktur kvar i HDS-skalorna.

•    Reliabiliteten hos delskalorna i HDS var dessutom låg, upp till 50 % av variansen var felvarians.

•    Felvarians, skönmålning och "Big Five" svarade för ca 75 % av HDS-skalornas varians


I oberoende granskning (Buros-institutet, se http://www.unl.edu/buros/), av två oberoende vetenskapligt väl kvalificerade utvärderare som inte är anonyma,  riktas tung kritik mot testet:


–    ” All but 4 of these 11 reliability coefficients are below the minimum level of .70. ” (Utvärderare 1)

–    ” The validational data relating to performance is also disappointing, both in quantity and quality. ” (Utvärderare 1)

–    ” Reliability evidence is mixed. Three-month test-retest coefficients appear acceptable; however, the research sample was limited to 60 graduate students. Alpha coefficients ranged from .50 to .78, with seven falling below .70, suggesting considerable caution with respect to the use of the scales in making decisions about individual clients. ” (Utvärderare 2)

–    ” Modest, but meaningful correlations between HDS scores and managerial behavior ratings from an unspecified mix of subordinates, peers, and supervisors are also demonstrated. ” (Utvärderare 2)

Saville et al. (2008) har gjort en stor jämförande studie av olika kommersiella personlighetstest. De noterar att efter endast en vecka hade vid omtestning med HDS endast 8 % oförändrad profil. Det stämmer ju bra med andra resultat som har visat låg reliabilitet hos detta test.

Referenser
Fox, G. (2001). Review of the Hogan Development Survey In B. S. Plake & J. C. Impara (Eds.), The fourteenth mental measurements yearbook. Lincoln NE: Buros Institute of Mental Measurements.

Huebner, E. S. (2001). Review of the Hogan Development Survey. In B. S. Plake & J. C. Impara (Eds.), The fourteenth mental measurements yearbook. Lincoln NE: Buros Institute of Mental Measurements.

Saville, P. (2008, January). Project Epsom: How Valid Is Your Questionnaire? Phase 1: Saville Consulting Wave®, OPQ®, Hogan Personality Inventory & Development Survey, 16PF5, NEO, Thomas International DISC, MBTI and Saville Personality Questionnaire Compared in Predicting Job Performance. Paper presented at the The British Psychological Society Division of Occupational Psychology Conference: “Personality Questionnaires – Valid Inferences, False Prophecies”. För denna rapport klicka här.