En studie har genomförts med sökande till och deltagare i officersutbildning, där UPP-testet jämfördes med CTI (Commander Trait Inventory). CTI är liksom UPP ett självrapporttest men innehållet i de två testen är i övrigt mycket olika. CTI bygger till stor del på Jungs typteori och har även ett stort inslag av mätning av psykopati. Det är ett intressant och kreativt försök att nalkas problemet att mäta personlighet inför officersutbildning. Tyvärr kan man säga - låta vara efterklokt - att chansen att lyckas var liten, och det av åtminstone dessa tre skäl:
1. Jungs teori har aldrig visat sig användbar för att predicera beteende i arbetslivet. Mycket omfattande erfarenhet med Myers-Briggstestet är stöd för detta påstående. (Sjöberg, 2005).
2. Psykopati är den del av "den mörka triaden" som visat sig ha minsta prognosvärdet mot arbetslivet. Bättre resultat har man fått med narcissism, som ingår i UPP-testet, och som är en annan del av "den mörka triaden" (O'Boyle et al., 2011).
3. Vid ansökningar om arbete eller utbildning föreligger stor risk för skönmålning. CTI hanterar inte den risken, men UPP-testet gör det med betydande framgång (Sjöberg, 2009, 2011). Drygt 90 % av effekterna av skönmålning elimineras.
I den nu aktuella studien jämfördes CTI och UPP mot s k proxykriterier, dvs dimensioner som på goda grunder kan förväntas vara relaterade till arbetsresultat. UPP visade sig vara ungefär 3 gånger mera effektivt än CTI. Dessutom bedömdes UPP mycket positivt av dem som tog testet medan sådana data ej förelåg för CTI.
Denna forskning fortsätter.
Referenser
O'Boyle Jr, E. H., Forsyth, D. R., Banks, G. C., & McDaniel, M. A. (2011). A meta-analysis of the dark triad and work behavior: A social exchange perspective. [doi:10.1037/a0025679]. Journal of Applied PsychologyNo Pagination Specified.
Sjöberg, L. (2005). En kritisk diskussion av Myers-Briggs testet. (A critical discussion of the Myers-Briggs test). Organisational Theory & Practice. Scandinavian Journal of Organisational Psychology, 15, 21-28. Klicka här.
Sjöberg, L. (2009). UPP-testet: Korrektion för skönmålning. Forskningsrapport 2009:3. Stockholm: Psykologisk Metod AB. Klicka här.
Sjöberg, L. (2011). Ökad testvaliditet genom korrektion för skönmålning. Forskningsrapport 2011:2. Stockholm: Psykologisk Metod AB. Klicka här.
Sjöberg, L., Bäccman, C., & Gustavsson, B. (2012). Personlighetstestning vid antagning till FHS officersutbildning. ILM Serie T:39, 2011. Karlstad: Institutionen för ledarskap och Management, Försvarshögskolan. Klicka här.
Sunday, February 26, 2012
Tuesday, February 14, 2012
Thursday, February 2, 2012
Rorschach och psykopati
I en abstract av en publicerad meta-analys kan man läsa:
Gacono and Meloy (2009) have concluded that the Rorschach Inkblot Test is a sensitive instrument with which to discriminate psychopaths from nonpsychopaths. We examined the association of psychopathy with 37 Rorschach variables in a meta-analytic review of 173 validity coefficients derived from 22 studies comprising 780 forensic participants. All studies included the Hare Psychopathy Checklist or one of its versions (Hare, 1980, 1991, 2003) and Exner's (2003) Comprehensive System for the Rorschach. Mean validity coefficients of Rorschach variables in the meta-analysis ranged from −.113 to .239, with a median validity of .070 and a mean validity of .062. Psychopathy displayed a significant and medium-sized association with the number of Aggressive Potential responses (weighted mean validity coefficient = .232) and small but significant associations with the Sum of Texture responses, Cooperative Movement = 0, the number of Personal responses, and the Egocentricity Index (weighted mean validity coefficients = .097 to .159). The remaining 32 Rorschach variables were not significantly related to psychopathy. The present findings contradict the view that the Rorschach is a clinically sensitive instrument for discriminating psychopaths from nonpsychopaths.
Referens
Wood, J. M., Lilienfeld, S. O., Nezworski, M. T., Garb, H. N., Allen, K. H., & Wildermuth, J. L. (2010). Validity of Rorschach Inkblot scores for discriminating psychopaths from nonpsychopaths in forensic populations: A meta-analysis. [doi:10.1037/a0018998]. Psychological Assessment, 22(2), 336-349.
Gacono and Meloy (2009) have concluded that the Rorschach Inkblot Test is a sensitive instrument with which to discriminate psychopaths from nonpsychopaths. We examined the association of psychopathy with 37 Rorschach variables in a meta-analytic review of 173 validity coefficients derived from 22 studies comprising 780 forensic participants. All studies included the Hare Psychopathy Checklist or one of its versions (Hare, 1980, 1991, 2003) and Exner's (2003) Comprehensive System for the Rorschach. Mean validity coefficients of Rorschach variables in the meta-analysis ranged from −.113 to .239, with a median validity of .070 and a mean validity of .062. Psychopathy displayed a significant and medium-sized association with the number of Aggressive Potential responses (weighted mean validity coefficient = .232) and small but significant associations with the Sum of Texture responses, Cooperative Movement = 0, the number of Personal responses, and the Egocentricity Index (weighted mean validity coefficients = .097 to .159). The remaining 32 Rorschach variables were not significantly related to psychopathy. The present findings contradict the view that the Rorschach is a clinically sensitive instrument for discriminating psychopaths from nonpsychopaths.
Referens
Wood, J. M., Lilienfeld, S. O., Nezworski, M. T., Garb, H. N., Allen, K. H., & Wildermuth, J. L. (2010). Validity of Rorschach Inkblot scores for discriminating psychopaths from nonpsychopaths in forensic populations: A meta-analysis. [doi:10.1037/a0018998]. Psychological Assessment, 22(2), 336-349.
Wednesday, February 1, 2012
Testgranskning: HDS
Personlighetens mörka sida: HDS-testet
De flesta personlighetstest som används svenskt arbetsliv mäter normalpersonligheten. I vissa fall som OPQ, MBTI och PPA (Thomas) har man medvetet gåt in för att ge en positiv bild av varje testad person. UPP-testet utgår från en positiv syn på människor inom normalområdet men erkänner också att det finns "subkliniska" varianter av dimensioner som passiv aggression, perfektionism och narcissism; dessa mäts med särskilda skalor. HDS tar ett mera radikalt grepp och mäter enbart sådana aspekter av "den mörka sidan". Det är viktigt att försöka sig på detta, inte minst med tanke på den aktuella diskussionen om "den mörka triaden . I en studie av HDS-data insamlade i skarpt läge fann jag:
• HDS är ett försök att mäta ett antal olika aspekter på personlighetens ”dark side”. De 11 skalorna har en 2-dimensionell struktur. De är starkt korrelerade med FFM-faktorer och skönmålning, multipla korrelationer omkring 0.40 – 0.65. Om man kontrollerar för FFM och skönmålning finns ingen tydlig struktur kvar i HDS-skalorna.
• Reliabiliteten hos delskalorna i HDS var dessutom låg, upp till 50 % av variansen var felvarians.
• Felvarians, skönmålning och "Big Five" svarade för ca 75 % av HDS-skalornas varians
I oberoende granskning (Buros-institutet, se http://www.unl.edu/buros/), av två oberoende vetenskapligt väl kvalificerade utvärderare som inte är anonyma, riktas tung kritik mot testet:
– ” All but 4 of these 11 reliability coefficients are below the minimum level of .70. ” (Utvärderare 1)
– ” The validational data relating to performance is also disappointing, both in quantity and quality. ” (Utvärderare 1)
– ” Reliability evidence is mixed. Three-month test-retest coefficients appear acceptable; however, the research sample was limited to 60 graduate students. Alpha coefficients ranged from .50 to .78, with seven falling below .70, suggesting considerable caution with respect to the use of the scales in making decisions about individual clients. ” (Utvärderare 2)
– ” Modest, but meaningful correlations between HDS scores and managerial behavior ratings from an unspecified mix of subordinates, peers, and supervisors are also demonstrated. ” (Utvärderare 2)
Saville et al. (2008) har gjort en stor jämförande studie av olika kommersiella personlighetstest. De noterar att efter endast en vecka hade vid omtestning med HDS endast 8 % oförändrad profil. Det stämmer ju bra med andra resultat som har visat låg reliabilitet hos detta test.
Referenser
Fox, G. (2001). Review of the Hogan Development Survey In B. S. Plake & J. C. Impara (Eds.), The fourteenth mental measurements yearbook. Lincoln NE: Buros Institute of Mental Measurements.
Huebner, E. S. (2001). Review of the Hogan Development Survey. In B. S. Plake & J. C. Impara (Eds.), The fourteenth mental measurements yearbook. Lincoln NE: Buros Institute of Mental Measurements.
Saville, P. (2008, January). Project Epsom: How Valid Is Your Questionnaire? Phase 1: Saville Consulting Wave®, OPQ®, Hogan Personality Inventory & Development Survey, 16PF5, NEO, Thomas International DISC, MBTI and Saville Personality Questionnaire Compared in Predicting Job Performance. Paper presented at the The British Psychological Society Division of Occupational Psychology Conference: “Personality Questionnaires – Valid Inferences, False Prophecies”. För denna rapport klicka här.
De flesta personlighetstest som används svenskt arbetsliv mäter normalpersonligheten. I vissa fall som OPQ, MBTI och PPA (Thomas) har man medvetet gåt in för att ge en positiv bild av varje testad person. UPP-testet utgår från en positiv syn på människor inom normalområdet men erkänner också att det finns "subkliniska" varianter av dimensioner som passiv aggression, perfektionism och narcissism; dessa mäts med särskilda skalor. HDS tar ett mera radikalt grepp och mäter enbart sådana aspekter av "den mörka sidan". Det är viktigt att försöka sig på detta, inte minst med tanke på den aktuella diskussionen om "den mörka triaden . I en studie av HDS-data insamlade i skarpt läge fann jag:
• HDS är ett försök att mäta ett antal olika aspekter på personlighetens ”dark side”. De 11 skalorna har en 2-dimensionell struktur. De är starkt korrelerade med FFM-faktorer och skönmålning, multipla korrelationer omkring 0.40 – 0.65. Om man kontrollerar för FFM och skönmålning finns ingen tydlig struktur kvar i HDS-skalorna.
• Reliabiliteten hos delskalorna i HDS var dessutom låg, upp till 50 % av variansen var felvarians.
• Felvarians, skönmålning och "Big Five" svarade för ca 75 % av HDS-skalornas varians
I oberoende granskning (Buros-institutet, se http://www.unl.edu/buros/), av två oberoende vetenskapligt väl kvalificerade utvärderare som inte är anonyma, riktas tung kritik mot testet:
– ” All but 4 of these 11 reliability coefficients are below the minimum level of .70. ” (Utvärderare 1)
– ” The validational data relating to performance is also disappointing, both in quantity and quality. ” (Utvärderare 1)
– ” Reliability evidence is mixed. Three-month test-retest coefficients appear acceptable; however, the research sample was limited to 60 graduate students. Alpha coefficients ranged from .50 to .78, with seven falling below .70, suggesting considerable caution with respect to the use of the scales in making decisions about individual clients. ” (Utvärderare 2)
– ” Modest, but meaningful correlations between HDS scores and managerial behavior ratings from an unspecified mix of subordinates, peers, and supervisors are also demonstrated. ” (Utvärderare 2)
Saville et al. (2008) har gjort en stor jämförande studie av olika kommersiella personlighetstest. De noterar att efter endast en vecka hade vid omtestning med HDS endast 8 % oförändrad profil. Det stämmer ju bra med andra resultat som har visat låg reliabilitet hos detta test.
Referenser
Fox, G. (2001). Review of the Hogan Development Survey In B. S. Plake & J. C. Impara (Eds.), The fourteenth mental measurements yearbook. Lincoln NE: Buros Institute of Mental Measurements.
Huebner, E. S. (2001). Review of the Hogan Development Survey. In B. S. Plake & J. C. Impara (Eds.), The fourteenth mental measurements yearbook. Lincoln NE: Buros Institute of Mental Measurements.
Saville, P. (2008, January). Project Epsom: How Valid Is Your Questionnaire? Phase 1: Saville Consulting Wave®, OPQ®, Hogan Personality Inventory & Development Survey, 16PF5, NEO, Thomas International DISC, MBTI and Saville Personality Questionnaire Compared in Predicting Job Performance. Paper presented at the The British Psychological Society Division of Occupational Psychology Conference: “Personality Questionnaires – Valid Inferences, False Prophecies”. För denna rapport klicka här.
Subscribe to:
Posts (Atom)
