Begåvningstest har ofta ett bra prognosvärde för studieresultat, ett exempel finns i en rapport jag gjorde på uppdrag av Handelshögskolan i Stockholm för ganska länge sedan, men resultaten står sig nog, se rapporten här. Rapporten återger de skilda perspektiv som gällde på 1980-talet och numera. Det är slående hur viktig g-faktorn var i dessa data, och hur en enkel sammanvägning av 7 test med lika vikter var jämförbar med en multipel regressionsmodell.
Referens
Sjöberg, L. (2012). Begåvningstest vid urval av sökande till Handelshögskolan i Stockholm. Stockholm: Psykologisk Metod AB.
Sunday, June 3, 2012
Kontrollbehov ledde till avsked
I Dagens Industri den 1 juni 2012 läser jag att "Ledarstilen fick
Södras VD på fall". Ordföranden citeras: "Det har funnits ett stort
kontrollbehov".
Det är ett intressant fall, eftersom UPP-testet är ett av de få personlighetstesten (det enda?) som mäter just kontrollbehov, med en validerad och normerad skala. (Plus ett antal andra relevanta egenskaper, allt kontrollerat för skönmålning. Se denna artikel i Dagens Industri, här.) Ett stort antal chefskandidater har testats i skarpt läge och utgör en lämplig norm, men även andra normer kan användas. Se vidare om testet här.
Personlighet är i hög grad avgörande för om högt uppsatta chefer lyckas eller misslyckas, se en utmärkt översikt av Hogan m. fl. här.
Alla har inte den personlighet som krävs för ett ledarskap som måste fungera både socialt och ekonomiskt. Man kan få värdefull information om en kandidat med hjälp av test, även sådana aldrig ger ett slutgiltigt svar. Vi vet dock att vissa test knappast har något samband alls med arbetsresultat; detta gäller bl a de populära Big Five-testen, se en översikt här.
Det är ett intressant fall, eftersom UPP-testet är ett av de få personlighetstesten (det enda?) som mäter just kontrollbehov, med en validerad och normerad skala. (Plus ett antal andra relevanta egenskaper, allt kontrollerat för skönmålning. Se denna artikel i Dagens Industri, här.) Ett stort antal chefskandidater har testats i skarpt läge och utgör en lämplig norm, men även andra normer kan användas. Se vidare om testet här.
Personlighet är i hög grad avgörande för om högt uppsatta chefer lyckas eller misslyckas, se en utmärkt översikt av Hogan m. fl. här.
Alla har inte den personlighet som krävs för ett ledarskap som måste fungera både socialt och ekonomiskt. Man kan få värdefull information om en kandidat med hjälp av test, även sådana aldrig ger ett slutgiltigt svar. Vi vet dock att vissa test knappast har något samband alls med arbetsresultat; detta gäller bl a de populära Big Five-testen, se en översikt här.
Monday, May 28, 2012
Open access: Lärobok i forskningsmetodik
Mer och mer information blir gratis tillgänglig på nätet. Här är en ambitiös lärobok i forskningsmetodik som just har publicerats
klicka här.
klicka här.
Information om skönmålning kan leda till förbättrad kvalitet i testdata
Skalor för att mäta skönmålning har ofta ifrågasatts. Här är en studie som använts sådana skalor för att besluta om omtestning, som befanns ge mera rättvisande resultat.
Self-report personality questionnaires often contain validity scales designed to flag individuals who intentionally distort their responses toward a more favorable characterization of themselves. Yet, there are no clear directives on how scores on these scales should be used by administrators when making high-stakes decisions about respondents. Two studies were conducted to investigate whether administrator-initiated retesting of flagged individuals represents a viable response to managing intentional distortion on personality questionnaires. We explored the effectiveness of retesting by considering whether retest responses are more accurate representations of a flagged individual's personality characteristics. A comparison of retest scores to a baseline measure of personality indicated that such scores were more accurate. Retesting should only work as a strategy for dealing with intentional distortion when individuals choose to respond more accurately the second time. Thus, we further explored the emotional reaction to being asked to retest as one possible explanation of why individuals who engage in intentional distortion respond more accurately upon retest.
Referens
Ellingson, J. E., Heggestad, E. D., & Makarius, E. E. (2012). Personality retesting for managing intentional distortion. [doi:10.1037/a0027327]. Journal of Personality and Social Psychology, 102, 1063-1076.
Friday, April 13, 2012
Ledarskap och personlighetens mörka sida
Harms et al. (2011) har publicerat ett mycket ambitiöst försök att validera HDS-testet mot ledarskap i det militära. Det är ett av mycket få arbeten som har försökt validera HDS. Se den utmärkta litteraturgenomgången i artikeln.
Officerskadetter följdes under 4 års utbildning där deras ledarförmåga bedömdes varje år. Data på HDS samlades in och relaterades (korrelationer) till ledarskap och utvecklingen av ledarskap.
HDS är ett test som ofta används, även i Sverige, för att mäta den mörka sidan, dvs kliniska eller subkliniska syndrom av typ av passiv aggression. Det är alltså inte utpräglade kliniska problem som mäts, utan tendenser till sådana, som kan vara av varierande styrka. Det är definitivt dimensioner bortom Big Five som det handlar om, men tyvärr tog Harms et al. inte in data på Big Five, inte heller försökte de studera skönmålning, som givetvis är viktig i HDS, som i alla självrapporttest.
De 11 HDS-skalorna bör alla vara negativt relaterade till ledarförmåga, om testet lyckas mäta det som det avser att mäta. Hur blev det?
Enskilda skalor hade svaga samband med ledarskap. 7 av de 11 skalorna hade inga samband alls med kriterierna. I övriga 4 fall fanns en tendens till negativa samband men för vissa skalor blev sambanden positiva. Kanske berodde sådana resultat på att de negativa effekter kommer först på längre sikt, säger författarna, men det är ju bara en spekulation så länge inga sådana data finns. Det kan dock ligga något i denna misstanke eftersom en metaanalys fann tydliga samband mellan narcissism, Machiavellianism och kontraproduktivt beteende bland icke-ledare (O'Boyle et al., 2011). Mönstret av samband mellan subkliniska tendenser och ledarskap ger emellertid inget stöd åt att använda HDS för att mäta den mörka sidan som det var tänkt. Nedanstående tabell som bygger på deras publicerade resultat ger detaljer.
Harms et al. lyckades visa ganska höga samband mellan ledarskap och HDS i multipla regressionsanalyser, ca 15 % förklarad varians, motsvarande en multipel korrelation omkring 0.4. Detta är intressant men för praktikern tämligen lite användbart. Analysen tar ju fram vikter som kan vara negativa eller positiva och den prognos av ledarskap man tvingas göra måste grundas på en ad hoc-modell som inte stämmer med teorin och som är bara delvis psykologiskt begriplig. Vikterna är på ett komplicerat sätt beroende av hela mönstret av korrelationer. Fältet öppnas för spekulationer vilkas värde för prognoser är okänt och tveksamt. Vi ställs inför frågan om validiteten av subjektiva bedömningar utifrån testdata eller andra kvantitativa data och sådana bedömningar är väl studerade inom många områden, med svaga resultat.
HDS är ett kreativt pionjärarbete men tycks ha kommit till utbredd praktisk användning alldeles för tidigt. Det behövs mera empirisk forskning och teoretisk analys av personlighetens mörka sida och ledarskap och andra arbetsrelevanta dimensioner. Som det ser ut nu tycks det praktiska värdet vara svagt.
Referenser
Dawes, R. M., Faust, D., & Meehl, P. E. (1989). Clinical versus actuarial judgment. Science, 243, 1668-1674.
Grove, W. M., & Meehl, P. E. (1996). Comparative efficiency of informal (subjective, impressionistic) and formal (mechanical, algorithmic) prediction procedures: The clinical-statistical controversy. Psychology, Public Policy, and Law, 2, 293-323.
Harms, P. D., Spain, S. M., & Hannah, S. T. (2011). Leader development and the dark side of personality. [doi:10.1016/j.leaqua.2011.04.007]. The Leadership Quarterly, 22(3), 495-509.
O'Boyle Jr, E. H., Forsyth, D. R., Banks, G. C., & McDaniel, M. A. (2011). A meta-analysis of the dark triad and work behavior: A social exchange perspective. [doi:10.1037/a0025679]. Journal of Applied Psychology, No Pagination Specified.
Officerskadetter följdes under 4 års utbildning där deras ledarförmåga bedömdes varje år. Data på HDS samlades in och relaterades (korrelationer) till ledarskap och utvecklingen av ledarskap.
HDS är ett test som ofta används, även i Sverige, för att mäta den mörka sidan, dvs kliniska eller subkliniska syndrom av typ av passiv aggression. Det är alltså inte utpräglade kliniska problem som mäts, utan tendenser till sådana, som kan vara av varierande styrka. Det är definitivt dimensioner bortom Big Five som det handlar om, men tyvärr tog Harms et al. inte in data på Big Five, inte heller försökte de studera skönmålning, som givetvis är viktig i HDS, som i alla självrapporttest.
De 11 HDS-skalorna bör alla vara negativt relaterade till ledarförmåga, om testet lyckas mäta det som det avser att mäta. Hur blev det?
Enskilda skalor hade svaga samband med ledarskap. 7 av de 11 skalorna hade inga samband alls med kriterierna. I övriga 4 fall fanns en tendens till negativa samband men för vissa skalor blev sambanden positiva. Kanske berodde sådana resultat på att de negativa effekter kommer först på längre sikt, säger författarna, men det är ju bara en spekulation så länge inga sådana data finns. Det kan dock ligga något i denna misstanke eftersom en metaanalys fann tydliga samband mellan narcissism, Machiavellianism och kontraproduktivt beteende bland icke-ledare (O'Boyle et al., 2011). Mönstret av samband mellan subkliniska tendenser och ledarskap ger emellertid inget stöd åt att använda HDS för att mäta den mörka sidan som det var tänkt. Nedanstående tabell som bygger på deras publicerade resultat ger detaljer.
| Korrelationer mellan HDS-skalor och ledarskap i amerikanska armén, Harms et al. (2011), 12 kriterier med likartade trender | ||
| Kliniskt begrepp (DSM-IV) | Innehåll | Korrelation i genomsnitt |
| Borderline | Lynnig och socialt inkonsistent | -0.03 |
| Paranoid | Skeptisk, misstänksam | -0.18 |
| Avoidant | Negativ till förändringar | 0.08 |
| Schizoid | Tillbakadragen, förstår ej andra | -0.03 |
| Passive-aggressive | Självgående, ignorerar andras krav | -0.04 |
| Narcissistic | Har extrem självuppskattning, tål ej kritik | 0.06 |
| Antisocial | Tycker om att ta risker och testa gränser | -0.08 |
| Histrionic | Dramatisk, vill bli uppmärksammad | 0.06 |
| Schizotypal | Visar ovanligt tänkande, ibland kreativ | -0.23 |
| Obsessive-compulsive | Mycket noggrann och kritisk | 0.16 |
| Dependent | Vill vara till lags, beroende av andras uppskattning | 0.16 |
Harms et al. lyckades visa ganska höga samband mellan ledarskap och HDS i multipla regressionsanalyser, ca 15 % förklarad varians, motsvarande en multipel korrelation omkring 0.4. Detta är intressant men för praktikern tämligen lite användbart. Analysen tar ju fram vikter som kan vara negativa eller positiva och den prognos av ledarskap man tvingas göra måste grundas på en ad hoc-modell som inte stämmer med teorin och som är bara delvis psykologiskt begriplig. Vikterna är på ett komplicerat sätt beroende av hela mönstret av korrelationer. Fältet öppnas för spekulationer vilkas värde för prognoser är okänt och tveksamt. Vi ställs inför frågan om validiteten av subjektiva bedömningar utifrån testdata eller andra kvantitativa data och sådana bedömningar är väl studerade inom många områden, med svaga resultat.
HDS är ett kreativt pionjärarbete men tycks ha kommit till utbredd praktisk användning alldeles för tidigt. Det behövs mera empirisk forskning och teoretisk analys av personlighetens mörka sida och ledarskap och andra arbetsrelevanta dimensioner. Som det ser ut nu tycks det praktiska värdet vara svagt.
Referenser
Dawes, R. M., Faust, D., & Meehl, P. E. (1989). Clinical versus actuarial judgment. Science, 243, 1668-1674.
Grove, W. M., & Meehl, P. E. (1996). Comparative efficiency of informal (subjective, impressionistic) and formal (mechanical, algorithmic) prediction procedures: The clinical-statistical controversy. Psychology, Public Policy, and Law, 2, 293-323.
Harms, P. D., Spain, S. M., & Hannah, S. T. (2011). Leader development and the dark side of personality. [doi:10.1016/j.leaqua.2011.04.007]. The Leadership Quarterly, 22(3), 495-509.
O'Boyle Jr, E. H., Forsyth, D. R., Banks, G. C., & McDaniel, M. A. (2011). A meta-analysis of the dark triad and work behavior: A social exchange perspective. [doi:10.1037/a0025679]. Journal of Applied Psychology, No Pagination Specified.
Thursday, April 5, 2012
Work samples
Det är en spridd uppfattning att arbetsprov är den bästa prediktorn för arbetsresultat. Se emellertid en kritisk artikel av Roth et al, som skriver i sin sammanfattning:
"Work sample tests have been used in applied psychology for decades as important predictors of job performance, and they have been suggested to be among the most valid predictors of job performance. As we examined classic work sample literature, we found the narrative review by Asher and Sciarrino (1974) to be plagued by many methodological problems. Further, it is possible that data used in this study may have influenced the results (e.g., r = .54) reported by Hunter and Hunter in their seminal work in 1984. After integrating all of the relevant data, we found an observed mean correlation between work sample tests and measures of job performance of .26. This value increased to .33 when measures of job performance (e.g., supervisory ratings) were corrected for attenuation. Our results suggest that the level of the validity for work sample tests may not be as large as previously thought (i.e., approximately one third less than previously thought). Further, our work also summarizes the relationship of work sample exams to measures of general cognitive ability. We found that work sample tests were associated with an observed correlation of .32 with tests of general cognitive ability."
Arbetsprov tycks alltså i snitt ha en validitet på samma, ganska blygsamma, nivå som vanliga personlighetstest, omkring 0.3. Kanske kan de ge tillskott utöver sådana test, men bättre är nog att använda ett mera effektivt test, som ju finns. Arbetsprov tar dessutom tid och kostar mycket mera än test.
Referens
Roth, P. L., Bobko, P., & McFarland, L. A. (2005). A meta-analysis of work sample test validity: Updating and integrating some classic literature. [doi:10.1111/j.1744-6570.2005.00714.x]. Personnel Psychology, 58(4), 1009-1037
"Work sample tests have been used in applied psychology for decades as important predictors of job performance, and they have been suggested to be among the most valid predictors of job performance. As we examined classic work sample literature, we found the narrative review by Asher and Sciarrino (1974) to be plagued by many methodological problems. Further, it is possible that data used in this study may have influenced the results (e.g., r = .54) reported by Hunter and Hunter in their seminal work in 1984. After integrating all of the relevant data, we found an observed mean correlation between work sample tests and measures of job performance of .26. This value increased to .33 when measures of job performance (e.g., supervisory ratings) were corrected for attenuation. Our results suggest that the level of the validity for work sample tests may not be as large as previously thought (i.e., approximately one third less than previously thought). Further, our work also summarizes the relationship of work sample exams to measures of general cognitive ability. We found that work sample tests were associated with an observed correlation of .32 with tests of general cognitive ability."
Arbetsprov tycks alltså i snitt ha en validitet på samma, ganska blygsamma, nivå som vanliga personlighetstest, omkring 0.3. Kanske kan de ge tillskott utöver sådana test, men bättre är nog att använda ett mera effektivt test, som ju finns. Arbetsprov tar dessutom tid och kostar mycket mera än test.
Referens
Roth, P. L., Bobko, P., & McFarland, L. A. (2005). A meta-analysis of work sample test validity: Updating and integrating some classic literature. [doi:10.1111/j.1744-6570.2005.00714.x]. Personnel Psychology, 58(4), 1009-1037
Thursday, March 8, 2012
Jämförelse mellan sökande och antagna
I denna rapport beskrivs analyser av data från UPP-testningar med sökande och antagna till officersutbildning vid Försvarshögskolan. Sökande jämfördes med antagna med avseende på skönmålning. Skillnaden i skönmålning var mycket stor (de sökande skönmålade mycket mera), och det också skillnaden i sådana testdimensioner som emotionell stabilitet och positiv attityd. Jämfört med normdata gav både sökande och antagna högre värden i skönmålning. Efter korrektion av testdata för skönmålning kvarstod inga signifikanta eller i övrigt nämnvärda skillnader. Dessa resultat stödjer den i UPP-testet använda modellen för korrektion för skönmålning. Det visade sig också att korrektionen gav testresultat som inte var positivt snedfördelade med många värden i den högre delen av skalan, vilket var fallet med okorrigerade data, samt att rangordningen av sökande skilde sig starkt beroende på om testdata korrigerades eller ej. Läs rapporten här.
Referens
Sjöberg, L. (2012). Skönmålning på ett personlighetstest bland sökande och antagna till officersutbildning. Rapport 2012:1. Stockholm: Psykologisk Metod AB.
Sjöberg, L. (2012). Skönmålning på ett personlighetstest bland sökande och antagna till officersutbildning. Rapport 2012:1. Stockholm: Psykologisk Metod AB.
Subscribe to:
Posts (Atom)
