Det tycks vara en vanlig uppfattning bland arbetspsykologer att personlighet bara har en svag korrelation med arbetsresultat, medan däremot begåvning har stor betydelse. Det är en myt, som troligen har sin upprinnelse i en mycket ofta åberopad meta-analys av Schmidt och Hunter (1988).Påståendet om betydelsen av begåvning är väl underbyggt av empiriska resultat, men inte delen om personlighet.
Schmidt och Hunter skriver nämligen inte om test utan om - endast en - personlighetsdimension: noggrannhet. Det är helt riktigt att denna dimension, som fungerar bäst av Big Five enligt många meta-analyser, bara har en korrelation på ca 0.25 med arbetsresultat (något högre med utbildningsresultat). Men det betyder inte att personlighetstest har lika svag prognoskraft. Självrapporttest med fokuserade testskalor kan läggas till grund för index som når en validitet på 0.5+, vilket är nästan lika högt som begåvning (Sjöberg, 2010). (Siffran gäller efter korrektion för mätfel i kriteriet och begränsning av variationen i testet).
Big Five-test kan emellertid inte nå denna nivå så länge de håller sig till de övergripande fem faktorerna. En studie av ledarskap av Judge et al. (2002) tycks stöda Big Five, men deras slutsatser bygger på att de använt meta-analytiska uppskattningar av korrelationerna mellan Big Five-skalorna, som sedan starkt ifrågasatts (de är alldeles för låga).
Givetvis är det ofta lämpligt att använda personlighets- och begåvningstester parallellt. Men hur ska de i så fall vägas samman? Det finns inga stöd i data för en kraftigt större vikt för begåvning. Kanske bör de få ungefär lika vikt. Men det är inte säkert att man vill kompensera svagheter på personlighetssidan, t ex låg emotionell stabilitet, med hög intelligens när man väljer chefer. Det verkar inte ens troligt att så skulle vara fallet. En bättre lösning är då troligen att arbeta med minimikrav i båda avseendena, men utformningen av beslutsregler kräver i så fall mera forskning. För personer som uppfyller minimikraven i fråga om både personlighet och begåvning kan en kompensatorisk sammanvägning vara lämplig.
Detta har handlat om självrapporttest för personlighet. Dessa upplevs "ligga på ytan" och man vill ofta gå under ytan för att upptäcka eventuella brister som gränsar till psykopatologi. Då används projektiva test som Rorschach, Hjuletmetoden och DMT, men dessa har aldrig kunnat övertygande dokumenteras som prognosfaktorer i arbetslivet. Däremot finns tydliga resultat som länkar självrapporttest till kliniska syndrom och missbruksproblematik (Kotov et al., 2010). Troligen kan man nå ännu längre också här genom att arbeta med fokuserade - och inte alltför abstrakta och spekulativa/fantasifulla - skalor av typ narcissism och social rädsla. Sådana lösningar finns idag operationella och är att föredra framför teoretiskt grundade och abstrakta dimensioner. Teoretisk grund låter bra, men det måste vara bra teorier. Annars leds psykologen ut i en ökenvandring. .
Referenser
Judge, T. A., Bono, J. E., Ilies, R., & Gerhardt, M. W. (2002). Personality and leadership: A qualitative and quantitative review. Journal of Applied Psychology, 87(4), 765-780.
Kotov, R., Gamez, W., Schmidt, F., & Watson, D. (2010). Linking “big” personality traits to anxiety, depressive, and substance use disorders: A meta-analysis. [doi:10.1037/a0020327]. Psychological Bulletin, 136(5), 768-821.
Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124, 262-274.
Sjöberg, L. (2010 a). A third generation personality test (SSE/EFI Working Paper Series in Business Administration No. 2010:3). Stockholm: Stockholm School of Economics.
Sjöberg, L. (2010 b). Personlighetsdimensioners validitet i arbetslivet: teorier och empiri (SSE/EFI Working Paper Series in Business Administration No. 2010:6). Stockholm: Stockholm School of Economics.
Friday, January 28, 2011
Sunday, January 16, 2011
"Psychosocial fitness" enligt amerikanska armén: GAT-testet
Den amerikanska armén arbetar med ett nytt och stort upplagt program för att utvärdera och utveckla soldaters "fitness", varmed kan förstås "lämplighet". När det gäller utvärdering har de tagit fram ett självrapport-instrument som ganska mycket liknar ett vanligt personlighetstest, men som har vissa skillnader från ett sådant, se Paterson et al.(2011). Bakgrunden är positiv psykologi och någonstans i tänkandet finns observationen att det är lättare att göra en prognos av klart misslyckande än av stor framgång. Intressant.
Paterson et al. diskuterar inte alls personlighetstestning och nämner inte ens "Big Five" och all valideringsforskning som fyllt tidskrifterna de senaste 20 åren. Ganska märkligt.
Deras eget test mäter en del välbekanta dimensioner, men i två avseenden blir man rejält nyfiken: "andlig lämplighet" och "karaktärsstyrkor". Den andliga lämpligheten tycks handla om sådant som att uppleva en mening med livet och sägs vara konfessionellt neutral. Karaktärsstyrkorna är:
Vishet
Mod
Medmänsklighet
Rättvisa
Måttlighet
"Transcendence" (svårt att förstå vad de menar, kan betyda översinnlighet eller överlägsen funktion)
Hur mäter man sådant som "mod" och "vishet"? Mod tycks onekligen testkonstruktörerna ha visat...
Frågan är om dessa dimensioner har validitet i förhållande till kriterier som de nämner: depression, missbruk mm, och livskvalitet. De nämner ytterst lite om vilka resultat de fått i det avseendet. Som personlighetstestare är man ju något luttrad när det gäller värdet av diverse i början löftesrika nya dimensioner. Man kan ju också undra om inte valet av kriterier bör göras bredare. Vidare kan konstateras at de är medvetna om problemet med skönmålning men som så många andra går de över det med lätt hand. Datakvalitet, "face validity" och emotionella aspekter på testningen tar de inte alls upp. Inte heller tycks de planera att undersöka om deras test ger något tillskott till befintliga test.
Det ska bli spännande att se hur detta nya test kommer att utvecklas och om det kommer att användas i stor skala. Det senare har ju redan påbörjats och resurserna är förstås gigantiska.Vi kommer att få höra mycket om GAT.
Referens
Peterson, C., Park, N., & Castro, C. A. (2011). Assessment for the U.S. Army Comprehensive Soldier Fitness program: The Global Assessment Tool. American Psychologist, 66(1), 10-18.
Paterson et al. diskuterar inte alls personlighetstestning och nämner inte ens "Big Five" och all valideringsforskning som fyllt tidskrifterna de senaste 20 åren. Ganska märkligt.
Deras eget test mäter en del välbekanta dimensioner, men i två avseenden blir man rejält nyfiken: "andlig lämplighet" och "karaktärsstyrkor". Den andliga lämpligheten tycks handla om sådant som att uppleva en mening med livet och sägs vara konfessionellt neutral. Karaktärsstyrkorna är:
Vishet
Mod
Medmänsklighet
Rättvisa
Måttlighet
"Transcendence" (svårt att förstå vad de menar, kan betyda översinnlighet eller överlägsen funktion)
Hur mäter man sådant som "mod" och "vishet"? Mod tycks onekligen testkonstruktörerna ha visat...
Frågan är om dessa dimensioner har validitet i förhållande till kriterier som de nämner: depression, missbruk mm, och livskvalitet. De nämner ytterst lite om vilka resultat de fått i det avseendet. Som personlighetstestare är man ju något luttrad när det gäller värdet av diverse i början löftesrika nya dimensioner. Man kan ju också undra om inte valet av kriterier bör göras bredare. Vidare kan konstateras at de är medvetna om problemet med skönmålning men som så många andra går de över det med lätt hand. Datakvalitet, "face validity" och emotionella aspekter på testningen tar de inte alls upp. Inte heller tycks de planera att undersöka om deras test ger något tillskott till befintliga test.
Det ska bli spännande att se hur detta nya test kommer att utvecklas och om det kommer att användas i stor skala. Det senare har ju redan påbörjats och resurserna är förstås gigantiska.Vi kommer att få höra mycket om GAT.
Referens
Peterson, C., Park, N., & Castro, C. A. (2011). Assessment for the U.S. Army Comprehensive Soldier Fitness program: The Global Assessment Tool. American Psychologist, 66(1), 10-18.
Friday, January 7, 2011
Normgrupper
Hur stor måste en normgrupp för ett personlighetstest vara? Många testproducenter rapporterar mycket stora, kanske t o m representativa för populationen, grupper. En noggrann diskussion av frågan kom först nyligen med ett arbete av Tett et al. De finner att normgrupper knappast behöver vara större än N=300 och att även ett så lågt värde som N=100 ger tillfredsställande precision.
Andra överväganden än storleken är lika viktiga, eller viktigare. Normdata bör komma från en relevant jämförelsegrupp, t ex chefer eller chefskandidater. Vid testanvändning för urval ska normdata samlas in i skarpt läge, vid rådgivning och utveckling i oskarpt läge. Normer kan t o m behöva vara helt lokala, t ex för att visst företag. I normalfallet bör man utveckla nya och mera precisa normdata allt eftersom erfarenheten av ett test växer när det tillämpas i praktisk verksamhet.
Tett et al. har gjort en viktig insats. Alla testutvecklare har givetvis känt till att man måste ha en normgrupp, men hur stor den måste vara har varit oklart. Kravet på stora grupper har troligen verkat hämmande på utvecklingen och användningen av nya, specialanpassade normer.
Referens
Tett, R. P., Fitzke, J. R., Wadlington, P. L., Davies, S. A., Anderson, M. G., & Foster, J. (2009). The use of personality test norms in work settings: Effects of sample size and relevance. Journal of Occupational and Organizational Psychology, 82(3), 639-659.
Andra överväganden än storleken är lika viktiga, eller viktigare. Normdata bör komma från en relevant jämförelsegrupp, t ex chefer eller chefskandidater. Vid testanvändning för urval ska normdata samlas in i skarpt läge, vid rådgivning och utveckling i oskarpt läge. Normer kan t o m behöva vara helt lokala, t ex för att visst företag. I normalfallet bör man utveckla nya och mera precisa normdata allt eftersom erfarenheten av ett test växer när det tillämpas i praktisk verksamhet.
Tett et al. har gjort en viktig insats. Alla testutvecklare har givetvis känt till att man måste ha en normgrupp, men hur stor den måste vara har varit oklart. Kravet på stora grupper har troligen verkat hämmande på utvecklingen och användningen av nya, specialanpassade normer.
Referens
Tett, R. P., Fitzke, J. R., Wadlington, P. L., Davies, S. A., Anderson, M. G., & Foster, J. (2009). The use of personality test norms in work settings: Effects of sample size and relevance. Journal of Occupational and Organizational Psychology, 82(3), 639-659.
Thursday, January 6, 2011
Meta-analysens risker
Meta-analyser är numera mycket vanliga och åbropas ofta som stöd i jakten på evidens, t ex för psykologiska tester. Detta är i stort sett sunt, men det har sina risker. Som exempel tar jag en aktuell och mycket ambitiös genomgång av forskningen kring personlighet och militär flygutbildning, se referens nedan.
Campbell et al. försöker ge en heltäckande bild av området. Kan personlighetsvariabler predicera utfallet av militär flygutbildning? De finner att bara ett fåtal variabler har studerats i tillräckliga många publikationer. Det är främst extraversion och neuroticism som det handlar om. Båda har i snitt en svag men tydlig korrelation med kriteriet godkänd/icke godkänd, på nivån 0.10 - 0.20. Det är jämförbart med meta-analyser av femfaktormodellen inom andra områden, kanske något lägre. Campbell et al. är försiktiga när det gäller slutsatser för praktisk urvalsverksamhet, men säger att mera reliabla (läs längre) tester skulle kunna vara av värde, och det är allt! De menar också att inkluderande av mått på skönmålning kanske skulle kunna höja validiteten men citerar inga resultat i det avseendet.
Vad de därremot inte tar upp är att frågan om tester till skillnad från dimensioner. Tester mäter oftast många dimensioner och dessa sammanvägs när man försöker göra prognoser. Givetvis är det relevant att undersöka validiteten hos enskilda dimensioner, men det säger ganska lite om hur bra dessa dimensioner är i praktiskt arbete. Meta-analyser inbjuder till en simplistisk analysnivå av den typ som Campbell et al. ger ett bra exempel på. Tester är troligen betydligt bättre än vad Campbell et al. ger intryck av, om man använder dem för att bilda relevanta index som består av flera dimensioner. I valideringsarbete måste man undersöka värdet av index för att inte hamna i helt missvisande slutsatser. Campbell et al. hade troligen inte som syfte att undersöka validiteten hos tester, men läser man denna typ av meta-analys utan eftertanke missar man lätt distinktionen mellan tester och dimensioner.
Detta tror jag är den största risken med meta-ananlys inom området. En annan risk är att innovationers genomslag - i sig en långsam process - bromsas upp. Det tar mycket lång tid innan en ny idé har lett till tillräckligt många publikationer för att kunna läggas till grund för en meta-analys, troligen minst 10 år. och sedan tar det ytterligare några år innan analysen kommer i tryck. Ett,. kanske extremt, exempel är det svenska DMT, som funnits sedan 60-talet och använts i praktiskt arbete nästan lika länge. Campbell et al. nämner faktiskt DMT (som de tror är ett norskt test!) men går förbi detta och andra projektiva tester utan motivering. DMT anses av ganska många psykologer ha stort praktiskt värde och borde diskuteras i sammanhanget, de ganska få studier som finns har gett en splittrad bild som är ganska förvirrande. Kanske kom den forskningen inte med därför att den är för lite omfattande, ännu efter 40 år...
Referens
Campbell, J. S., Castaneda, M., & Pulos, S. (2010). Meta-analysis of personality assessments as predictors of military aviation training success. International Journal of Aviation Psychology, 20(1), 92-109.
Campbell et al. försöker ge en heltäckande bild av området. Kan personlighetsvariabler predicera utfallet av militär flygutbildning? De finner att bara ett fåtal variabler har studerats i tillräckliga många publikationer. Det är främst extraversion och neuroticism som det handlar om. Båda har i snitt en svag men tydlig korrelation med kriteriet godkänd/icke godkänd, på nivån 0.10 - 0.20. Det är jämförbart med meta-analyser av femfaktormodellen inom andra områden, kanske något lägre. Campbell et al. är försiktiga när det gäller slutsatser för praktisk urvalsverksamhet, men säger att mera reliabla (läs längre) tester skulle kunna vara av värde, och det är allt! De menar också att inkluderande av mått på skönmålning kanske skulle kunna höja validiteten men citerar inga resultat i det avseendet.
Vad de därremot inte tar upp är att frågan om tester till skillnad från dimensioner. Tester mäter oftast många dimensioner och dessa sammanvägs när man försöker göra prognoser. Givetvis är det relevant att undersöka validiteten hos enskilda dimensioner, men det säger ganska lite om hur bra dessa dimensioner är i praktiskt arbete. Meta-analyser inbjuder till en simplistisk analysnivå av den typ som Campbell et al. ger ett bra exempel på. Tester är troligen betydligt bättre än vad Campbell et al. ger intryck av, om man använder dem för att bilda relevanta index som består av flera dimensioner. I valideringsarbete måste man undersöka värdet av index för att inte hamna i helt missvisande slutsatser. Campbell et al. hade troligen inte som syfte att undersöka validiteten hos tester, men läser man denna typ av meta-analys utan eftertanke missar man lätt distinktionen mellan tester och dimensioner.
Detta tror jag är den största risken med meta-ananlys inom området. En annan risk är att innovationers genomslag - i sig en långsam process - bromsas upp. Det tar mycket lång tid innan en ny idé har lett till tillräckligt många publikationer för att kunna läggas till grund för en meta-analys, troligen minst 10 år. och sedan tar det ytterligare några år innan analysen kommer i tryck. Ett,. kanske extremt, exempel är det svenska DMT, som funnits sedan 60-talet och använts i praktiskt arbete nästan lika länge. Campbell et al. nämner faktiskt DMT (som de tror är ett norskt test!) men går förbi detta och andra projektiva tester utan motivering. DMT anses av ganska många psykologer ha stort praktiskt värde och borde diskuteras i sammanhanget, de ganska få studier som finns har gett en splittrad bild som är ganska förvirrande. Kanske kom den forskningen inte med därför att den är för lite omfattande, ännu efter 40 år...
Referens
Campbell, J. S., Castaneda, M., & Pulos, S. (2010). Meta-analysis of personality assessments as predictors of military aviation training success. International Journal of Aviation Psychology, 20(1), 92-109.
Subscribe to:
Posts (Atom)
