Sidor

Friday, January 28, 2011

Personlighet och begåvning som prognosfaktorer

Det tycks vara en vanlig uppfattning bland arbetspsykologer att personlighet bara har en svag korrelation med arbetsresultat, medan däremot begåvning har stor betydelse. Det är en myt, som troligen har sin upprinnelse i en mycket ofta åberopad meta-analys av Schmidt och Hunter (1988).Påståendet om betydelsen av begåvning är väl underbyggt av empiriska resultat, men inte delen om personlighet.

Schmidt och Hunter skriver nämligen inte om test utan om - endast en - personlighetsdimension: noggrannhet. Det är helt riktigt att denna dimension, som fungerar bäst av Big Five enligt många meta-analyser, bara har en korrelation på ca 0.25 med arbetsresultat (något högre med utbildningsresultat). Men det betyder inte att personlighetstest har lika svag prognoskraft. Självrapporttest med fokuserade testskalor kan läggas till grund för index som når en validitet på 0.5+, vilket är nästan lika högt som begåvning (Sjöberg, 2010). (Siffran gäller efter korrektion för mätfel i kriteriet och begränsning av variationen i testet).

Big Five-test kan emellertid inte nå denna nivå så länge de håller sig till de övergripande fem faktorerna. En studie av ledarskap av Judge et al. (2002) tycks stöda Big Five, men deras slutsatser bygger på att de använt meta-analytiska uppskattningar av korrelationerna mellan Big Five-skalorna, som sedan starkt ifrågasatts (de är alldeles för låga).

Givetvis är det ofta lämpligt att använda personlighets- och begåvningstester parallellt. Men hur ska de i så fall vägas samman? Det finns inga stöd i data för en kraftigt större vikt för begåvning. Kanske bör de få ungefär lika vikt. Men det är inte säkert att man vill kompensera svagheter på personlighetssidan, t ex låg emotionell stabilitet, med hög intelligens när man väljer chefer. Det verkar inte ens troligt att så skulle vara fallet. En bättre lösning är då troligen att arbeta med minimikrav i båda avseendena, men utformningen av beslutsregler kräver i så fall mera forskning. För personer som uppfyller minimikraven i fråga om både personlighet och begåvning kan en kompensatorisk sammanvägning vara lämplig.

Detta har handlat om självrapporttest för personlighet. Dessa upplevs "ligga på ytan" och man vill ofta gå under ytan för att upptäcka eventuella brister som gränsar till psykopatologi. Då används projektiva test som Rorschach, Hjuletmetoden och DMT, men dessa har aldrig kunnat övertygande dokumenteras som prognosfaktorer i arbetslivet. Däremot finns tydliga resultat som länkar självrapporttest till kliniska syndrom och missbruksproblematik (Kotov et al., 2010). Troligen kan man nå ännu längre också här genom att arbeta med fokuserade - och inte alltför abstrakta och spekulativa/fantasifulla - skalor av typ narcissism och social rädsla. Sådana lösningar finns idag operationella och är att föredra framför teoretiskt grundade och abstrakta dimensioner. Teoretisk grund låter bra, men det måste vara bra teorier. Annars leds psykologen ut i en ökenvandring. .


Referenser

Judge, T. A., Bono, J. E., Ilies, R., & Gerhardt, M. W. (2002). Personality and leadership: A qualitative and quantitative review. Journal of Applied Psychology, 87(4), 765-780.


Kotov, R., Gamez, W., Schmidt, F., & Watson, D. (2010). Linking “big” personality traits to anxiety, depressive, and substance use disorders: A meta-analysis. [doi:10.1037/a0020327]. Psychological Bulletin, 136(5), 768-821.

Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124, 262-274.

Sjöberg, L. (2010 a). A third generation personality test (SSE/EFI Working Paper Series in Business Administration No. 2010:3). Stockholm: Stockholm School of Economics.

Sjöberg, L. (2010 b). Personlighetsdimensioners validitet i arbetslivet: teorier och empiri (SSE/EFI Working Paper Series in Business Administration No. 2010:6). Stockholm: Stockholm School of Economics.

Sunday, January 16, 2011

"Psychosocial fitness" enligt amerikanska armén: GAT-testet

Den amerikanska armén arbetar med ett nytt och stort upplagt program för att utvärdera och utveckla soldaters "fitness", varmed kan förstås "lämplighet". När det gäller utvärdering har de tagit fram ett självrapport-instrument som ganska mycket liknar ett vanligt personlighetstest, men som har vissa skillnader från ett sådant, se Paterson et al.(2011). Bakgrunden är positiv psykologi och någonstans i tänkandet finns observationen att det är lättare att göra en prognos av klart misslyckande än av stor framgång. Intressant.

Paterson et al. diskuterar inte alls personlighetstestning och nämner inte ens "Big Five" och all valideringsforskning som fyllt tidskrifterna de senaste 20 åren. Ganska märkligt.

Deras eget test mäter en del välbekanta dimensioner, men i två avseenden blir man rejält nyfiken: "andlig lämplighet" och "karaktärsstyrkor". Den andliga lämpligheten tycks handla om sådant som att uppleva en mening med livet och sägs vara konfessionellt neutral. Karaktärsstyrkorna är:

Vishet
Mod
Medmänsklighet
Rättvisa
Måttlighet
"Transcendence" (svårt att förstå vad de menar, kan betyda översinnlighet eller överlägsen funktion)

Hur mäter man sådant som "mod" och "vishet"? Mod tycks onekligen testkonstruktörerna ha visat...

Frågan är om dessa dimensioner har validitet i förhållande till kriterier som de nämner: depression, missbruk mm, och livskvalitet. De nämner ytterst lite om vilka resultat de fått i det avseendet. Som personlighetstestare är man ju  något luttrad när det gäller värdet av diverse i början löftesrika nya dimensioner. Man kan ju också undra om inte valet av kriterier bör göras bredare. Vidare kan konstateras at de är medvetna om problemet med skönmålning men som så många andra går de över det med lätt hand. Datakvalitet, "face validity" och emotionella aspekter på testningen tar de inte alls upp. Inte heller tycks de planera att undersöka om deras test ger något tillskott till befintliga test.

Det ska bli spännande att se hur detta nya test kommer att utvecklas och om det kommer att användas i stor skala. Det senare har ju redan påbörjats och resurserna är förstås gigantiska.Vi kommer att få höra mycket om GAT.



Referens

Peterson, C., Park, N., & Castro, C. A. (2011). Assessment for the U.S. Army Comprehensive Soldier Fitness program: The Global Assessment Tool. American Psychologist, 66(1), 10-18.

Friday, January 7, 2011

Normgrupper

Hur stor måste en normgrupp för ett personlighetstest vara? Många testproducenter rapporterar mycket stora, kanske t o m representativa för populationen, grupper. En noggrann diskussion av frågan kom först nyligen med ett arbete av Tett et al. De finner att normgrupper knappast behöver vara större än N=300 och att även ett så lågt värde som N=100 ger tillfredsställande precision.

Andra överväganden än storleken är lika viktiga, eller viktigare. Normdata bör komma från en relevant jämförelsegrupp, t ex chefer eller chefskandidater. Vid testanvändning för urval ska normdata samlas in i skarpt läge, vid rådgivning och utveckling i oskarpt läge. Normer kan t o m behöva vara helt lokala, t ex för att visst företag. I normalfallet bör man utveckla nya och mera precisa normdata allt eftersom erfarenheten av ett test växer när det tillämpas i praktisk verksamhet.

Tett et al. har gjort en viktig insats. Alla testutvecklare har givetvis känt till att man måste ha en normgrupp, men hur stor den måste vara har varit oklart. Kravet på stora grupper har troligen verkat hämmande på utvecklingen och användningen av nya, specialanpassade normer.


Referens

Tett, R. P., Fitzke, J. R., Wadlington, P. L., Davies, S. A., Anderson, M. G., & Foster, J. (2009). The use of personality test norms in work settings: Effects of sample size and relevance. Journal of Occupational and Organizational Psychology, 82(3), 639-659.

Thursday, January 6, 2011

Meta-analysens risker

Meta-analyser är numera mycket vanliga och åbropas ofta som stöd i jakten på evidens, t ex för psykologiska tester. Detta är i stort sett sunt, men det har sina risker. Som exempel tar jag en aktuell och mycket ambitiös genomgång av forskningen kring personlighet och militär flygutbildning, se referens nedan.

Campbell et al. försöker ge en heltäckande bild av området. Kan personlighetsvariabler predicera utfallet av militär flygutbildning? De finner att bara ett fåtal variabler har studerats i tillräckliga många publikationer. Det är främst extraversion och neuroticism som det handlar om. Båda har i snitt en svag men tydlig korrelation med kriteriet godkänd/icke godkänd, på nivån 0.10 - 0.20. Det är jämförbart med meta-analyser av femfaktormodellen inom andra områden, kanske något lägre. Campbell et al. är försiktiga när det gäller slutsatser för praktisk urvalsverksamhet, men säger att mera reliabla (läs längre) tester skulle kunna vara av värde, och det är allt! De menar också att inkluderande av mått på skönmålning kanske skulle kunna höja validiteten men citerar inga resultat i det avseendet.

Vad de därremot inte tar upp är att frågan om tester till skillnad från dimensioner. Tester mäter oftast många dimensioner och dessa sammanvägs när man försöker göra prognoser. Givetvis är det relevant att undersöka validiteten hos enskilda dimensioner, men det säger ganska lite om hur bra dessa dimensioner är i praktiskt arbete. Meta-analyser inbjuder till en simplistisk analysnivå av den typ som Campbell et al. ger ett bra exempel på. Tester är troligen betydligt bättre än vad Campbell et al. ger intryck av, om man använder dem för att bilda relevanta index som består av flera dimensioner. I valideringsarbete måste man undersöka värdet av index för att inte hamna i helt missvisande slutsatser. Campbell et al. hade troligen inte som syfte att undersöka validiteten hos tester, men läser man denna typ av meta-analys utan eftertanke missar man lätt distinktionen mellan tester och dimensioner.

Detta tror jag är den största risken med meta-ananlys inom området. En annan risk är att innovationers genomslag - i sig en långsam process - bromsas upp. Det tar mycket lång tid innan en ny idé har lett till tillräckligt många publikationer för att kunna läggas till grund för en meta-analys, troligen minst 10 år. och sedan tar det ytterligare några år innan analysen kommer i tryck. Ett,. kanske extremt, exempel är det svenska DMT, som funnits sedan 60-talet och använts i praktiskt arbete nästan lika länge. Campbell et al. nämner faktiskt DMT (som de tror är ett norskt test!) men går förbi detta och andra projektiva tester utan motivering. DMT anses av ganska många psykologer ha stort praktiskt värde och borde diskuteras i sammanhanget, de ganska få studier som finns har gett en splittrad bild som är ganska förvirrande. Kanske kom den forskningen inte med därför att den är för lite omfattande, ännu efter 40 år...

Referens

Campbell, J. S., Castaneda, M., & Pulos, S. (2010). Meta-analysis of personality assessments as predictors of military aviation training success. International Journal of Aviation Psychology, 20(1), 92-109.

Friday, December 31, 2010

Thin slices

Det finns aktuell forskning som visat att man kan göra ganska bra prognoser av beteende utifrån "thin slices". alltså mycket snabba iakttagelser av en person, som kan handla om några minuter eller ännu mindre. Se referenser nedan, som bl a handlar om prognoser av våldsamhet och psykopatiskt beteende.

Detta är ju paradoxala resultat. Vi vet sedan gammalt att man snabbt bildar sig ett första intryck av en person, t ex vid en anställningsintervju,  men det är en ny tanke att dessa snabba intryck faktiskt kan vara rättvisande, inte bara ett uttryck för fördomar. Givetvis kan det vara en fördel för ett företag om man kan höja sig över dessa första intryck och leta vidare, intrycken är på inget sätt perfekta även om de har en viss validitet. I vardagslivet kan det emellertid vara till nytta att gå på sin "magkänsla" eftersom man sällan får mera information.

Intressant idé: att utveckla mycket snabba tester som går på principen om "thin slices". Wunderbar-testet på begåvningens g-faktor som jag skrev om på denna blogg är ett exempel. Bara 16 minuter för att få en reliabel och valid mätning av g-faktorn, med all dess inneboende prognoskraft! Eftersom vi nu har väl etablerad kunskap om personlighetens betydelse för arbetsresultat. på grundval av tester som tar ca 40 minuter, är det frestande att pröva screeningtester (t ex UPP/Screen) som tar ca en kvart. Det som gör utvecklingen alltför långsam inom denna verksamhet är svårigheten att etablera samarbete med forskningsintresserade företag. Kom gärna med tips! Se denna bloggs nätverksinbjudan.

Referenser

Carney, D. R., Colvin, C. R., & Hall, J. A. (2007). A thin slice perspective on the accuracy of first impressions. Journal of Research in Personality, 41(5), 1054-1072.

Fowler, K. A., Lilienfeld, S. O., & Patrick, C. J. (2009). Detecting psychopathy from thin slices of behavior. Psychological Assessment, 21(1), 68-78.

Stillman, T. F., Maner, J. K., & Baumeister, R. F. (2010). A thin slice of violence: Distinguishing violent from nonviolent sex offenders at a glance. Evolution and Human Behavior, 31(4), 298-303.

Tuesday, December 28, 2010

Chefers kontrollbehov

Vid seminarier i början av hösten dök det upp önskemål om testning av kontrollbehov, vid chefstillsättningar. Studier av forskningen visade att det har gjorts ytterst få försök att mäta denna dimension. Ett undantag är Burgers arbete med en skala som han kallat "Desire for control".

I en studie som just nu är på gång undersöktes hans skala i en svensk version.Reliabiliteten var ganska låg, 0.62, och innehållet spritt över vida fält. Troligen var detta en poäng med skalan, att den skulle mäta ett generellt kontrollbehov. I stället konstruerade vi en skala som mäter kontrollbehov inom arbetslivet, med en hög reliabilitet (0.86). De två skalorna samvarierade 0.42 efter korrektion för mätfel, tämligen blygsamt med naturligt med tanke på Burgers skalas breda innehåll och komplexa struktur. Vår skala korrelerade negativt med samarbetsvilja och (positiv) grundattityd, positivt med noggrannhet. En chef med högt kontrollbehov framstår inte som idealisk enligt dessa resultat. Skalan är färdig att använda praktiskt.



Referenser

Burger, J. M. (1992). Desire for control: Personality, social, and clinical perspectives: New York, NY, US: Plenum Press.
Burger, J. M. (1992). Desire for control and academic performance. Canadian Journal of Behavioural Science/Revue canadienne des sciences du comportement, 24(2), 147-155.

Saturday, December 18, 2010

Snabb och enkel mätning av g-faktorn: Wunderbar

Allmänintelligens, eller g-faktorn, är sedan mer än 100 år känd som en viktig faktor i många sammanhang, inte minst i arbetslivet. Vi har nu tagit fram och begreppsvaliderat ett kort begåvningstest, med arbetsnamnet Wunderbar, som tar 16 minuter (tidskontrollerat) och består av 17 uppgifter, hälften analogier och hälften ett induktivt/spatialt delprov (pricktestet), utvecklat inom Katapult. Testet är idag kopplat till screeningtestet UPP/Screen men kan lätt göras fristående eller kopppas även till hela UPP-testet. Lika många (och parallella) uppgifter ingår i en verifieringsversion av Wunderbar som kan ges för att säkerställa resultaten efter en första oövervakad testning på Internet.



Normdata finns från ca 1500 testade.

Nya data (67 testade på Internet) visar nu

en korrelation på 0.50 mellan de två deltesten
denna stiger till 0.80 efter korrektion för mätfel
reliabilitet på 0.73 för hela Wunderbar
korrelation med högskoleprovet 0.65, efter korrektion för mätfel 0.82

Vi har m a o trovärdiga data för tolkningen av Wunderbar som ett snabbt g-faktortest. På 16 minuter får man information om allmänintelligens som är minst lika bra som den man får från andra, dyrbara och tidskrävande test.  Om man vill ha ett icke-verbalt g-test kan man använda den delen av Wunderbar som inte förutsätter kunskaper i svenska (utom för den enkla instruktionen). Det är en fördel med Wunderbar som beror på att detta test arbetar med två grupper av uppgifter, inte en samling disparata uppgifter av vitt skilda slag.

Personlighet + begåvning är en oslagbar kombination, särskilt med tanke på att de i stort sett är nollkorrelerade. Vi har ju fått validiteter på ca 0.5 för UPP i aktuell forskning, tilläget av Wunderbar borde kunna ge resultat på ca 0.7.
Free counter and web stats