DN har den 2 februari en sida om personlighetstestning. Störst utrymme får Anders Knutsson, psykolog vid Assessio. Han anser att det "finns fem egenskaper som avgör vilka förutsättningar du har för att lyckas bra på arbetsmarknaden". Dessa är de gamla vanliga "Big Five"; för Agreeableness använder han den missvisande översättningen Vänlighet. (Det är följsamhet det handlar om, något helt annat). Det är helt fel och många gånger motbevisat i forskningen att "Big Five" skulle vara valida prediktorer av arbetsresultat. Omfattande meta-analyser har visat att validiteten för 4 av de 5 dimensionerna ligger på 0.2 eller lägre; mycket låga samband. För den femte, samvetsgrannhet, ligger den omkring 0.25, också det ett mycket lågt värde och ingen förbättring sedan personlighetstest började användas omkring 1920. Inom vilken annan verksamhet skulle man acceptera avsaknad av förbättring på nästan 100 år? I vår forskning har vi med andra dimensioner än "Big Five" nått validiteter omkring 0.5.
Och så till frågan om man kan "fuska", vilket alla som använder sitt sunda förnuft genast inser. (Forskningen har visat detsamma, i mycket omfattande studier). Enligt Knutsson: ... "vi kan se att det svar som känns naturligt tror man är naturligt för andra också". Följer därav att man inte skönmålar om det är en viktigt testsituation? För det gör man! Knutsson lägger till: "Människor är dessutom väldigt ärliga vid direkta frågor". Hur trovärdigt är det?
Showing posts with label Big Five. Show all posts
Showing posts with label Big Five. Show all posts
Sunday, February 2, 2014
Sunday, September 11, 2011
Hur många gånger kan man upprepa samma test?
Personlighetstest som OPQ och HPI används ofta, och har funnits länge på marknaden. Som ett resultat av detta möter man ofta jobbkandidater som redan testats en eller många gånger med ett eller flera av de vanliga testen. Det är då naturligt att fråga sig om testens värde urholkas av omfattande erfarenhet med dem. Såvitt bekant förekommer inga försök att registrera antalet testningar en person gjort med ett test.(Utom för UPP 2.0, som lanseras snart. UPP är ett nytt test, medan det finns hundratusentals personer i Sverige som tagit test som OPQ, HPI, Master, 16 PF, Myers-Briggs och Thomas/PPA).
Frågan om effekter av omtestning med personlighetstest har inte undersökts noga tidigare. Hausknecht (2010) finner emellertid i en studie med Gordon-testet (ett Big Fivetest), mycket stora effekter, i förskönande riktning, hos dem som inte anställts efter första testningen. (Hos dem som fick jobbet var det inga effekter). Detta var fallet trots att dessa personer inte fick ingående återkoppling, något som troligen skulle ha ökat effekterna ytterligare eftersom den kan ge ledtrådar till den testade om vad i testresultatet som var mindre lyckat.
Särskilt låga värden vid första testningen förbättrades starkt vid nästa testning. Sambandet mellan de två testningarna var svagt, mycket svagare än vad man normalt får med upprepade personlighetstestningar. Det tyder också på att de testade har andra svarsstrategier andra gången, och troligen innebar detta i sin tur att testets validitet sjönk betydligt.
Den som vill använda ett av de vanliga testen bör därför tänka sig för noga. Hur stor är risken att personen som ska testas redan har tagit testet? Har han eller hon fått återkoppling? Detta är ju regel i Sverige. Kan man få reda på om tidigare testning gjorts? Ja, det går ju an att fråga, men många vet inte vilka test de tar eller har tagit, och de har inte fått någon skriftlig rapport med sig från testningen. Vissa testföretag hemlighåller t o m vilka test de använder.
Kan test bli "utslitna" och tappa den validitet de eventuellt kan ha haft? Javisst, om man under decennier har kört tiotusentals testningar per år i Sverige. Det behövs nya test, och systematiska frågor till den testade om tidigare erfarenheter av testning, för att komma tillrätta med detta stora problem.
Referens
Hausknecht, J. P. (2010). Candidate persistence and personality test practice effects: Implications for staffing system management. [doi:10.1111/j.1744-6570.2010.01171.x]. Personnel Psychology, 63(2), 299-324. Klicka här
Frågan om effekter av omtestning med personlighetstest har inte undersökts noga tidigare. Hausknecht (2010) finner emellertid i en studie med Gordon-testet (ett Big Fivetest), mycket stora effekter, i förskönande riktning, hos dem som inte anställts efter första testningen. (Hos dem som fick jobbet var det inga effekter). Detta var fallet trots att dessa personer inte fick ingående återkoppling, något som troligen skulle ha ökat effekterna ytterligare eftersom den kan ge ledtrådar till den testade om vad i testresultatet som var mindre lyckat.
Särskilt låga värden vid första testningen förbättrades starkt vid nästa testning. Sambandet mellan de två testningarna var svagt, mycket svagare än vad man normalt får med upprepade personlighetstestningar. Det tyder också på att de testade har andra svarsstrategier andra gången, och troligen innebar detta i sin tur att testets validitet sjönk betydligt.
Den som vill använda ett av de vanliga testen bör därför tänka sig för noga. Hur stor är risken att personen som ska testas redan har tagit testet? Har han eller hon fått återkoppling? Detta är ju regel i Sverige. Kan man få reda på om tidigare testning gjorts? Ja, det går ju an att fråga, men många vet inte vilka test de tar eller har tagit, och de har inte fått någon skriftlig rapport med sig från testningen. Vissa testföretag hemlighåller t o m vilka test de använder.
Kan test bli "utslitna" och tappa den validitet de eventuellt kan ha haft? Javisst, om man under decennier har kört tiotusentals testningar per år i Sverige. Det behövs nya test, och systematiska frågor till den testade om tidigare erfarenheter av testning, för att komma tillrätta med detta stora problem.
Referens
Hausknecht, J. P. (2010). Candidate persistence and personality test practice effects: Implications for staffing system management. [doi:10.1111/j.1744-6570.2010.01171.x]. Personnel Psychology, 63(2), 299-324. Klicka här
Sunday, July 31, 2011
Personlighet och ekonomisk framgång
Validering av personlighetstest brukar sällan ge starka resultat - men undantag finns. Här ska jag redogöra för ett, ur min aktuella forskning. En stor grupp, 110 personer, tog UPP-testet och vissa tillkommande personlighetsskalor, samt besvarade en hel del andra frågor, bland dem frågan om månadsinkomst. Det senare kan betraktas som ett externt kriterium, i förhållande till testets variabler "distalt", dvs utan semantiskt överlappande innehåll. I nedanstående figur återges korrelationerna (efter rangordning) mellan testskalorna (korrigerade för skönmålning) och månadsinkomst.
Arbetsintresse
Det är slående att fem skalor är särskilt starkt relaterade till ekonomisk framgång:
Uthållighet
Social säkerhet
Resultatorientering
Positiv attityd
Dessa fem skalor kombinerades till ett index; detta korrelerade 0.52 med ekonomisk framgång, efter korrektion för mätfel.
Månadslön är säkert påverkad av många andra faktorer än personlighet. Att vi når så högt som 0.52 tyder onekligen på att testet har hög validitet. Det är en nivå på validiteteten som närmar sig det som kan nås med kognitiva test, och kombinationen personlighet - kognitivt test blir oslagbar. Märk också att ingen av de fem viktiga faktorerna ligger inom "Big Five", dessa skalor hamnar som figuren visar längre ner när det gäller validitet. Som jag ofta funnit är "Big FIve" dimensionerna en återvändsgränd, man måste arbeta med smalare och på arbetslivet direkt fokuserade skalor, och detta är vad UPP-testet gör, till skillnad från andra personlighetstest.
Mera information om UPP finns på www.psykologisk-metod.se.
Friday, January 28, 2011
Personlighet och begåvning som prognosfaktorer
Det tycks vara en vanlig uppfattning bland arbetspsykologer att personlighet bara har en svag korrelation med arbetsresultat, medan däremot begåvning har stor betydelse. Det är en myt, som troligen har sin upprinnelse i en mycket ofta åberopad meta-analys av Schmidt och Hunter (1988).Påståendet om betydelsen av begåvning är väl underbyggt av empiriska resultat, men inte delen om personlighet.
Schmidt och Hunter skriver nämligen inte om test utan om - endast en - personlighetsdimension: noggrannhet. Det är helt riktigt att denna dimension, som fungerar bäst av Big Five enligt många meta-analyser, bara har en korrelation på ca 0.25 med arbetsresultat (något högre med utbildningsresultat). Men det betyder inte att personlighetstest har lika svag prognoskraft. Självrapporttest med fokuserade testskalor kan läggas till grund för index som når en validitet på 0.5+, vilket är nästan lika högt som begåvning (Sjöberg, 2010). (Siffran gäller efter korrektion för mätfel i kriteriet och begränsning av variationen i testet).
Big Five-test kan emellertid inte nå denna nivå så länge de håller sig till de övergripande fem faktorerna. En studie av ledarskap av Judge et al. (2002) tycks stöda Big Five, men deras slutsatser bygger på att de använt meta-analytiska uppskattningar av korrelationerna mellan Big Five-skalorna, som sedan starkt ifrågasatts (de är alldeles för låga).
Givetvis är det ofta lämpligt att använda personlighets- och begåvningstester parallellt. Men hur ska de i så fall vägas samman? Det finns inga stöd i data för en kraftigt större vikt för begåvning. Kanske bör de få ungefär lika vikt. Men det är inte säkert att man vill kompensera svagheter på personlighetssidan, t ex låg emotionell stabilitet, med hög intelligens när man väljer chefer. Det verkar inte ens troligt att så skulle vara fallet. En bättre lösning är då troligen att arbeta med minimikrav i båda avseendena, men utformningen av beslutsregler kräver i så fall mera forskning. För personer som uppfyller minimikraven i fråga om både personlighet och begåvning kan en kompensatorisk sammanvägning vara lämplig.
Detta har handlat om självrapporttest för personlighet. Dessa upplevs "ligga på ytan" och man vill ofta gå under ytan för att upptäcka eventuella brister som gränsar till psykopatologi. Då används projektiva test som Rorschach, Hjuletmetoden och DMT, men dessa har aldrig kunnat övertygande dokumenteras som prognosfaktorer i arbetslivet. Däremot finns tydliga resultat som länkar självrapporttest till kliniska syndrom och missbruksproblematik (Kotov et al., 2010). Troligen kan man nå ännu längre också här genom att arbeta med fokuserade - och inte alltför abstrakta och spekulativa/fantasifulla - skalor av typ narcissism och social rädsla. Sådana lösningar finns idag operationella och är att föredra framför teoretiskt grundade och abstrakta dimensioner. Teoretisk grund låter bra, men det måste vara bra teorier. Annars leds psykologen ut i en ökenvandring. .
Referenser
Judge, T. A., Bono, J. E., Ilies, R., & Gerhardt, M. W. (2002). Personality and leadership: A qualitative and quantitative review. Journal of Applied Psychology, 87(4), 765-780.
Kotov, R., Gamez, W., Schmidt, F., & Watson, D. (2010). Linking “big” personality traits to anxiety, depressive, and substance use disorders: A meta-analysis. [doi:10.1037/a0020327]. Psychological Bulletin, 136(5), 768-821.
Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124, 262-274.
Sjöberg, L. (2010 a). A third generation personality test (SSE/EFI Working Paper Series in Business Administration No. 2010:3). Stockholm: Stockholm School of Economics.
Sjöberg, L. (2010 b). Personlighetsdimensioners validitet i arbetslivet: teorier och empiri (SSE/EFI Working Paper Series in Business Administration No. 2010:6). Stockholm: Stockholm School of Economics.
Schmidt och Hunter skriver nämligen inte om test utan om - endast en - personlighetsdimension: noggrannhet. Det är helt riktigt att denna dimension, som fungerar bäst av Big Five enligt många meta-analyser, bara har en korrelation på ca 0.25 med arbetsresultat (något högre med utbildningsresultat). Men det betyder inte att personlighetstest har lika svag prognoskraft. Självrapporttest med fokuserade testskalor kan läggas till grund för index som når en validitet på 0.5+, vilket är nästan lika högt som begåvning (Sjöberg, 2010). (Siffran gäller efter korrektion för mätfel i kriteriet och begränsning av variationen i testet).
Big Five-test kan emellertid inte nå denna nivå så länge de håller sig till de övergripande fem faktorerna. En studie av ledarskap av Judge et al. (2002) tycks stöda Big Five, men deras slutsatser bygger på att de använt meta-analytiska uppskattningar av korrelationerna mellan Big Five-skalorna, som sedan starkt ifrågasatts (de är alldeles för låga).
Givetvis är det ofta lämpligt att använda personlighets- och begåvningstester parallellt. Men hur ska de i så fall vägas samman? Det finns inga stöd i data för en kraftigt större vikt för begåvning. Kanske bör de få ungefär lika vikt. Men det är inte säkert att man vill kompensera svagheter på personlighetssidan, t ex låg emotionell stabilitet, med hög intelligens när man väljer chefer. Det verkar inte ens troligt att så skulle vara fallet. En bättre lösning är då troligen att arbeta med minimikrav i båda avseendena, men utformningen av beslutsregler kräver i så fall mera forskning. För personer som uppfyller minimikraven i fråga om både personlighet och begåvning kan en kompensatorisk sammanvägning vara lämplig.
Detta har handlat om självrapporttest för personlighet. Dessa upplevs "ligga på ytan" och man vill ofta gå under ytan för att upptäcka eventuella brister som gränsar till psykopatologi. Då används projektiva test som Rorschach, Hjuletmetoden och DMT, men dessa har aldrig kunnat övertygande dokumenteras som prognosfaktorer i arbetslivet. Däremot finns tydliga resultat som länkar självrapporttest till kliniska syndrom och missbruksproblematik (Kotov et al., 2010). Troligen kan man nå ännu längre också här genom att arbeta med fokuserade - och inte alltför abstrakta och spekulativa/fantasifulla - skalor av typ narcissism och social rädsla. Sådana lösningar finns idag operationella och är att föredra framför teoretiskt grundade och abstrakta dimensioner. Teoretisk grund låter bra, men det måste vara bra teorier. Annars leds psykologen ut i en ökenvandring. .
Referenser
Judge, T. A., Bono, J. E., Ilies, R., & Gerhardt, M. W. (2002). Personality and leadership: A qualitative and quantitative review. Journal of Applied Psychology, 87(4), 765-780.
Kotov, R., Gamez, W., Schmidt, F., & Watson, D. (2010). Linking “big” personality traits to anxiety, depressive, and substance use disorders: A meta-analysis. [doi:10.1037/a0020327]. Psychological Bulletin, 136(5), 768-821.
Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124, 262-274.
Sjöberg, L. (2010 a). A third generation personality test (SSE/EFI Working Paper Series in Business Administration No. 2010:3). Stockholm: Stockholm School of Economics.
Sjöberg, L. (2010 b). Personlighetsdimensioners validitet i arbetslivet: teorier och empiri (SSE/EFI Working Paper Series in Business Administration No. 2010:6). Stockholm: Stockholm School of Economics.
Thursday, January 6, 2011
Meta-analysens risker
Meta-analyser är numera mycket vanliga och åbropas ofta som stöd i jakten på evidens, t ex för psykologiska tester. Detta är i stort sett sunt, men det har sina risker. Som exempel tar jag en aktuell och mycket ambitiös genomgång av forskningen kring personlighet och militär flygutbildning, se referens nedan.
Campbell et al. försöker ge en heltäckande bild av området. Kan personlighetsvariabler predicera utfallet av militär flygutbildning? De finner att bara ett fåtal variabler har studerats i tillräckliga många publikationer. Det är främst extraversion och neuroticism som det handlar om. Båda har i snitt en svag men tydlig korrelation med kriteriet godkänd/icke godkänd, på nivån 0.10 - 0.20. Det är jämförbart med meta-analyser av femfaktormodellen inom andra områden, kanske något lägre. Campbell et al. är försiktiga när det gäller slutsatser för praktisk urvalsverksamhet, men säger att mera reliabla (läs längre) tester skulle kunna vara av värde, och det är allt! De menar också att inkluderande av mått på skönmålning kanske skulle kunna höja validiteten men citerar inga resultat i det avseendet.
Vad de därremot inte tar upp är att frågan om tester till skillnad från dimensioner. Tester mäter oftast många dimensioner och dessa sammanvägs när man försöker göra prognoser. Givetvis är det relevant att undersöka validiteten hos enskilda dimensioner, men det säger ganska lite om hur bra dessa dimensioner är i praktiskt arbete. Meta-analyser inbjuder till en simplistisk analysnivå av den typ som Campbell et al. ger ett bra exempel på. Tester är troligen betydligt bättre än vad Campbell et al. ger intryck av, om man använder dem för att bilda relevanta index som består av flera dimensioner. I valideringsarbete måste man undersöka värdet av index för att inte hamna i helt missvisande slutsatser. Campbell et al. hade troligen inte som syfte att undersöka validiteten hos tester, men läser man denna typ av meta-analys utan eftertanke missar man lätt distinktionen mellan tester och dimensioner.
Detta tror jag är den största risken med meta-ananlys inom området. En annan risk är att innovationers genomslag - i sig en långsam process - bromsas upp. Det tar mycket lång tid innan en ny idé har lett till tillräckligt många publikationer för att kunna läggas till grund för en meta-analys, troligen minst 10 år. och sedan tar det ytterligare några år innan analysen kommer i tryck. Ett,. kanske extremt, exempel är det svenska DMT, som funnits sedan 60-talet och använts i praktiskt arbete nästan lika länge. Campbell et al. nämner faktiskt DMT (som de tror är ett norskt test!) men går förbi detta och andra projektiva tester utan motivering. DMT anses av ganska många psykologer ha stort praktiskt värde och borde diskuteras i sammanhanget, de ganska få studier som finns har gett en splittrad bild som är ganska förvirrande. Kanske kom den forskningen inte med därför att den är för lite omfattande, ännu efter 40 år...
Referens
Campbell, J. S., Castaneda, M., & Pulos, S. (2010). Meta-analysis of personality assessments as predictors of military aviation training success. International Journal of Aviation Psychology, 20(1), 92-109.
Campbell et al. försöker ge en heltäckande bild av området. Kan personlighetsvariabler predicera utfallet av militär flygutbildning? De finner att bara ett fåtal variabler har studerats i tillräckliga många publikationer. Det är främst extraversion och neuroticism som det handlar om. Båda har i snitt en svag men tydlig korrelation med kriteriet godkänd/icke godkänd, på nivån 0.10 - 0.20. Det är jämförbart med meta-analyser av femfaktormodellen inom andra områden, kanske något lägre. Campbell et al. är försiktiga när det gäller slutsatser för praktisk urvalsverksamhet, men säger att mera reliabla (läs längre) tester skulle kunna vara av värde, och det är allt! De menar också att inkluderande av mått på skönmålning kanske skulle kunna höja validiteten men citerar inga resultat i det avseendet.
Vad de därremot inte tar upp är att frågan om tester till skillnad från dimensioner. Tester mäter oftast många dimensioner och dessa sammanvägs när man försöker göra prognoser. Givetvis är det relevant att undersöka validiteten hos enskilda dimensioner, men det säger ganska lite om hur bra dessa dimensioner är i praktiskt arbete. Meta-analyser inbjuder till en simplistisk analysnivå av den typ som Campbell et al. ger ett bra exempel på. Tester är troligen betydligt bättre än vad Campbell et al. ger intryck av, om man använder dem för att bilda relevanta index som består av flera dimensioner. I valideringsarbete måste man undersöka värdet av index för att inte hamna i helt missvisande slutsatser. Campbell et al. hade troligen inte som syfte att undersöka validiteten hos tester, men läser man denna typ av meta-analys utan eftertanke missar man lätt distinktionen mellan tester och dimensioner.
Detta tror jag är den största risken med meta-ananlys inom området. En annan risk är att innovationers genomslag - i sig en långsam process - bromsas upp. Det tar mycket lång tid innan en ny idé har lett till tillräckligt många publikationer för att kunna läggas till grund för en meta-analys, troligen minst 10 år. och sedan tar det ytterligare några år innan analysen kommer i tryck. Ett,. kanske extremt, exempel är det svenska DMT, som funnits sedan 60-talet och använts i praktiskt arbete nästan lika länge. Campbell et al. nämner faktiskt DMT (som de tror är ett norskt test!) men går förbi detta och andra projektiva tester utan motivering. DMT anses av ganska många psykologer ha stort praktiskt värde och borde diskuteras i sammanhanget, de ganska få studier som finns har gett en splittrad bild som är ganska förvirrande. Kanske kom den forskningen inte med därför att den är för lite omfattande, ännu efter 40 år...
Referens
Campbell, J. S., Castaneda, M., & Pulos, S. (2010). Meta-analysis of personality assessments as predictors of military aviation training success. International Journal of Aviation Psychology, 20(1), 92-109.
Monday, October 25, 2010
Vanliga problem med personlighetstest - och svårlösta sådana
Personlighetstest som används i arbetslivet är oftast av självrapporttyp och inriktade mot att mäta Big Five-dimensioner (B5), samt underskalor till dem. Ingen korrektion för skönmålning görs. Det blir problem!
1. I skarpt läge svarar många taktiskt, dvs de skönmålar, och gör det ofta starkt. De allra flesta testade framstår därför som mycket positiva personligheter, ett resultat man har föga nytta av.
2. B5-dimensionerna är för få och allmänna för att vara relevanta. De är svagt relaterade till arbetsresultat.
3. Underskalorna, som kan vara 30-40 till antalet, ger en komplex och spretig bild av de testade. Dessutom är dessa skalor oftast av låg reliabilitet - med 200 testitem kan man inte konstruera 30-40 reliabla delskalor. Dessa skalor kan ibland ha ett innehåll som är svårt att förstå.
4. Testen är översatta från engelska vilket kan ha medfört språkliga otympligheter. Vad är t ex "intellektans"?
5. I vissa fall används ipsativt svarsformat vilket kräver att den testade ska "jämföra äpplen och päron". Sitter man helst hemma med en god bok eller ser man ljust på framtiden? Den typen av uppgifter är inte populära.
6. Teorier av olika slag ligger till grund för flera av testen, och det kan låta vetenskapligt och betryggande. Exempel är Hogans socioanalytiska teori eller Jungs typteori (från 1921). Men teorierna är dåligt underbyggda och saknar empiriskt stöd.
Det här kan låta negativt, och man kan förstå den ganska vanliga skeptiska inställningen till test, men faktum är att personlighetstest med mycket god validitet existerar. För exempel, se denna länk. Det går att konstruera skalor vars validitet är i nivå med intelligenstest (g-faktorn). Om personlighet och intelligens kombineras kan man nå validiteter omkring 0.6 - 0.7 med arbetsresultat, men det förutsätter skalor som är fokuserade på relevanta, konkreta personlighetsdrag (t ex uthållighet) - in B5-dimensioner som har mycket låg validitet (med undantag för noggrannhet). Kolla min rapport om testvaliditet på Handelshögskolans hemsida genom att klicka här. Att skriva den tog lång tid, och krävde stort engagemang, men det var värt det, åtminstone för mig, när jag till slut började se ljuset i tunneln och fann frågeställningarna mer och mer intressanta. Denna och alla andra av mina rapporter (de är rätt många) och manualer är tillgängliga för gratis nerladdning i enlighet med min policy "Inget smussel, inga defensiva hemlighållanden av vad våra test mäter och vilken empirisk evidens de stöder sig på". Alla får del av den information de vill ha, inte bara kunder. Studenter får gärna använda testen helt gratis, vi ställer upp med rådgivning och anpassar vår IT-plattform efter era behov och intressen. (Skriv ett mail till lennartsjoberg@gmail.com). Flera sådana projekt har genomförts, nu senast av Daniel de Colli, anställd vid polisen och doktorand i psykologi.Hans uppsats som en grupp anställda vid polisen blir troligen offentlig i november.
Våra test är levande och förbättras ständigt, till skillnad från låsta och statistiska importerade test.
Vetenskaplig dokumentation har nu påbörjats med artikeln:
Sjöberg, L. (2010). A third generation personality test. The Scandinavian Journal for Human and Applied Sciences, 1(3), 61-75.Klicka här för att läsa den på svenska.
1. I skarpt läge svarar många taktiskt, dvs de skönmålar, och gör det ofta starkt. De allra flesta testade framstår därför som mycket positiva personligheter, ett resultat man har föga nytta av.
2. B5-dimensionerna är för få och allmänna för att vara relevanta. De är svagt relaterade till arbetsresultat.
3. Underskalorna, som kan vara 30-40 till antalet, ger en komplex och spretig bild av de testade. Dessutom är dessa skalor oftast av låg reliabilitet - med 200 testitem kan man inte konstruera 30-40 reliabla delskalor. Dessa skalor kan ibland ha ett innehåll som är svårt att förstå.
4. Testen är översatta från engelska vilket kan ha medfört språkliga otympligheter. Vad är t ex "intellektans"?
5. I vissa fall används ipsativt svarsformat vilket kräver att den testade ska "jämföra äpplen och päron". Sitter man helst hemma med en god bok eller ser man ljust på framtiden? Den typen av uppgifter är inte populära.
6. Teorier av olika slag ligger till grund för flera av testen, och det kan låta vetenskapligt och betryggande. Exempel är Hogans socioanalytiska teori eller Jungs typteori (från 1921). Men teorierna är dåligt underbyggda och saknar empiriskt stöd.
Det här kan låta negativt, och man kan förstå den ganska vanliga skeptiska inställningen till test, men faktum är att personlighetstest med mycket god validitet existerar. För exempel, se denna länk. Det går att konstruera skalor vars validitet är i nivå med intelligenstest (g-faktorn). Om personlighet och intelligens kombineras kan man nå validiteter omkring 0.6 - 0.7 med arbetsresultat, men det förutsätter skalor som är fokuserade på relevanta, konkreta personlighetsdrag (t ex uthållighet) - in B5-dimensioner som har mycket låg validitet (med undantag för noggrannhet). Kolla min rapport om testvaliditet på Handelshögskolans hemsida genom att klicka här. Att skriva den tog lång tid, och krävde stort engagemang, men det var värt det, åtminstone för mig, när jag till slut började se ljuset i tunneln och fann frågeställningarna mer och mer intressanta. Denna och alla andra av mina rapporter (de är rätt många) och manualer är tillgängliga för gratis nerladdning i enlighet med min policy "Inget smussel, inga defensiva hemlighållanden av vad våra test mäter och vilken empirisk evidens de stöder sig på". Alla får del av den information de vill ha, inte bara kunder. Studenter får gärna använda testen helt gratis, vi ställer upp med rådgivning och anpassar vår IT-plattform efter era behov och intressen. (Skriv ett mail till lennartsjoberg@gmail.com). Flera sådana projekt har genomförts, nu senast av Daniel de Colli, anställd vid polisen och doktorand i psykologi.Hans uppsats som en grupp anställda vid polisen blir troligen offentlig i november.
Våra test är levande och förbättras ständigt, till skillnad från låsta och statistiska importerade test.
Vetenskaplig dokumentation har nu påbörjats med artikeln:
Sjöberg, L. (2010). A third generation personality test. The Scandinavian Journal for Human and Applied Sciences, 1(3), 61-75.Klicka här för att läsa den på svenska.
Saturday, September 11, 2010
Ny rapport: Personlighetstestens validitet i arbetslivet
Tidigare forskning om personlighetstest och arbetsresultat gav tämligen svaga resultat. Pessimismen var utbredd, men inte på goda grunder. Det har länge varit känt att test kan ge viktiga tillskott till beslutsfattandet i t ex urvalssammanhang, även om validiteten är relativt blygsam. Från omkring 1990 ökade intresset för frågeställningen i och med introducerandet av femfaktormodellen (FFM) för personlighet. Meta-analyser av Big Five-dimensionernas (B5) användbarhet i arbetslivet sammanfattas. De har publicerats under tiden 1984-2008 och bygger på 100-tals publicerade studier. Korrelationerna visade sig i allmänhet vara låga för alla dimensioner utom noggrannhet, där de tenderade att ligga i intervallet 0.20-0.25, också det ett relativt blygsamt värde. Slutsatsen om B5-dimensionerna som sådana är i enlighet med dessa mycket omfattande undersökningar att de är svagt eller inte alls korrelerade med kriterier i arbetslivet, om de tas var för sig. Multipla korrelationer kan emellertid ge betydligt bättre resultat, även om det är kontroversiellt hur de ska uppskattas på grundval av meta-analyser. Dessa tycks ha gett för låga uppskattningar av sambanden mellan B5-dimensionerna, och därmed en överskattning av de multipla korrelationerna mot kriterier. Alltmera omfattande forskning visar att smala, fokuserade variabler fungerar betydligt bättre än B5-dimensionerna och ger viktiga tillskott till dessa. En del av dessa variabler ingår som underskalor i FFM-test, andra som emotionell intelligens ligger utanför FFM-tänkandet och ingår i UPP-testet. Sådana dimensioner ger viktiga tillskott till intelligens i prognosen av arbetsresultat, och av många andra viktiga aspekter på arbetsrelaterat beteende. Även index som bildas på ett urval av fokuserade personlighetsdimensioner kan ge mycket goda resultat, som närmar sig den prognoskraft som g-faktortest har.
Läs hela rapporten här.
Sunday, July 25, 2010
Big Five-validitet
Femfaktormodellen (FFM) med sina fem dominerande och övergripande dimensioner har kommit att dominera arbetspsykologisk testning i vårt land med kända test som OPQ, HPI, MBTI och NEO-PI-R. (Tre amerikanska och ett brittiskt, översatta till svenska men knappast validerade i Sverige annat än med enstaka studier). Eftersom modellen tar så stor plats både i internationell forskning och i praktik är den trovärdig om man inte följer valideringsforskningen. Denna har nämligen tydligt visat att FFM ger mycket magra tillskott till testens validitet för prognos av arbetsprestation och utbildningsresultat.
En av de bästa meta-analyserna av FFM-validitet publicerades år 2008 av Schmidt et al. (2008). De har gjort ett ambitiöst försök att hitta all relevant valideringsforskning och dessutom korrigerat resultaten för mätfel i kriterierna och begränsad variation i FFM-dimensionerna. Mätfel i kriterierna sänker korrelationerna och detsamma gäller begränsad variation. Deras värden torde därför vara de mest rättvisande som publicerats. Särskilt intressant är deras nyskapande metodik för att korrigera för begränsad variation - tidigare använda metoder gav för små effekter (Schmidt et al., 2006).
Medianvärden av validitetskoefficienterna (korrelationer) återfinns i nedanstående tabell.
Det är alltså bara noggrannhet som ligger över 0.20, även det en bra bit under det normala för personlighetstest som snarare ligger omkring 0.3 (sällan mera för enstaka skalor). Medianen för alla skalorna ligger på 0.090 för prestation och 0.170 för utbildningsresultat. Om man tillämpar STP:s kriterier för testgranskning och deras sätt att räkna skulle hela FFM underkännas!
Varför fungerar FFM så dåligt? Ett skäl är troligen att dimensionerna är för allmänna. De fokuserar inte på viktiga dimensioner i arbetslivet. Ett annat skäl är deras kognitiva, beskrivande, karaktär. Emotionella funktioner är viktigare (Sjöberg, 2008, 2010).
Bättre validitet än ovanstående kan man inte hoppas på för de övergripande FFM-dimensionerna och man ställer sig lite undrande till det stora genomslaget för FFM-test i svensk praktik. Bättre resultat kan emellertid erhållas med andra dimensioner och vissa av underskalorna ("fasetter") till FFM-modellerna, mera därom i ett kommande inlägg.
Onekligen är det intressant att se vilken överlägsen validitet som allmänbegåvning har. Länge var det tabu i vårt land att tala om och använda intelligenstest, så tycks inte riktigt vara fallet längre och det är som synes på goda grunder.
Referenser
Schmidt, F. L., Oh, I.-S., & Le, H. (2006). Increasing the accuracy of corrections for range restriction: Implications for selection procedure validities and other research results. Personnel Psychology, 59(2), 281-305.
Schmidt, F. L., Shaffer, J. A., & Oh, I.-S. (2008). Increased accuracy for range restriction corrections: Implications for the role of personality and general mental ability in job and training performance. [doi:10.1111/j.1744-6570.2008.00132.x]. Personnel Psychology, 61(4), 827-868.
Sjöberg, L. (2008). Bortom Big Five: Konstruktion och validering av ett personlighetstest. (SSE/EFI Working Paper Series in Business Administration No. 2008:7). Stockholm: Stockholm School of Economics.Klicka här.
Sjöberg, L. (2010). A third generation personality test (SSE/EFI Working Paper Series in Business Administration No. 2010:3). Stockholm: Stockholm School of Economics. Klicka här,
En av de bästa meta-analyserna av FFM-validitet publicerades år 2008 av Schmidt et al. (2008). De har gjort ett ambitiöst försök att hitta all relevant valideringsforskning och dessutom korrigerat resultaten för mätfel i kriterierna och begränsad variation i FFM-dimensionerna. Mätfel i kriterierna sänker korrelationerna och detsamma gäller begränsad variation. Deras värden torde därför vara de mest rättvisande som publicerats. Särskilt intressant är deras nyskapande metodik för att korrigera för begränsad variation - tidigare använda metoder gav för små effekter (Schmidt et al., 2006).
Medianvärden av validitetskoefficienterna (korrelationer) återfinns i nedanstående tabell.
| Validitetskoefficienter (medianer) hos FFM-dimensioner samt intelligens (g-faktorn) enligt meta-analys av Schmidt et al. (2008). | ||
| Dimension | Arbetsprestation | Utbildningsresultat |
| Noggrannhet | 0.209 | 0.260 |
| Emotionell stabilitet | 0.131 | 0.159 |
| Vänlighet/smidighet | 0.080 | 0.120 |
| Extraversion/utåtvändhet | 0.090 | 0.170 |
| Öppenhet | 0.040 | 0.240 |
| Intelligens | 0.615 | 0.665 |
Det är alltså bara noggrannhet som ligger över 0.20, även det en bra bit under det normala för personlighetstest som snarare ligger omkring 0.3 (sällan mera för enstaka skalor). Medianen för alla skalorna ligger på 0.090 för prestation och 0.170 för utbildningsresultat. Om man tillämpar STP:s kriterier för testgranskning och deras sätt att räkna skulle hela FFM underkännas!
Varför fungerar FFM så dåligt? Ett skäl är troligen att dimensionerna är för allmänna. De fokuserar inte på viktiga dimensioner i arbetslivet. Ett annat skäl är deras kognitiva, beskrivande, karaktär. Emotionella funktioner är viktigare (Sjöberg, 2008, 2010).
Bättre validitet än ovanstående kan man inte hoppas på för de övergripande FFM-dimensionerna och man ställer sig lite undrande till det stora genomslaget för FFM-test i svensk praktik. Bättre resultat kan emellertid erhållas med andra dimensioner och vissa av underskalorna ("fasetter") till FFM-modellerna, mera därom i ett kommande inlägg.
Onekligen är det intressant att se vilken överlägsen validitet som allmänbegåvning har. Länge var det tabu i vårt land att tala om och använda intelligenstest, så tycks inte riktigt vara fallet längre och det är som synes på goda grunder.
Referenser
Schmidt, F. L., Oh, I.-S., & Le, H. (2006). Increasing the accuracy of corrections for range restriction: Implications for selection procedure validities and other research results. Personnel Psychology, 59(2), 281-305.
Schmidt, F. L., Shaffer, J. A., & Oh, I.-S. (2008). Increased accuracy for range restriction corrections: Implications for the role of personality and general mental ability in job and training performance. [doi:10.1111/j.1744-6570.2008.00132.x]. Personnel Psychology, 61(4), 827-868.
Sjöberg, L. (2008). Bortom Big Five: Konstruktion och validering av ett personlighetstest. (SSE/EFI Working Paper Series in Business Administration No. 2008:7). Stockholm: Stockholm School of Economics.Klicka här.
Sjöberg, L. (2010). A third generation personality test (SSE/EFI Working Paper Series in Business Administration No. 2010:3). Stockholm: Stockholm School of Economics. Klicka här,
Subscribe to:
Posts (Atom)
