Personlighetstest som OPQ och HPI används ofta, och har funnits länge på marknaden. Som ett resultat av detta möter man ofta jobbkandidater som redan testats en eller många gånger med ett eller flera av de vanliga testen. Det är då naturligt att fråga sig om testens värde urholkas av omfattande erfarenhet med dem. Såvitt bekant förekommer inga försök att registrera antalet testningar en person gjort med ett test.(Utom för UPP 2.0, som lanseras snart. UPP är ett nytt test, medan det finns hundratusentals personer i Sverige som tagit test som OPQ, HPI, Master, 16 PF, Myers-Briggs och Thomas/PPA).
Frågan om effekter av omtestning med personlighetstest har inte undersökts noga tidigare. Hausknecht (2010) finner emellertid i en studie med Gordon-testet (ett Big Fivetest), mycket stora effekter, i förskönande riktning, hos dem som inte anställts efter första testningen. (Hos dem som fick jobbet var det inga effekter). Detta var fallet trots att dessa personer inte fick ingående återkoppling, något som troligen skulle ha ökat effekterna ytterligare eftersom den kan ge ledtrådar till den testade om vad i testresultatet som var mindre lyckat.
Särskilt låga värden vid första testningen förbättrades starkt vid nästa testning. Sambandet mellan de två testningarna var svagt, mycket svagare än vad man normalt får med upprepade personlighetstestningar. Det tyder också på att de testade har andra svarsstrategier andra gången, och troligen innebar detta i sin tur att testets validitet sjönk betydligt.
Den som vill använda ett av de vanliga testen bör därför tänka sig för noga. Hur stor är risken att personen som ska testas redan har tagit testet? Har han eller hon fått återkoppling? Detta är ju regel i Sverige. Kan man få reda på om tidigare testning gjorts? Ja, det går ju an att fråga, men många vet inte vilka test de tar eller har tagit, och de har inte fått någon skriftlig rapport med sig från testningen. Vissa testföretag hemlighåller t o m vilka test de använder.
Kan test bli "utslitna" och tappa den validitet de eventuellt kan ha haft? Javisst, om man under decennier har kört tiotusentals testningar per år i Sverige. Det behövs nya test, och systematiska frågor till den testade om tidigare erfarenheter av testning, för att komma tillrätta med detta stora problem.
Referens
Hausknecht, J. P. (2010). Candidate persistence and personality test practice effects: Implications for staffing system management. [doi:10.1111/j.1744-6570.2010.01171.x]. Personnel Psychology, 63(2), 299-324. Klicka här
Showing posts with label NEO-PI-R. Show all posts
Showing posts with label NEO-PI-R. Show all posts
Sunday, September 11, 2011
Sunday, July 25, 2010
Big Five-validitet
Femfaktormodellen (FFM) med sina fem dominerande och övergripande dimensioner har kommit att dominera arbetspsykologisk testning i vårt land med kända test som OPQ, HPI, MBTI och NEO-PI-R. (Tre amerikanska och ett brittiskt, översatta till svenska men knappast validerade i Sverige annat än med enstaka studier). Eftersom modellen tar så stor plats både i internationell forskning och i praktik är den trovärdig om man inte följer valideringsforskningen. Denna har nämligen tydligt visat att FFM ger mycket magra tillskott till testens validitet för prognos av arbetsprestation och utbildningsresultat.
En av de bästa meta-analyserna av FFM-validitet publicerades år 2008 av Schmidt et al. (2008). De har gjort ett ambitiöst försök att hitta all relevant valideringsforskning och dessutom korrigerat resultaten för mätfel i kriterierna och begränsad variation i FFM-dimensionerna. Mätfel i kriterierna sänker korrelationerna och detsamma gäller begränsad variation. Deras värden torde därför vara de mest rättvisande som publicerats. Särskilt intressant är deras nyskapande metodik för att korrigera för begränsad variation - tidigare använda metoder gav för små effekter (Schmidt et al., 2006).
Medianvärden av validitetskoefficienterna (korrelationer) återfinns i nedanstående tabell.
Det är alltså bara noggrannhet som ligger över 0.20, även det en bra bit under det normala för personlighetstest som snarare ligger omkring 0.3 (sällan mera för enstaka skalor). Medianen för alla skalorna ligger på 0.090 för prestation och 0.170 för utbildningsresultat. Om man tillämpar STP:s kriterier för testgranskning och deras sätt att räkna skulle hela FFM underkännas!
Varför fungerar FFM så dåligt? Ett skäl är troligen att dimensionerna är för allmänna. De fokuserar inte på viktiga dimensioner i arbetslivet. Ett annat skäl är deras kognitiva, beskrivande, karaktär. Emotionella funktioner är viktigare (Sjöberg, 2008, 2010).
Bättre validitet än ovanstående kan man inte hoppas på för de övergripande FFM-dimensionerna och man ställer sig lite undrande till det stora genomslaget för FFM-test i svensk praktik. Bättre resultat kan emellertid erhållas med andra dimensioner och vissa av underskalorna ("fasetter") till FFM-modellerna, mera därom i ett kommande inlägg.
Onekligen är det intressant att se vilken överlägsen validitet som allmänbegåvning har. Länge var det tabu i vårt land att tala om och använda intelligenstest, så tycks inte riktigt vara fallet längre och det är som synes på goda grunder.
Referenser
Schmidt, F. L., Oh, I.-S., & Le, H. (2006). Increasing the accuracy of corrections for range restriction: Implications for selection procedure validities and other research results. Personnel Psychology, 59(2), 281-305.
Schmidt, F. L., Shaffer, J. A., & Oh, I.-S. (2008). Increased accuracy for range restriction corrections: Implications for the role of personality and general mental ability in job and training performance. [doi:10.1111/j.1744-6570.2008.00132.x]. Personnel Psychology, 61(4), 827-868.
Sjöberg, L. (2008). Bortom Big Five: Konstruktion och validering av ett personlighetstest. (SSE/EFI Working Paper Series in Business Administration No. 2008:7). Stockholm: Stockholm School of Economics.Klicka här.
Sjöberg, L. (2010). A third generation personality test (SSE/EFI Working Paper Series in Business Administration No. 2010:3). Stockholm: Stockholm School of Economics. Klicka här,
En av de bästa meta-analyserna av FFM-validitet publicerades år 2008 av Schmidt et al. (2008). De har gjort ett ambitiöst försök att hitta all relevant valideringsforskning och dessutom korrigerat resultaten för mätfel i kriterierna och begränsad variation i FFM-dimensionerna. Mätfel i kriterierna sänker korrelationerna och detsamma gäller begränsad variation. Deras värden torde därför vara de mest rättvisande som publicerats. Särskilt intressant är deras nyskapande metodik för att korrigera för begränsad variation - tidigare använda metoder gav för små effekter (Schmidt et al., 2006).
Medianvärden av validitetskoefficienterna (korrelationer) återfinns i nedanstående tabell.
| Validitetskoefficienter (medianer) hos FFM-dimensioner samt intelligens (g-faktorn) enligt meta-analys av Schmidt et al. (2008). | ||
| Dimension | Arbetsprestation | Utbildningsresultat |
| Noggrannhet | 0.209 | 0.260 |
| Emotionell stabilitet | 0.131 | 0.159 |
| Vänlighet/smidighet | 0.080 | 0.120 |
| Extraversion/utåtvändhet | 0.090 | 0.170 |
| Öppenhet | 0.040 | 0.240 |
| Intelligens | 0.615 | 0.665 |
Det är alltså bara noggrannhet som ligger över 0.20, även det en bra bit under det normala för personlighetstest som snarare ligger omkring 0.3 (sällan mera för enstaka skalor). Medianen för alla skalorna ligger på 0.090 för prestation och 0.170 för utbildningsresultat. Om man tillämpar STP:s kriterier för testgranskning och deras sätt att räkna skulle hela FFM underkännas!
Varför fungerar FFM så dåligt? Ett skäl är troligen att dimensionerna är för allmänna. De fokuserar inte på viktiga dimensioner i arbetslivet. Ett annat skäl är deras kognitiva, beskrivande, karaktär. Emotionella funktioner är viktigare (Sjöberg, 2008, 2010).
Bättre validitet än ovanstående kan man inte hoppas på för de övergripande FFM-dimensionerna och man ställer sig lite undrande till det stora genomslaget för FFM-test i svensk praktik. Bättre resultat kan emellertid erhållas med andra dimensioner och vissa av underskalorna ("fasetter") till FFM-modellerna, mera därom i ett kommande inlägg.
Onekligen är det intressant att se vilken överlägsen validitet som allmänbegåvning har. Länge var det tabu i vårt land att tala om och använda intelligenstest, så tycks inte riktigt vara fallet längre och det är som synes på goda grunder.
Referenser
Schmidt, F. L., Oh, I.-S., & Le, H. (2006). Increasing the accuracy of corrections for range restriction: Implications for selection procedure validities and other research results. Personnel Psychology, 59(2), 281-305.
Schmidt, F. L., Shaffer, J. A., & Oh, I.-S. (2008). Increased accuracy for range restriction corrections: Implications for the role of personality and general mental ability in job and training performance. [doi:10.1111/j.1744-6570.2008.00132.x]. Personnel Psychology, 61(4), 827-868.
Sjöberg, L. (2008). Bortom Big Five: Konstruktion och validering av ett personlighetstest. (SSE/EFI Working Paper Series in Business Administration No. 2008:7). Stockholm: Stockholm School of Economics.Klicka här.
Sjöberg, L. (2010). A third generation personality test (SSE/EFI Working Paper Series in Business Administration No. 2010:3). Stockholm: Stockholm School of Economics. Klicka här,
Friday, July 23, 2010
Skönmålning är stark, vanlig och viktig vid testning i skarpt läge
Det påstås ibland att skönmålning på personlighetstest knappast förekommer, åtminstone inte i hög grad. Jaså. Hur vet man det? Påståendet verkar gå helt emot vanligt sunt förnuft. Visst försöker väl testade i ett skarpt läge att framställa sig i så positiv dager som möjligt på självrapporttest - den absolut vanligaste formen av personlighetstest?
För att påstå att stark skönmålning inte förekommer måste man ha data också på icke skönmålade svar. Detta kan man få, approximativt givetvis, genom att ta fram testsvar som rensats från skönmålning med hjälp av validerad metodik för sådan rensning.
Jag arbetar med korrektion för skönmålning med hjälp av två skalor som mäter social önskvärdhet, en overt (genomskådlig, Hunter Mabons term) och en kovert (ogenomskådlig). De ger likartade resultat och har validerats både experimentellt och i skarpa testningar vid jobbansökning, se referens nedan. Vid testningar på rekryteringsplattformen Katapult används den koverta skalan och UPP-testets screeningmodul, se referens nedan. Modulen mäter extraversion, uthållighet, samarbetsvilja, positiv grundattityd och kreativitet.
De data som analyseras här baseras på testsvar från 4457 personer (Katapult) som tog screeningmodulen när de anmälde sig som sökande till olika jobb. Det är alltså data från testning i skarpt läge som det gäller.Korrelationerna mellan personlighetsdimensionerna och skönmålning framgår av tabellen nedan, liksom korrelationerna mellan råvärden och korrigerade värden.
I fyra av de fem fallen var sambanden starka mellan skönmålning och personlighetsdimensionen.
Märk också att effekten av korrektion var ytterst liten i ett av fallen (kreativitet) men större i de övriga. Detta är ett vanligt resultat. Olika dimensioner är i olika hög grad påverkade av skönmålning.
Men hur viktiga, eller stora, är effekterna?
Jag skapade en sammansatt poäng genom att beräkna medelvärdet av alla fem dimensionerna, med lika vikter, före och efter korrektion. Båda dessa summapoäng rangordnades i hela materialet. (Tack gode Gud för datorer). Därefter lade jag in gränsvärden för de bästa 1%, 5%, 10% och 20% för råvärdena. Hur många av dem som nådde dessa topp-placeringar behöll sina platser efter korrektion? Svar, se nedanstående tabell:
Detta betyder att bland dem i den bästa procenten före korrektion var det bara 8.9% som behöll den placeringen efter korrektion. Vid mindre krav för topp-plats var andelen som behöll sin plats större men vid 20% topp-plats var det fortfarande bara 17.7 % som behöll platsen.
Med andra ord: över 80% av dem som hamnar på "lilla listan" om rekrytering baseras på personlighetstestet har troligen hamnat där på grund av att de bluffat på testet! Eftersom dessa data baseras på korrektion med enbart en skala i stället för vår vanliga design med två skalor är dessutom effekterna troligen underskattade.
Ett annat och enklare svar på frågan om det förekommer stora effekter av skönmålning kan vi få genom att se närmare på hur stora förändringar i rangplats som de 45 bästa (bästa procenten, 99:e percentilen) fick efter korrektion och ny rangordning. Som visade ovan var det 91% av dem som inte lyckades behålla sin plats. Fördelningen av skillnaderna mellan de två rangordningarna för de 45 bästa enligt rådata framgår av nedanstående graf. Medianen för tappade rangplatser var 545, alltså ett fall, i genomsnitt, från 99:e till 88:e percentilen. Mycket mera dramatiska fall förekom också, upp till 1200 rangplatser. I ljuset av de data som presenterats här är det enligt min mening osakligt att fortsätta att påstå att stark skönmålning "knappast förekommer".
Ännu en kontroll är intressant. Antag att vi försöker värja oss mot effekterna av skönmålning genom att utesluta dem som har högst värde i detta avseende. Det är troligen ett vanligt sätt att arbeta, som jag sett på nära håll under min tid på Handelshögskolan. Jag lade därför in en cut-off vid 21% av stickprovet och uteslöt 922 personer. (Just denna gräns var lämplig på grund av klustring av data; omkring 20-25 % är troligen vanligt). De som nu återstod i 99:e percentilen i rådata kunde emellertid inte alls försvara sina platser efter korrektion. Korrektionen medförde att deras rangplatser sjönk 629 steg, alltså ännu mera än för hela stickprovet. För att motverka de snedvridande effekterna av skönmålning måste man alltså korrigera fullt ut enligt den metod som använts här (och i våra övriga test) - uteslutande av dem som ligger högst på en "lögnskala" har bara kosmetiska effekter.
Frågan om hur kraftig skönmålningen är kan också besvaras genom att analysera den absoluta nivån på svaren.Den informationen brukar man inte använda i testpsykologin, men i andra sammanhang som medarbetarundersökningar gör man ju det. Det som talar mot att använda absolutnivån är att den påverkas av frågornas formulering. Då emellertid en skala i typfallet består av ganska många frågor motverkas den felkällan; man får trots allt en viss uppfattning om styrkan i svarstendensen. I fallet med våra data och måttet på skönmålning låg medianen på 4.33, svarsskala 1-5. 74 % av de testade hade ett värde > 4.0, mindre än 1 % låg under 3.0. De testade hade alltså en mycket stark tendens att välja skönmålande svar. Det stödjer min tes att skönmålning är stark och vanligt förekommande.
Man kan fråga sig om skönmålning har ännu flera konsekvenser. Det påstås ofta att validiteten inte påverkas av korrektion. Detta är nog tämligen riktigt, se data ovan som visar på höga samband mellan korrigerade och okorrigerade data. För vissa typer av kriterier kan de som skönmålar också ha förmåga att övertyga omgivningen i vidare mening om sin kompetens, men detta betyder naturligtvis inte att de också gör ett bättre jobb. Kvar står till slut att få nog vill ge prioritet åt dem som bluffar, att effekterna är stora och att systemet för korrektion som använts står på solid grund efter särskilda valideringar - se referenserna. Inga andra självrapporttest har en effektiv och validerad metodik för att korrigera för skönmålning (HPI, NEO), många - som MBTI (NEO-PI-R, Myers-Briggs) - ingen alls.
Ones et al. (1996) är en ofta åberopad artikel som anses stödja slutsatsen att skönmålning inte spelar någon roll. Den baseras på en mycket omfattande meta-analys men det är troligen inte data i skarpt läge som den bygger på, åtminstone inte i de flesta fallen. Författarna säger inte vilket som är fallet, men deras korrelationer mellan skönmålning och personlighetsdimensioner är dramatiskt mycket lägre än dem som presenterats här. Våra undersökningar har konsistent gett mycket högre korrelationer mellan personlighetsskalor och olika mått på skönmålning. Det är rimligt att tro att skönmålning har mycket större betydelse i skarpt läge än vid andra former av datainsamling, och det är ju skarpt läge som är det praktiskt intressanta.
Referenser
Ones, D. S., Viswesvaran, C., & Reiss, A. D. (1996). Role of social desirability in personality testing for personnel selection: The red herring. Journal of Applied Psychology, 81, 660-679.
Sjöberg, L. (2009). UPP-testet: Korrektion för skönmålning. Forskningsrapport 2009:3. Stockholm: Psykologisk Metod AB. Klicka här
Sjöberg, L. (2010). UPP/Screen: Ett screeningtest av personlighet och begåvning. Forskningsrapport 2010:7. Stockholm: Psykologisk Metod AB. Klicka här.
För att påstå att stark skönmålning inte förekommer måste man ha data också på icke skönmålade svar. Detta kan man få, approximativt givetvis, genom att ta fram testsvar som rensats från skönmålning med hjälp av validerad metodik för sådan rensning.
Jag arbetar med korrektion för skönmålning med hjälp av två skalor som mäter social önskvärdhet, en overt (genomskådlig, Hunter Mabons term) och en kovert (ogenomskådlig). De ger likartade resultat och har validerats både experimentellt och i skarpa testningar vid jobbansökning, se referens nedan. Vid testningar på rekryteringsplattformen Katapult används den koverta skalan och UPP-testets screeningmodul, se referens nedan. Modulen mäter extraversion, uthållighet, samarbetsvilja, positiv grundattityd och kreativitet.
De data som analyseras här baseras på testsvar från 4457 personer (Katapult) som tog screeningmodulen när de anmälde sig som sökande till olika jobb. Det är alltså data från testning i skarpt läge som det gäller.Korrelationerna mellan personlighetsdimensionerna och skönmålning framgår av tabellen nedan, liksom korrelationerna mellan råvärden och korrigerade värden.
| Korrelationer mellan personlighetsdimensioner och kovert skönmålning, samt okorrigerade och korrigerade data | ||
| Dimension | Korrelation med skönmålning | Korrelation rådata-korrigerade data |
| Extraversion | 0.49 | 0.87 |
| Uthållighet | 0.63 | 0.77 |
| Samarbetsvilja | 0.66 | 0.75 |
| Positiv grundattityd | 0.64 | 0.77 |
| Kreativitet | 0.32 | 0.95 |
I fyra av de fem fallen var sambanden starka mellan skönmålning och personlighetsdimensionen.
Märk också att effekten av korrektion var ytterst liten i ett av fallen (kreativitet) men större i de övriga. Detta är ett vanligt resultat. Olika dimensioner är i olika hög grad påverkade av skönmålning.
Men hur viktiga, eller stora, är effekterna?
Jag skapade en sammansatt poäng genom att beräkna medelvärdet av alla fem dimensionerna, med lika vikter, före och efter korrektion. Båda dessa summapoäng rangordnades i hela materialet. (Tack gode Gud för datorer). Därefter lade jag in gränsvärden för de bästa 1%, 5%, 10% och 20% för råvärdena. Hur många av dem som nådde dessa topp-placeringar behöll sina platser efter korrektion? Svar, se nedanstående tabell:
| Andel som behöll sin tätplats efter korrektion för skönmålning. Skarpt läge, N=4457. Data från Katapult. | |
| Andel i tätgruppen | Andel av tätgruppen som behöll sin position i tätgruppen efter korrektion för skönmålning |
| 0.01 | 8.9% |
| 0.05 | 11.7% |
| 0.10 | 12.8% |
| 0.20 | 17.7% |
Detta betyder att bland dem i den bästa procenten före korrektion var det bara 8.9% som behöll den placeringen efter korrektion. Vid mindre krav för topp-plats var andelen som behöll sin plats större men vid 20% topp-plats var det fortfarande bara 17.7 % som behöll platsen.
Med andra ord: över 80% av dem som hamnar på "lilla listan" om rekrytering baseras på personlighetstestet har troligen hamnat där på grund av att de bluffat på testet! Eftersom dessa data baseras på korrektion med enbart en skala i stället för vår vanliga design med två skalor är dessutom effekterna troligen underskattade.
Ett annat och enklare svar på frågan om det förekommer stora effekter av skönmålning kan vi få genom att se närmare på hur stora förändringar i rangplats som de 45 bästa (bästa procenten, 99:e percentilen) fick efter korrektion och ny rangordning. Som visade ovan var det 91% av dem som inte lyckades behålla sin plats. Fördelningen av skillnaderna mellan de två rangordningarna för de 45 bästa enligt rådata framgår av nedanstående graf. Medianen för tappade rangplatser var 545, alltså ett fall, i genomsnitt, från 99:e till 88:e percentilen. Mycket mera dramatiska fall förekom också, upp till 1200 rangplatser. I ljuset av de data som presenterats här är det enligt min mening osakligt att fortsätta att påstå att stark skönmålning "knappast förekommer".
Ännu en kontroll är intressant. Antag att vi försöker värja oss mot effekterna av skönmålning genom att utesluta dem som har högst värde i detta avseende. Det är troligen ett vanligt sätt att arbeta, som jag sett på nära håll under min tid på Handelshögskolan. Jag lade därför in en cut-off vid 21% av stickprovet och uteslöt 922 personer. (Just denna gräns var lämplig på grund av klustring av data; omkring 20-25 % är troligen vanligt). De som nu återstod i 99:e percentilen i rådata kunde emellertid inte alls försvara sina platser efter korrektion. Korrektionen medförde att deras rangplatser sjönk 629 steg, alltså ännu mera än för hela stickprovet. För att motverka de snedvridande effekterna av skönmålning måste man alltså korrigera fullt ut enligt den metod som använts här (och i våra övriga test) - uteslutande av dem som ligger högst på en "lögnskala" har bara kosmetiska effekter.
Frågan om hur kraftig skönmålningen är kan också besvaras genom att analysera den absoluta nivån på svaren.Den informationen brukar man inte använda i testpsykologin, men i andra sammanhang som medarbetarundersökningar gör man ju det. Det som talar mot att använda absolutnivån är att den påverkas av frågornas formulering. Då emellertid en skala i typfallet består av ganska många frågor motverkas den felkällan; man får trots allt en viss uppfattning om styrkan i svarstendensen. I fallet med våra data och måttet på skönmålning låg medianen på 4.33, svarsskala 1-5. 74 % av de testade hade ett värde > 4.0, mindre än 1 % låg under 3.0. De testade hade alltså en mycket stark tendens att välja skönmålande svar. Det stödjer min tes att skönmålning är stark och vanligt förekommande.
Man kan fråga sig om skönmålning har ännu flera konsekvenser. Det påstås ofta att validiteten inte påverkas av korrektion. Detta är nog tämligen riktigt, se data ovan som visar på höga samband mellan korrigerade och okorrigerade data. För vissa typer av kriterier kan de som skönmålar också ha förmåga att övertyga omgivningen i vidare mening om sin kompetens, men detta betyder naturligtvis inte att de också gör ett bättre jobb. Kvar står till slut att få nog vill ge prioritet åt dem som bluffar, att effekterna är stora och att systemet för korrektion som använts står på solid grund efter särskilda valideringar - se referenserna. Inga andra självrapporttest har en effektiv och validerad metodik för att korrigera för skönmålning (HPI, NEO), många - som MBTI (NEO-PI-R, Myers-Briggs) - ingen alls.
Ones et al. (1996) är en ofta åberopad artikel som anses stödja slutsatsen att skönmålning inte spelar någon roll. Den baseras på en mycket omfattande meta-analys men det är troligen inte data i skarpt läge som den bygger på, åtminstone inte i de flesta fallen. Författarna säger inte vilket som är fallet, men deras korrelationer mellan skönmålning och personlighetsdimensioner är dramatiskt mycket lägre än dem som presenterats här. Våra undersökningar har konsistent gett mycket högre korrelationer mellan personlighetsskalor och olika mått på skönmålning. Det är rimligt att tro att skönmålning har mycket större betydelse i skarpt läge än vid andra former av datainsamling, och det är ju skarpt läge som är det praktiskt intressanta.
Referenser
Ones, D. S., Viswesvaran, C., & Reiss, A. D. (1996). Role of social desirability in personality testing for personnel selection: The red herring. Journal of Applied Psychology, 81, 660-679.
Sjöberg, L. (2009). UPP-testet: Korrektion för skönmålning. Forskningsrapport 2009:3. Stockholm: Psykologisk Metod AB. Klicka här
Sjöberg, L. (2010). UPP/Screen: Ett screeningtest av personlighet och begåvning. Forskningsrapport 2010:7. Stockholm: Psykologisk Metod AB. Klicka här.
Saturday, July 3, 2010
Validering av NEO-PI-R
NEO-PI-R är ett välkänt test för att mäta "Big Five", eller femfaktormodellen för personlighet. Testet mäter dels de övergripande "fem stora", dels underskalor som kallas facetter. I en aktuell studie från Kanada undersöktes sex facetter för var och en av de fem stora dimensionerna i relation till arbetsprestation. (N=141). Se referens nedan.
Visserligen erhölls en del signifikanta samband, men de var inte imponerande. Korrelationerna mellan ett kriterium på "job performance" och sex facetter för varje övergripande dimension var i en av deras studier:
VÄNLIGHET: .30,.15,.07,-.08,-.03,.15
NOGGRANNHET: .17,.08,-.06,-.08.-.11,-,02
NEUROTICISM: .19,-.05,.01,.22,-.12,.07
EXTRAVERSION: .00,.04,.05,.08,-.13,-.17
ÖPPENHET: .02,.04,.06,-.12,.02,.04
En grov första sammanfattning av testets validitet i denna studie kan vi få genom att beräkna medianen av dessa korrelationer. När serien av korrelationer gör ett slumpmässigt intryck - som i detta fall - kan detta vara rimligt. Medianen av de 30 korrelationerna var 0.04. I en andra, något mindre studie, fick författarna troligen liknande resultat, men rapporterar inte enskilda korrelationer.
Detta är givetvis bara en av många studier men den är den mest aktuella. Om testet har en robust validitet bör den komma fram i olika sammanhang. NEO-PI-R används även i Sverige i arbetspsykologiska sammanhang - det finns nog aneldning att fundera på hur stor validitet testet egentligen har. Även mycket svaga samband kan ibland räcka för att argumentera för att ett test är användbart, främst vid urval och med liten urvalskvot, men nyttan för att bedöma enskilda personers testresultat är begränsad.
Referens
Pascale, L. D., Denis, M., & Claude, G. (2010).Exploring the Capacity of NEO PI-R Facets to Predict Job Performance in Two French-Canadian Samples,International Journal of Selection and Assessment,18,201-207).
Visserligen erhölls en del signifikanta samband, men de var inte imponerande. Korrelationerna mellan ett kriterium på "job performance" och sex facetter för varje övergripande dimension var i en av deras studier:
VÄNLIGHET: .30,.15,.07,-.08,-.03,.15
NOGGRANNHET: .17,.08,-.06,-.08.-.11,-,02
NEUROTICISM: .19,-.05,.01,.22,-.12,.07
EXTRAVERSION: .00,.04,.05,.08,-.13,-.17
ÖPPENHET: .02,.04,.06,-.12,.02,.04
En grov första sammanfattning av testets validitet i denna studie kan vi få genom att beräkna medianen av dessa korrelationer. När serien av korrelationer gör ett slumpmässigt intryck - som i detta fall - kan detta vara rimligt. Medianen av de 30 korrelationerna var 0.04. I en andra, något mindre studie, fick författarna troligen liknande resultat, men rapporterar inte enskilda korrelationer.
Detta är givetvis bara en av många studier men den är den mest aktuella. Om testet har en robust validitet bör den komma fram i olika sammanhang. NEO-PI-R används även i Sverige i arbetspsykologiska sammanhang - det finns nog aneldning att fundera på hur stor validitet testet egentligen har. Även mycket svaga samband kan ibland räcka för att argumentera för att ett test är användbart, främst vid urval och med liten urvalskvot, men nyttan för att bedöma enskilda personers testresultat är begränsad.
Referens
Pascale, L. D., Denis, M., & Claude, G. (2010).Exploring the Capacity of NEO PI-R Facets to Predict Job Performance in Two French-Canadian Samples,International Journal of Selection and Assessment,18,201-207).
Subscribe to:
Posts (Atom)
