Validity of integrity tests

Traditionally the view has been that integrity tests (actually honesty tests) have very high validity, based on an early meta-analysis (Ones, Viswesvaran, & Schmidt, 1993). Some skeptical comments have pointed out that many of the studies in this meta-analysis came directly from reports from test vendors. Yet the high validity of integrity tests it has become an established truth, and a basis for an entire industry producing integrity tests, based on Schmidt and Hunter (1998) who wrote that the g-factor + integrity is the best basis for prediction of work performance. This is probably wrong.

A current and updated meta-analysis clearly shows that validities of integrity tests are not higher than 0.2, perhaps as low as 0.1 (Van Iddekinge, Roth, Raymark, & Odle-Dusseau, 2012a, 2012b), even if they are corrected for measurement error in criteria and range restriction in the test. The earlier estimates were at level 0.4, i.e. higher than the standard personality test. It appears now that the skeptics have been right: the high validities come from test providers' own information, independent research does not confirm therm. A rather high value of validity can be obtained with self-ratings of counterproductive behavior at work, but this is not very interesting.

This is an example of how early meta-analysis can result in errors. Van Iddekinge et al. have published a very  ambitious project. The result is clear. Integrity test seems not to have significant practical value. And then we have not even discussed that such tests can easily be faked..

References

One, DS, Viswesvaran, C., & Schmidt, FL (1993). Comprehensive meta-analysis of integrity test validities: findings and implications for personnel selection and theories of job performance. Journal of Applied Psychology Monograph, 78, 679-703.

Schmidt, F. L. & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124, 262-274.

Van Iddekinge, CH, Roth, PL, Raymark, PH, & Odle-Dusseau, HN (2012a). The criterion-related validity of integrity tests: An updated meta-analysis. [Doi: 10.1037/a0021196]. Journal of Applied Psychology, 97 (3), 499-530.

Van Iddekinge, CH, Roth, PL, Raymark, PH, & Odle-Dusseau, HN (2012b). The critical role of the research question, inclusion criteria the, and transparency in meta-Analyses of integrity test research: A reply to Harris et al. (2012) and Ones, Viswesvaran, and Schmidt (2012). [Doi: 10.1037/a0026551]. Journal of Applied Psychology, 97 (3), 543-549.

Publiceras flera "signifikanta" resultat än vad forskarna faktiskt funnit?

Det är en vanlig misstanke att ej signifikanta resultat inte publiceras och att därför den vetenskapliga litteraturen ger en felaktig bild av hur starka sambanden faktiskt är ("the file drawer problem"). En sådan felfaktor skulle snedvrida meta-analyser som normalt enbart bygger på publicerade arbeten. I en aktuell artikel har emellertid  Dalton et al. (2012) gått igenom dels ett stort antal publicerade arbeten, dels många opublicerade doktorsavhandlingar. Resultaten är slående: Det är ungefär lika många signifikanta samband i båda fallen. På grundval av denna omfattande studie kan man dra den slutsatsen att problemet med "the file drawer" inte existerar eller åtminstone att det är betydligt mindre allvarligt än vad man hittills trott.

Referens

Dalton, D. R., Agunis, H., Dalton, C. M., Bosco, F. A., & Pierce, C. A. (2012). Revisiting the file drawer problem in meta-analysis: Assessment  of published and nonpublished correlation matrices. Personnel Psychology, 65(2), 221-249.

Integritetstestens validitet

Traditionellt har det ansetts att integritetstest (egentligen test på ärlighet) har mycket hög validitet, på grundval av en tidig meta-analys (Ones, Viswesvaran, & Schmidt, 1993). En del skeptiska kommentarer har pekat på att en stor del av de studier denna analys byggde på ej var publicerade utan kom direkt från rapporter från testleverantörerna. Ändå har det blivit en etablerad sanning, och en grundval för en hel industri som producerar integritetstestningar, utifrån Schmidt och Hunter (1998) som skrev att g-faktorn + integritet är den bästa grunden för prognos av arbetsresultat. Det är nog fel.

En aktuell och uppdaterad meta-analys visar tydligt att validiteterna hos integritetstesten inte är högre än 0.2, kanske så låga som 0.1 (Van Iddekinge, Roth, Raymark, & Odle-Dusseau, 2012a, 2012b), t o m om de är korrigerade för mätfel i kriterierna och begränsad spridning i testen. De tidigare uppskattningarna låg på nivån 0.4, alltså högre än de vanliga personlighetstesten. Det tycks som om skeptikerna har haft rätt: de höga validiteterna kommer från testleverantörernas egen information, oberoende forskning bekräftar den inte. Ett ganska högt värde på validiteten kan man få mot självskattningar av kontraproduktivt beteende i jobbet, men detta är ganska ointressant. Skattningar av andra som kriterium ger validiteter om kring 0.1. Schmidt och Hunter uppskattade validiteten till 0.41, vilket nu framstår som starkt vilseledande.

Detta är ett exempel på att tidiga meta-analyser kan leda fel. Van Iddekinge et al. har gjort ett enormt ambitiöst arbete. Resultatet är tydligt. Integritetstest tycks inte ha nämnvärt praktiskt värde. Och då har vi inte ens diskuterat att sådana test, liksom alla, kan fejkas.

Referenser

Ones, D. S., Viswesvaran, C., & Schmidt, F. L. (1993). Comprehensive meta-analysis of integrity test validities: findings and implications for personnel selection and theories of job performance. Journal of Applied Psychology Monograph, 78, 679-703.
Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124, 262-274.

Van Iddekinge, C. H., Roth, P. L., Raymark, P. H., & Odle-Dusseau, H. N. (2012a). The criterion-related validity of integrity tests: An updated meta-analysis. [doi:10.1037/a0021196]. Journal of Applied Psychology, 97(3), 499-530.

Van Iddekinge, C. H., Roth, P. L., Raymark, P. H., & Odle-Dusseau, H. N. (2012b). The critical role of the research question, inclusion criteria, and transparency in meta-analyses of integrity test research: A reply to Harris et al. (2012) and Ones, Viswesvaran, and Schmidt (2012). [doi:10.1037/a0026551]. Journal of Applied Psychology, 97(3), 543-549.

Rorschach och psykopati

I en abstract av en publicerad meta-analys kan man läsa:

Gacono and Meloy (2009) have concluded that the Rorschach Inkblot Test is a sensitive instrument with which to discriminate psychopaths from nonpsychopaths. We examined the association of psychopathy with 37 Rorschach variables in a meta-analytic review of 173 validity coefficients derived from 22 studies comprising 780 forensic participants. All studies included the Hare Psychopathy Checklist or one of its versions (Hare, 1980, 1991, 2003) and Exner's (2003) Comprehensive System for the Rorschach. Mean validity coefficients of Rorschach variables in the meta-analysis ranged from −.113 to .239, with a median validity of .070 and a mean validity of .062. Psychopathy displayed a significant and medium-sized association with the number of Aggressive Potential responses (weighted mean validity coefficient = .232) and small but significant associations with the Sum of Texture responses, Cooperative Movement = 0, the number of Personal responses, and the Egocentricity Index (weighted mean validity coefficients = .097 to .159). The remaining 32 Rorschach variables were not significantly related to psychopathy. The present findings contradict the view that the Rorschach is a clinically sensitive instrument for discriminating psychopaths from nonpsychopaths.

Referens

Wood, J. M., Lilienfeld, S. O., Nezworski, M. T., Garb, H. N., Allen, K. H., & Wildermuth, J. L. (2010). Validity of Rorschach Inkblot scores for discriminating psychopaths from nonpsychopaths in forensic populations: A meta-analysis. [doi:10.1037/a0018998]. Psychological Assessment, 22(2), 336-349.

Intervjuernas validitet

Vid anställningar spelar intervjuer en stor roll, helt naturligt. Men frågan är i vilken mån man kan lita på bedömningar på den grunden. De vanligaste intervjuerna är troligen av typen "djupintervjuer". Sambandet mellan bedömningar utifrån sådana ostrukturerade och psykologiskt spekulativa intervjuer är 0.15 enligt en stor meta-analys, se referens nedan. Härtill kommer att intervjuer är dyrbara, åtminstone jämfört med psykologiska tester. På sina håll har man en mycket stark tilltro till "djupintervjuer", men forskningen ger som sagt inget stöd för den tilltron.

Strukturerade intervjuer fungerar betydligt bättre, kanske för att alla intervjuade får samma frågor och svaren bedöms på ett systematiskt sätt. Men ändå kan man inte vänta sig att personbedömningar på den grunden är högt korrelerade med annan information, som testdata. Detta är bra på det sättet att intervjuerna ger ett oberoende tillskott, men oroande eftersom de två typerna av information inte begreppsvaliderar varandra. 



Referens

McDaniel, M. A., Whetzel, D. L., Schmidt, F. L., & Maurer, S. D. (1994). The validity of employment interviews: A comprehensive review and meta-analysis. [doi:10.1037/0021-9010.79.4.599]. Journal of Applied Psychology, 79(4), 599-616.

Personlighet och begåvning som prognosfaktorer

Det tycks vara en vanlig uppfattning bland arbetspsykologer att personlighet bara har en svag korrelation med arbetsresultat, medan däremot begåvning har stor betydelse. Det är en myt, som troligen har sin upprinnelse i en mycket ofta åberopad meta-analys av Schmidt och Hunter (1988).Påståendet om betydelsen av begåvning är väl underbyggt av empiriska resultat, men inte delen om personlighet.

Schmidt och Hunter skriver nämligen inte om test utan om - endast en - personlighetsdimension: noggrannhet. Det är helt riktigt att denna dimension, som fungerar bäst av Big Five enligt många meta-analyser, bara har en korrelation på ca 0.25 med arbetsresultat (något högre med utbildningsresultat). Men det betyder inte att personlighetstest har lika svag prognoskraft. Självrapporttest med fokuserade testskalor kan läggas till grund för index som når en validitet på 0.5+, vilket är nästan lika högt som begåvning (Sjöberg, 2010). (Siffran gäller efter korrektion för mätfel i kriteriet och begränsning av variationen i testet).

Big Five-test kan emellertid inte nå denna nivå så länge de håller sig till de övergripande fem faktorerna. En studie av ledarskap av Judge et al. (2002) tycks stöda Big Five, men deras slutsatser bygger på att de använt meta-analytiska uppskattningar av korrelationerna mellan Big Five-skalorna, som sedan starkt ifrågasatts (de är alldeles för låga).

Givetvis är det ofta lämpligt att använda personlighets- och begåvningstester parallellt. Men hur ska de i så fall vägas samman? Det finns inga stöd i data för en kraftigt större vikt för begåvning. Kanske bör de få ungefär lika vikt. Men det är inte säkert att man vill kompensera svagheter på personlighetssidan, t ex låg emotionell stabilitet, med hög intelligens när man väljer chefer. Det verkar inte ens troligt att så skulle vara fallet. En bättre lösning är då troligen att arbeta med minimikrav i båda avseendena, men utformningen av beslutsregler kräver i så fall mera forskning. För personer som uppfyller minimikraven i fråga om både personlighet och begåvning kan en kompensatorisk sammanvägning vara lämplig.

Detta har handlat om självrapporttest för personlighet. Dessa upplevs "ligga på ytan" och man vill ofta gå under ytan för att upptäcka eventuella brister som gränsar till psykopatologi. Då används projektiva test som Rorschach, Hjuletmetoden och DMT, men dessa har aldrig kunnat övertygande dokumenteras som prognosfaktorer i arbetslivet. Däremot finns tydliga resultat som länkar självrapporttest till kliniska syndrom och missbruksproblematik (Kotov et al., 2010). Troligen kan man nå ännu längre också här genom att arbeta med fokuserade - och inte alltför abstrakta och spekulativa/fantasifulla - skalor av typ narcissism och social rädsla. Sådana lösningar finns idag operationella och är att föredra framför teoretiskt grundade och abstrakta dimensioner. Teoretisk grund låter bra, men det måste vara bra teorier. Annars leds psykologen ut i en ökenvandring. .


Referenser

Judge, T. A., Bono, J. E., Ilies, R., & Gerhardt, M. W. (2002). Personality and leadership: A qualitative and quantitative review. Journal of Applied Psychology, 87(4), 765-780.


Kotov, R., Gamez, W., Schmidt, F., & Watson, D. (2010). Linking “big” personality traits to anxiety, depressive, and substance use disorders: A meta-analysis. [doi:10.1037/a0020327]. Psychological Bulletin, 136(5), 768-821.

Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124, 262-274.

Sjöberg, L. (2010 a). A third generation personality test (SSE/EFI Working Paper Series in Business Administration No. 2010:3). Stockholm: Stockholm School of Economics.

Sjöberg, L. (2010 b). Personlighetsdimensioners validitet i arbetslivet: teorier och empiri (SSE/EFI Working Paper Series in Business Administration No. 2010:6). Stockholm: Stockholm School of Economics.

Meta-analysens risker

Meta-analyser är numera mycket vanliga och åbropas ofta som stöd i jakten på evidens, t ex för psykologiska tester. Detta är i stort sett sunt, men det har sina risker. Som exempel tar jag en aktuell och mycket ambitiös genomgång av forskningen kring personlighet och militär flygutbildning, se referens nedan.

Campbell et al. försöker ge en heltäckande bild av området. Kan personlighetsvariabler predicera utfallet av militär flygutbildning? De finner att bara ett fåtal variabler har studerats i tillräckliga många publikationer. Det är främst extraversion och neuroticism som det handlar om. Båda har i snitt en svag men tydlig korrelation med kriteriet godkänd/icke godkänd, på nivån 0.10 - 0.20. Det är jämförbart med meta-analyser av femfaktormodellen inom andra områden, kanske något lägre. Campbell et al. är försiktiga när det gäller slutsatser för praktisk urvalsverksamhet, men säger att mera reliabla (läs längre) tester skulle kunna vara av värde, och det är allt! De menar också att inkluderande av mått på skönmålning kanske skulle kunna höja validiteten men citerar inga resultat i det avseendet.

Vad de därremot inte tar upp är att frågan om tester till skillnad från dimensioner. Tester mäter oftast många dimensioner och dessa sammanvägs när man försöker göra prognoser. Givetvis är det relevant att undersöka validiteten hos enskilda dimensioner, men det säger ganska lite om hur bra dessa dimensioner är i praktiskt arbete. Meta-analyser inbjuder till en simplistisk analysnivå av den typ som Campbell et al. ger ett bra exempel på. Tester är troligen betydligt bättre än vad Campbell et al. ger intryck av, om man använder dem för att bilda relevanta index som består av flera dimensioner. I valideringsarbete måste man undersöka värdet av index för att inte hamna i helt missvisande slutsatser. Campbell et al. hade troligen inte som syfte att undersöka validiteten hos tester, men läser man denna typ av meta-analys utan eftertanke missar man lätt distinktionen mellan tester och dimensioner.

Detta tror jag är den största risken med meta-ananlys inom området. En annan risk är att innovationers genomslag - i sig en långsam process - bromsas upp. Det tar mycket lång tid innan en ny idé har lett till tillräckligt många publikationer för att kunna läggas till grund för en meta-analys, troligen minst 10 år. och sedan tar det ytterligare några år innan analysen kommer i tryck. Ett,. kanske extremt, exempel är det svenska DMT, som funnits sedan 60-talet och använts i praktiskt arbete nästan lika länge. Campbell et al. nämner faktiskt DMT (som de tror är ett norskt test!) men går förbi detta och andra projektiva tester utan motivering. DMT anses av ganska många psykologer ha stort praktiskt värde och borde diskuteras i sammanhanget, de ganska få studier som finns har gett en splittrad bild som är ganska förvirrande. Kanske kom den forskningen inte med därför att den är för lite omfattande, ännu efter 40 år...

Referens

Campbell, J. S., Castaneda, M., & Pulos, S. (2010). Meta-analysis of personality assessments as predictors of military aviation training success. International Journal of Aviation Psychology, 20(1), 92-109.

Ny rapport: Personlighetstestens validitet i arbetslivet

Tidigare forskning om personlighetstest och arbetsresultat gav tämligen svaga resultat. Pessimismen var utbredd, men inte på goda grunder. Det har länge varit känt att test kan ge viktiga tillskott till beslutsfattandet i t ex urvalssammanhang, även om validiteten är relativt blygsam. Från omkring 1990 ökade intresset för frågeställningen i och med introducerandet av femfaktormodellen (FFM) för personlighet. Meta-analyser av Big Five-dimensionernas (B5) användbarhet i arbetslivet sammanfattas. De har publicerats under tiden 1984-2008 och bygger på 100-tals publicerade studier. Korrelationerna visade sig i allmänhet vara låga för alla dimensioner utom noggrannhet, där de tenderade att ligga i intervallet 0.20-0.25, också det ett relativt blygsamt värde. Slutsatsen om B5-dimensionerna som sådana är i enlighet med dessa mycket omfattande undersökningar att de är svagt eller inte alls korrelerade med kriterier i arbetslivet, om de tas var för sig. Multipla korrelationer kan emellertid ge betydligt bättre resultat, även om det är kontroversiellt hur de ska uppskattas på grundval av meta-analyser. Dessa tycks ha gett för låga uppskattningar av sambanden mellan B5-dimensionerna, och därmed en överskattning av de multipla korrelationerna mot kriterier. Alltmera omfattande forskning visar att smala, fokuserade variabler fungerar betydligt bättre än B5-dimensionerna och ger viktiga tillskott till dessa. En del av dessa variabler ingår som underskalor i FFM-test, andra som emotionell intelligens ligger utanför FFM-tänkandet och ingår i UPP-testet.  Sådana dimensioner ger viktiga tillskott till intelligens i prognosen av arbetsresultat, och av många andra viktiga aspekter på arbetsrelaterat beteende. Även index som bildas på ett urval av fokuserade personlighetsdimensioner kan ge mycket goda resultat, som närmar sig den prognoskraft som g-faktortest har. 

Läs hela rapporten här.

Big Five-validitet

Femfaktormodellen (FFM) med sina fem dominerande och övergripande dimensioner har kommit att dominera arbetspsykologisk testning i vårt land med kända test som OPQ, HPI, MBTI och NEO-PI-R. (Tre amerikanska och ett brittiskt, översatta till svenska men knappast validerade i Sverige annat än med enstaka studier). Eftersom modellen tar så stor plats både i internationell forskning och i praktik är den trovärdig om man inte följer valideringsforskningen. Denna har nämligen tydligt visat att FFM ger mycket magra tillskott till testens validitet för prognos av arbetsprestation och utbildningsresultat.

En av de bästa meta-analyserna av FFM-validitet publicerades år 2008 av Schmidt et al. (2008). De har gjort ett ambitiöst försök att hitta all relevant valideringsforskning och dessutom korrigerat resultaten för mätfel i kriterierna och begränsad variation i FFM-dimensionerna. Mätfel i kriterierna sänker korrelationerna och detsamma gäller begränsad variation. Deras värden torde därför vara de mest rättvisande som publicerats. Särskilt intressant är deras nyskapande metodik för att korrigera för begränsad variation - tidigare använda metoder gav för små effekter (Schmidt et al., 2006).

Medianvärden av validitetskoefficienterna (korrelationer) återfinns i nedanstående tabell.

Validitetskoefficienter (medianer) hos FFM-dimensioner samt intelligens (g-faktorn) enligt meta-analys av Schmidt et al. (2008).
Dimension	Arbetsprestation	Utbildningsresultat
Noggrannhet	0.209	0.260
Emotionell stabilitet	0.131	0.159
Vänlighet/smidighet	0.080	0.120
Extraversion/utåtvändhet	0.090	0.170
Öppenhet	0.040	0.240
Intelligens	0.615	0.665

Det är alltså bara noggrannhet som ligger över 0.20, även det en bra bit under det normala för personlighetstest som snarare ligger omkring 0.3 (sällan mera för enstaka skalor). Medianen för alla skalorna ligger på 0.090 för prestation och 0.170 för utbildningsresultat. Om man tillämpar STP:s kriterier för testgranskning och deras sätt att räkna skulle hela FFM underkännas!

Varför fungerar FFM så dåligt? Ett skäl är troligen att dimensionerna är för allmänna. De fokuserar inte på viktiga dimensioner i arbetslivet. Ett annat skäl är deras kognitiva, beskrivande, karaktär. Emotionella funktioner är viktigare (Sjöberg, 2008, 2010). 

Bättre validitet än ovanstående kan man inte hoppas på för de övergripande FFM-dimensionerna och man ställer sig lite undrande till det stora genomslaget för FFM-test i svensk praktik. Bättre resultat kan emellertid erhållas med andra dimensioner och vissa av underskalorna ("fasetter") till FFM-modellerna, mera därom i ett kommande inlägg.

Onekligen är det intressant att se vilken överlägsen validitet som allmänbegåvning har. Länge var det tabu i vårt land att tala om och använda intelligenstest, så tycks inte riktigt vara fallet längre och det är som synes på goda grunder.

Referenser

Schmidt, F. L., Oh, I.-S., & Le, H. (2006). Increasing the accuracy of corrections for range restriction: Implications for selection procedure validities and other research results. Personnel Psychology, 59(2), 281-305.


Schmidt, F. L., Shaffer, J. A., & Oh, I.-S. (2008). Increased accuracy for range restriction corrections: Implications for the role of personality and general mental ability in job and training performance. [doi:10.1111/j.1744-6570.2008.00132.x]. Personnel Psychology, 61(4), 827-868.

Sjöberg, L. (2008). Bortom Big Five: Konstruktion och validering av ett personlighetstest. (SSE/EFI Working Paper Series in Business Administration No. 2008:7). Stockholm: Stockholm School of Economics.Klicka här.


Sjöberg, L. (2010). A third generation personality test (SSE/EFI Working Paper Series in Business Administration No. 2010:3). Stockholm: Stockholm School of Economics. Klicka här,