Publiceras flera "signifikanta" resultat än vad forskarna faktiskt funnit?

Det är en vanlig misstanke att ej signifikanta resultat inte publiceras och att därför den vetenskapliga litteraturen ger en felaktig bild av hur starka sambanden faktiskt är ("the file drawer problem"). En sådan felfaktor skulle snedvrida meta-analyser som normalt enbart bygger på publicerade arbeten. I en aktuell artikel har emellertid  Dalton et al. (2012) gått igenom dels ett stort antal publicerade arbeten, dels många opublicerade doktorsavhandlingar. Resultaten är slående: Det är ungefär lika många signifikanta samband i båda fallen. På grundval av denna omfattande studie kan man dra den slutsatsen att problemet med "the file drawer" inte existerar eller åtminstone att det är betydligt mindre allvarligt än vad man hittills trott.

Referens

Dalton, D. R., Agunis, H., Dalton, C. M., Bosco, F. A., & Pierce, C. A. (2012). Revisiting the file drawer problem in meta-analysis: Assessment  of published and nonpublished correlation matrices. Personnel Psychology, 65(2), 221-249.

Integritetstestens validitet

Traditionellt har det ansetts att integritetstest (egentligen test på ärlighet) har mycket hög validitet, på grundval av en tidig meta-analys (Ones, Viswesvaran, & Schmidt, 1993). En del skeptiska kommentarer har pekat på att en stor del av de studier denna analys byggde på ej var publicerade utan kom direkt från rapporter från testleverantörerna. Ändå har det blivit en etablerad sanning, och en grundval för en hel industri som producerar integritetstestningar, utifrån Schmidt och Hunter (1998) som skrev att g-faktorn + integritet är den bästa grunden för prognos av arbetsresultat. Det är nog fel.

En aktuell och uppdaterad meta-analys visar tydligt att validiteterna hos integritetstesten inte är högre än 0.2, kanske så låga som 0.1 (Van Iddekinge, Roth, Raymark, & Odle-Dusseau, 2012a, 2012b), t o m om de är korrigerade för mätfel i kriterierna och begränsad spridning i testen. De tidigare uppskattningarna låg på nivån 0.4, alltså högre än de vanliga personlighetstesten. Det tycks som om skeptikerna har haft rätt: de höga validiteterna kommer från testleverantörernas egen information, oberoende forskning bekräftar den inte. Ett ganska högt värde på validiteten kan man få mot självskattningar av kontraproduktivt beteende i jobbet, men detta är ganska ointressant. Skattningar av andra som kriterium ger validiteter om kring 0.1. Schmidt och Hunter uppskattade validiteten till 0.41, vilket nu framstår som starkt vilseledande.

Detta är ett exempel på att tidiga meta-analyser kan leda fel. Van Iddekinge et al. har gjort ett enormt ambitiöst arbete. Resultatet är tydligt. Integritetstest tycks inte ha nämnvärt praktiskt värde. Och då har vi inte ens diskuterat att sådana test, liksom alla, kan fejkas.

Referenser

Ones, D. S., Viswesvaran, C., & Schmidt, F. L. (1993). Comprehensive meta-analysis of integrity test validities: findings and implications for personnel selection and theories of job performance. Journal of Applied Psychology Monograph, 78, 679-703.
Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124, 262-274.

Van Iddekinge, C. H., Roth, P. L., Raymark, P. H., & Odle-Dusseau, H. N. (2012a). The criterion-related validity of integrity tests: An updated meta-analysis. [doi:10.1037/a0021196]. Journal of Applied Psychology, 97(3), 499-530.

Van Iddekinge, C. H., Roth, P. L., Raymark, P. H., & Odle-Dusseau, H. N. (2012b). The critical role of the research question, inclusion criteria, and transparency in meta-analyses of integrity test research: A reply to Harris et al. (2012) and Ones, Viswesvaran, and Schmidt (2012). [doi:10.1037/a0026551]. Journal of Applied Psychology, 97(3), 543-549.

Begåvningstest och studieresultat vid HHS

Begåvningstest har ofta ett bra prognosvärde för studieresultat, ett exempel finns i en rapport jag gjorde på uppdrag av Handelshögskolan i Stockholm för ganska länge sedan, men resultaten står sig nog, se rapporten här. Rapporten återger de skilda perspektiv som gällde på 1980-talet och numera. Det är slående hur viktig g-faktorn var i dessa data, och hur en enkel sammanvägning av 7 test med lika vikter var jämförbar med en multipel regressionsmodell.

Referens

Sjöberg, L. (2012). Begåvningstest vid urval av sökande till Handelshögskolan i Stockholm. Stockholm: Psykologisk Metod AB.

Kontrollbehov ledde till avsked

I Dagens Industri den 1 juni 2012 läser jag att "Ledarstilen fick Södras VD på fall". Ordföranden citeras: "Det har funnits ett stort kontrollbehov".

Det är ett intressant fall, eftersom UPP-testet är ett av de få personlighetstesten (det enda?) som mäter just kontrollbehov, med en validerad och normerad skala. (Plus ett antal andra relevanta egenskaper, allt kontrollerat för skönmålning. Se denna artikel i Dagens Industri, här.) Ett stort antal chefskandidater har testats i skarpt läge och utgör en lämplig norm, men även andra normer kan användas. Se vidare om testet här.

Personlighet är i hög grad avgörande för om högt uppsatta chefer lyckas eller misslyckas, se en  utmärkt översikt av Hogan m. fl. här.

Alla har inte den personlighet som krävs för ett ledarskap som måste fungera både socialt och ekonomiskt. Man kan få värdefull information om en kandidat med hjälp av test, även sådana aldrig ger ett slutgiltigt svar. Vi vet dock att vissa test knappast har något samband alls med arbetsresultat; detta gäller bl a de populära Big Five-testen, se en översikt här.