Idén med proxyvalidering är att man relaterar sina testskalor till data på proxykriterier, som i sin tur är dimensioner av typ arbetsmotivation. Om de senare vet man att de har stabila och relativt höga samband med arbetsresultat eller andra viktiga dimensioner. Proxyvaliditeten är information om validitet hos ett test som är snabb att uppskatta och har man mätning av proxykriterierna inbakade i sitt test (vilket UPP har, men inga andra såvitt bekant) kan man rutinmässigt och utan extra kostnader göra studier av validiteten hos de test man använder, alltså även för test som INTE har proxykriterierna inbakade.
Jag har genomfört ett antal studier där jag DESSUTOM har haft tillgång till ett konventionellt externt kriterium i form av mått på arbetsresultat. Då har jag alltså kunnat uppskatta också validiteten av konventionellt slag. Resultatet har varit att proxyvaliditeten gett ungefär samma bild av testskalornas validitet som sambandet mellan dessa och det externa kriteriet.
I en pågående studie har jag undersökt "livsframgång" som kriterium. Denna har jag mätt i 12 olika avseenden som slagits ihop till ett sammansatt mått och relaterats till UPP-testets skalor. Dessa skalor har även relaterats till ett sedvanligt proxykriterium. De två serierna av korrelationer har relaterats i nedanstående figur.
Bilden visar ett starkt samband mellan de två serierna av korrelationer, vilket ger ytterligare starkt stöd för idén om proxyvaliditet. Hittills har alla studier av frågan gett ett sådan stöd. Vi kan nu vara ganska säkra på att proxyvalidering ger en hyfsad bild av validiteten hops ett test eller, för den delen, av vilken information som helst. Det är ett snabbt, enkelt och billigt sätt att validera, något som annars tar lång tid och är svårt och dyrbart att genomföra.
Recent research and practice in testing and psychometrics, with an emphasis on scientific and critical discussions.
Monday, March 14, 2011
Friday, March 4, 2011
Intervjuernas validitet
Vid anställningar spelar intervjuer en stor roll, helt naturligt. Men frågan är i vilken mån man kan lita på bedömningar på den grunden. De vanligaste intervjuerna är troligen av typen "djupintervjuer". Sambandet mellan bedömningar utifrån sådana ostrukturerade och psykologiskt spekulativa intervjuer är 0.15 enligt en stor meta-analys, se referens nedan. Härtill kommer att intervjuer är dyrbara, åtminstone jämfört med psykologiska tester. På sina håll har man en mycket stark tilltro till "djupintervjuer", men forskningen ger som sagt inget stöd för den tilltron.
Strukturerade intervjuer fungerar betydligt bättre, kanske för att alla intervjuade får samma frågor och svaren bedöms på ett systematiskt sätt. Men ändå kan man inte vänta sig att personbedömningar på den grunden är högt korrelerade med annan information, som testdata. Detta är bra på det sättet att intervjuerna ger ett oberoende tillskott, men oroande eftersom de två typerna av information inte begreppsvaliderar varandra.
Referens
McDaniel, M. A., Whetzel, D. L., Schmidt, F. L., & Maurer, S. D. (1994). The validity of employment interviews: A comprehensive review and meta-analysis. [doi:10.1037/0021-9010.79.4.599]. Journal of Applied Psychology, 79(4), 599-616.
Strukturerade intervjuer fungerar betydligt bättre, kanske för att alla intervjuade får samma frågor och svaren bedöms på ett systematiskt sätt. Men ändå kan man inte vänta sig att personbedömningar på den grunden är högt korrelerade med annan information, som testdata. Detta är bra på det sättet att intervjuerna ger ett oberoende tillskott, men oroande eftersom de två typerna av information inte begreppsvaliderar varandra.
Referens
McDaniel, M. A., Whetzel, D. L., Schmidt, F. L., & Maurer, S. D. (1994). The validity of employment interviews: A comprehensive review and meta-analysis. [doi:10.1037/0021-9010.79.4.599]. Journal of Applied Psychology, 79(4), 599-616.
Wednesday, March 2, 2011
Värderingar och emotionell intelligens
Emotionell intelligens (EI) mäts på två sätt: självrapportskalor och prestation. Den förstnämnda metodiken har visat sig ge intressanta tillskott till andra personlighetsskalor och det är om sådana data som jag skriver här.
EI ansågs en tid vara en mycket viktig dimension i de flesta sammanhang i arbetslivet. Numera vet vi att den visserligen är av betydelse men också att den inte har så stort genomslag som man först trodde när det gäller arbetsresultat. Det finns emellertid en annan aspekt som är av vikt, nämligen sambandet EI - värderingar. Vi har funnit starka negativa samband mellan EI och värderingar som man gärna vill undvika i arbetslivet, nämligen en cynisk, manipulativ och materialistisk attityd.
Att mäta värderingar direkt kan vara svårt eftersom syftet genomskådas. Men har man en bra EI-skala kan den användas som ersättning (proxy) för värdeskalor. Värderingar är viktiga i arbetslivet. Därför kan man med fördel använda sig av EI i personlighetstest.
Referenser
Engelberg, E., & Sjöberg, L. (2005). Emotional intelligence and interpersonal skills. In R. D. Roberts & R. Schulze (Eds.), International handbook of emotional intelligence (pp. 289-308). Cambridge MA: Hogrefe. Klicka här.
Engelberg, E., & Sjöberg, L. (2006). Money attitudes and emotional intelligence. Journal of Applied Social Psychology, 36(8), 2027-2047. Klicka här.
Engelberg, E., & Sjöberg, L. (2007). Money obsession, social adjustment, and economic risk perception. Journal of Socio-Economics, 36(5), 689-697. Klicka här.
Sjöberg, L. (2001). Emotional intelligence: A psychometric analysis. European Psychologist, 6, 79-95. Klicka här.
EI ansågs en tid vara en mycket viktig dimension i de flesta sammanhang i arbetslivet. Numera vet vi att den visserligen är av betydelse men också att den inte har så stort genomslag som man först trodde när det gäller arbetsresultat. Det finns emellertid en annan aspekt som är av vikt, nämligen sambandet EI - värderingar. Vi har funnit starka negativa samband mellan EI och värderingar som man gärna vill undvika i arbetslivet, nämligen en cynisk, manipulativ och materialistisk attityd.
Att mäta värderingar direkt kan vara svårt eftersom syftet genomskådas. Men har man en bra EI-skala kan den användas som ersättning (proxy) för värdeskalor. Värderingar är viktiga i arbetslivet. Därför kan man med fördel använda sig av EI i personlighetstest.
Referenser
Engelberg, E., & Sjöberg, L. (2005). Emotional intelligence and interpersonal skills. In R. D. Roberts & R. Schulze (Eds.), International handbook of emotional intelligence (pp. 289-308). Cambridge MA: Hogrefe. Klicka här.
Engelberg, E., & Sjöberg, L. (2006). Money attitudes and emotional intelligence. Journal of Applied Social Psychology, 36(8), 2027-2047. Klicka här.
Engelberg, E., & Sjöberg, L. (2007). Money obsession, social adjustment, and economic risk perception. Journal of Socio-Economics, 36(5), 689-697. Klicka här.
Sjöberg, L. (2001). Emotional intelligence: A psychometric analysis. European Psychologist, 6, 79-95. Klicka här.
Labels:
emotionell intelligens,
rekrytering,
värderingar
Subscribe to:
Posts (Atom)