Det finns aktuell forskning som visat att man kan göra ganska bra prognoser av beteende utifrån "thin slices". alltså mycket snabba iakttagelser av en person, som kan handla om några minuter eller ännu mindre. Se referenser nedan, som bl a handlar om prognoser av våldsamhet och psykopatiskt beteende.
Detta är ju paradoxala resultat. Vi vet sedan gammalt att man snabbt bildar sig ett första intryck av en person, t ex vid en anställningsintervju, men det är en ny tanke att dessa snabba intryck faktiskt kan vara rättvisande, inte bara ett uttryck för fördomar. Givetvis kan det vara en fördel för ett företag om man kan höja sig över dessa första intryck och leta vidare, intrycken är på inget sätt perfekta även om de har en viss validitet. I vardagslivet kan det emellertid vara till nytta att gå på sin "magkänsla" eftersom man sällan får mera information.
Intressant idé: att utveckla mycket snabba tester som går på principen om "thin slices". Wunderbar-testet på begåvningens g-faktor som jag skrev om på denna blogg är ett exempel. Bara 16 minuter för att få en reliabel och valid mätning av g-faktorn, med all dess inneboende prognoskraft! Eftersom vi nu har väl etablerad kunskap om personlighetens betydelse för arbetsresultat. på grundval av tester som tar ca 40 minuter, är det frestande att pröva screeningtester (t ex UPP/Screen) som tar ca en kvart. Det som gör utvecklingen alltför långsam inom denna verksamhet är svårigheten att etablera samarbete med forskningsintresserade företag. Kom gärna med tips! Se denna bloggs nätverksinbjudan.
Referenser
Carney, D. R., Colvin, C. R., & Hall, J. A. (2007). A thin slice perspective on the accuracy of first impressions. Journal of Research in Personality, 41(5), 1054-1072.
Fowler, K. A., Lilienfeld, S. O., & Patrick, C. J. (2009). Detecting psychopathy from thin slices of behavior. Psychological Assessment, 21(1), 68-78.
Stillman, T. F., Maner, J. K., & Baumeister, R. F. (2010). A thin slice of violence: Distinguishing violent from nonviolent sex offenders at a glance. Evolution and Human Behavior, 31(4), 298-303.
Recent research and practice in testing and psychometrics, with an emphasis on scientific and critical discussions.
Friday, December 31, 2010
Thin slices
Labels:
g-faktorn,
prognoser,
screening,
thin slices
Tuesday, December 28, 2010
Chefers kontrollbehov
Vid seminarier i början av hösten dök det upp önskemål om testning av kontrollbehov, vid chefstillsättningar. Studier av forskningen visade att det har gjorts ytterst få försök att mäta denna dimension. Ett undantag är Burgers arbete med en skala som han kallat "Desire for control".
I en studie som just nu är på gång undersöktes hans skala i en svensk version.Reliabiliteten var ganska låg, 0.62, och innehållet spritt över vida fält. Troligen var detta en poäng med skalan, att den skulle mäta ett generellt kontrollbehov. I stället konstruerade vi en skala som mäter kontrollbehov inom arbetslivet, med en hög reliabilitet (0.86). De två skalorna samvarierade 0.42 efter korrektion för mätfel, tämligen blygsamt med naturligt med tanke på Burgers skalas breda innehåll och komplexa struktur. Vår skala korrelerade negativt med samarbetsvilja och (positiv) grundattityd, positivt med noggrannhet. En chef med högt kontrollbehov framstår inte som idealisk enligt dessa resultat. Skalan är färdig att använda praktiskt.
Referenser
Burger, J. M. (1992). Desire for control: Personality, social, and clinical perspectives: New York, NY, US: Plenum Press.
Burger, J. M. (1992). Desire for control and academic performance. Canadian Journal of Behavioural Science/Revue canadienne des sciences du comportement, 24(2), 147-155.
I en studie som just nu är på gång undersöktes hans skala i en svensk version.Reliabiliteten var ganska låg, 0.62, och innehållet spritt över vida fält. Troligen var detta en poäng med skalan, att den skulle mäta ett generellt kontrollbehov. I stället konstruerade vi en skala som mäter kontrollbehov inom arbetslivet, med en hög reliabilitet (0.86). De två skalorna samvarierade 0.42 efter korrektion för mätfel, tämligen blygsamt med naturligt med tanke på Burgers skalas breda innehåll och komplexa struktur. Vår skala korrelerade negativt med samarbetsvilja och (positiv) grundattityd, positivt med noggrannhet. En chef med högt kontrollbehov framstår inte som idealisk enligt dessa resultat. Skalan är färdig att använda praktiskt.
Referenser
Burger, J. M. (1992). Desire for control: Personality, social, and clinical perspectives: New York, NY, US: Plenum Press.
Burger, J. M. (1992). Desire for control and academic performance. Canadian Journal of Behavioural Science/Revue canadienne des sciences du comportement, 24(2), 147-155.
Saturday, December 18, 2010
Snabb och enkel mätning av g-faktorn: Wunderbar
Allmänintelligens, eller g-faktorn, är sedan mer än 100 år känd som en viktig faktor i många sammanhang, inte minst i arbetslivet. Vi har nu tagit fram och begreppsvaliderat ett kort begåvningstest, med arbetsnamnet Wunderbar, som tar 16 minuter (tidskontrollerat) och består av 17 uppgifter, hälften analogier och hälften ett induktivt/spatialt delprov (pricktestet), utvecklat inom Katapult. Testet är idag kopplat till screeningtestet UPP/Screen men kan lätt göras fristående eller kopppas även till hela UPP-testet. Lika många (och parallella) uppgifter ingår i en verifieringsversion av Wunderbar som kan ges för att säkerställa resultaten efter en första oövervakad testning på Internet.
Normdata finns från ca 1500 testade.
Nya data (67 testade på Internet) visar nu
en korrelation på 0.50 mellan de två deltesten
denna stiger till 0.80 efter korrektion för mätfel
reliabilitet på 0.73 för hela Wunderbar
korrelation med högskoleprovet 0.65, efter korrektion för mätfel 0.82
Vi har m a o trovärdiga data för tolkningen av Wunderbar som ett snabbt g-faktortest. På 16 minuter får man information om allmänintelligens som är minst lika bra som den man får från andra, dyrbara och tidskrävande test. Om man vill ha ett icke-verbalt g-test kan man använda den delen av Wunderbar som inte förutsätter kunskaper i svenska (utom för den enkla instruktionen). Det är en fördel med Wunderbar som beror på att detta test arbetar med två grupper av uppgifter, inte en samling disparata uppgifter av vitt skilda slag.
Personlighet + begåvning är en oslagbar kombination, särskilt med tanke på att de i stort sett är nollkorrelerade. Vi har ju fått validiteter på ca 0.5 för UPP i aktuell forskning, tilläget av Wunderbar borde kunna ge resultat på ca 0.7.
Normdata finns från ca 1500 testade.
Nya data (67 testade på Internet) visar nu
en korrelation på 0.50 mellan de två deltesten
denna stiger till 0.80 efter korrektion för mätfel
reliabilitet på 0.73 för hela Wunderbar
korrelation med högskoleprovet 0.65, efter korrektion för mätfel 0.82
Vi har m a o trovärdiga data för tolkningen av Wunderbar som ett snabbt g-faktortest. På 16 minuter får man information om allmänintelligens som är minst lika bra som den man får från andra, dyrbara och tidskrävande test. Om man vill ha ett icke-verbalt g-test kan man använda den delen av Wunderbar som inte förutsätter kunskaper i svenska (utom för den enkla instruktionen). Det är en fördel med Wunderbar som beror på att detta test arbetar med två grupper av uppgifter, inte en samling disparata uppgifter av vitt skilda slag.
Personlighet + begåvning är en oslagbar kombination, särskilt med tanke på att de i stort sett är nollkorrelerade. Vi har ju fått validiteter på ca 0.5 för UPP i aktuell forskning, tilläget av Wunderbar borde kunna ge resultat på ca 0.7.
Sunday, December 5, 2010
Hyperkritisk artikel om tendensen att skönmåla som personlighetsdrag
Uziel (2010) har publicerat en artikel om skönmålning Hans tes är att skönmålning inte kan mätas med hjälp av skalor som mäter social önskvärdhet (IM-skalor). Dessa skalor är nämligen enligt omfattande forskning korrelerade med en mängd andra variabler, mestadels med positivt innehåll. Därför skulle de mäta ett personlighetsdrag och kan inte vara mått på en "response style", enligt honom.
Det är en argumentation som är ganska vanlig. Men logiken är svag. Även om IM-skalor mäter tendensen att ge en överdrivet positiv bild av sig själv kan de vara korrelerade med andra variabler. Det är ett orimligt krav att de inte ska samvariera med något annat. I själva verket måste de samvariera med de personlighetsdrag som man önskar korrigera för skönmålning, annars försvinner vitsen med hela proceduren. (Det blir ingen effekt av korrektionen). Det finns också en rad positiva resultat som kraftigt stödjer korrektionen för skönmålning (Sjöberg, 2010).
Så låt gå för att det finns en rad samband mellan IM-skalor och andra variabler. Hur stor kan effekten av sådana samband vara? Finns det en risk att man "överkorrigerar", dvs eliminerar varians som är av verklig betydelse och inte bara felet i mätningen, felet som beror på en överdrivet positiv bild?
För att pröva den möjligheten gjorde jag följande analys på mina normdata för UPP-testet. IM-skalorna korrigerades först för positiv grundattityd. Detta är en slagkraftig variabel som bör fånga upp det mesta av den aspekt på skönmålning som Uziel diskuterar. De korrigerade IM-skalorna användes sedan för att korrigera för skönmålning på samma sätt de okorrigerade IM-skalorna. Det senare är den standardprocedur som används i testet. Effekten var inte särskilt stark. En variabel som emotionell stabilitet samvarierade mycket högt efter vanlig korrektion och efter korrektion med en eventuell effekt av positiv grundattityd eliminerad (r = 0.9).
Uziels artikel är bra som exempel på argumentation mot korrektion för skönmålning. Vanligt är ju att man påstår att skönmålning inte förkommer och att den, om den skulle förekomma, saknar betydelse. Han lägger till tendensen att den inte går att mäta. Dessa argument är uppenbart empiriskt felaktiga och även ologiska, hyperkritiska. Hyperkritiska diskurser av den här typen utmärks av att man söker med ljus och lykta efter något sätt att skjuta en teori eller metodik i sank, och i sin iver tappar man kontakten med logik, sansat omdöme och sunt förnuft. Ett annat exempel på hyperkritik är Morgeson et al. (2007 a,b) som försöker totalt såga all personlighetstestning, vilket leder dem till destruktiva och mycket missvisande slutsatser (Sjöberg, 2010).
Referenser
Morgeson, F. P., Campion, M. A., Dipboye, R. L., Hollenbeck, J. R., Murphy, K., & Schmitt, N. (2007). Reconsidering the use of personality tests in personnel selection contexts. Personnel Psychology, 60(3), 683-729.
Morgeson, F. P., Campion, M. A., Dipboye, R. L., Hollenbeck, J. R., Murphy, K., & Schmitt, N. (2007). Are we getting fooled again? Coming to terms with limitations in the use of personality tests for personnel selection. Personnel Psychology, 60(4), 1029-1049.
Sjöberg, L. (2009). UPP-testet: Korrektion för skönmålning. Forskningsrapport 2009:3. Stockholm: Psykologisk Metod AB.Klicka här.
Sjöberg, L. (2010). Personlighetsdimensioners validitet i arbetslivet: teorier och empiri (SSE/EFI Working Paper Series in Business Administration No. 2010:6). Stockholm: Stockholm School of Economics. Klicka här,
Uziel, L. (2010). Rethinking social desirability scales: from impression management to interpersonally oriented self-control. Perspectives on Psychological Science, 5(3), 243-262.
Det är en argumentation som är ganska vanlig. Men logiken är svag. Även om IM-skalor mäter tendensen att ge en överdrivet positiv bild av sig själv kan de vara korrelerade med andra variabler. Det är ett orimligt krav att de inte ska samvariera med något annat. I själva verket måste de samvariera med de personlighetsdrag som man önskar korrigera för skönmålning, annars försvinner vitsen med hela proceduren. (Det blir ingen effekt av korrektionen). Det finns också en rad positiva resultat som kraftigt stödjer korrektionen för skönmålning (Sjöberg, 2010).
Så låt gå för att det finns en rad samband mellan IM-skalor och andra variabler. Hur stor kan effekten av sådana samband vara? Finns det en risk att man "överkorrigerar", dvs eliminerar varians som är av verklig betydelse och inte bara felet i mätningen, felet som beror på en överdrivet positiv bild?
För att pröva den möjligheten gjorde jag följande analys på mina normdata för UPP-testet. IM-skalorna korrigerades först för positiv grundattityd. Detta är en slagkraftig variabel som bör fånga upp det mesta av den aspekt på skönmålning som Uziel diskuterar. De korrigerade IM-skalorna användes sedan för att korrigera för skönmålning på samma sätt de okorrigerade IM-skalorna. Det senare är den standardprocedur som används i testet. Effekten var inte särskilt stark. En variabel som emotionell stabilitet samvarierade mycket högt efter vanlig korrektion och efter korrektion med en eventuell effekt av positiv grundattityd eliminerad (r = 0.9).
Uziels artikel är bra som exempel på argumentation mot korrektion för skönmålning. Vanligt är ju att man påstår att skönmålning inte förkommer och att den, om den skulle förekomma, saknar betydelse. Han lägger till tendensen att den inte går att mäta. Dessa argument är uppenbart empiriskt felaktiga och även ologiska, hyperkritiska. Hyperkritiska diskurser av den här typen utmärks av att man söker med ljus och lykta efter något sätt att skjuta en teori eller metodik i sank, och i sin iver tappar man kontakten med logik, sansat omdöme och sunt förnuft. Ett annat exempel på hyperkritik är Morgeson et al. (2007 a,b) som försöker totalt såga all personlighetstestning, vilket leder dem till destruktiva och mycket missvisande slutsatser (Sjöberg, 2010).
Referenser
Morgeson, F. P., Campion, M. A., Dipboye, R. L., Hollenbeck, J. R., Murphy, K., & Schmitt, N. (2007). Reconsidering the use of personality tests in personnel selection contexts. Personnel Psychology, 60(3), 683-729.
Morgeson, F. P., Campion, M. A., Dipboye, R. L., Hollenbeck, J. R., Murphy, K., & Schmitt, N. (2007). Are we getting fooled again? Coming to terms with limitations in the use of personality tests for personnel selection. Personnel Psychology, 60(4), 1029-1049.
Sjöberg, L. (2009). UPP-testet: Korrektion för skönmålning. Forskningsrapport 2009:3. Stockholm: Psykologisk Metod AB.Klicka här.
Sjöberg, L. (2010). Personlighetsdimensioners validitet i arbetslivet: teorier och empiri (SSE/EFI Working Paper Series in Business Administration No. 2010:6). Stockholm: Stockholm School of Economics. Klicka här,
Uziel, L. (2010). Rethinking social desirability scales: from impression management to interpersonally oriented self-control. Perspectives on Psychological Science, 5(3), 243-262.
Subscribe to:
Posts (Atom)