Snabb och enkel mätning av g-faktorn: Wunderbar

Allmänintelligens, eller g-faktorn, är sedan mer än 100 år känd som en viktig faktor i många sammanhang, inte minst i arbetslivet. Vi har nu tagit fram och begreppsvaliderat ett kort begåvningstest, med arbetsnamnet Wunderbar, som tar 16 minuter (tidskontrollerat) och består av 17 uppgifter, hälften analogier och hälften ett induktivt/spatialt delprov (pricktestet), utvecklat inom Katapult. Testet är idag kopplat till screeningtestet UPP/Screen men kan lätt göras fristående eller kopppas även till hela UPP-testet. Lika många (och parallella) uppgifter ingår i en verifieringsversion av Wunderbar som kan ges för att säkerställa resultaten efter en första oövervakad testning på Internet.



Normdata finns från ca 1500 testade.

Nya data (67 testade på Internet) visar nu

en korrelation på 0.50 mellan de två deltesten
denna stiger till 0.80 efter korrektion för mätfel
reliabilitet på 0.73 för hela Wunderbar
korrelation med högskoleprovet 0.65, efter korrektion för mätfel 0.82

Vi har m a o trovärdiga data för tolkningen av Wunderbar som ett snabbt g-faktortest. På 16 minuter får man information om allmänintelligens som är minst lika bra som den man får från andra, dyrbara och tidskrävande test.  Om man vill ha ett icke-verbalt g-test kan man använda den delen av Wunderbar som inte förutsätter kunskaper i svenska (utom för den enkla instruktionen). Det är en fördel med Wunderbar som beror på att detta test arbetar med två grupper av uppgifter, inte en samling disparata uppgifter av vitt skilda slag.

Personlighet + begåvning är en oslagbar kombination, särskilt med tanke på att de i stort sett är nollkorrelerade. Vi har ju fått validiteter på ca 0.5 för UPP i aktuell forskning, tilläget av Wunderbar borde kunna ge resultat på ca 0.7.

Hyperkritisk artikel om tendensen att skönmåla som personlighetsdrag

Uziel (2010) har publicerat en artikel om skönmålning Hans tes är att skönmålning inte kan mätas med hjälp av skalor som mäter social önskvärdhet (IM-skalor). Dessa skalor är nämligen enligt omfattande forskning korrelerade med en mängd andra variabler, mestadels med positivt innehåll. Därför skulle de mäta ett personlighetsdrag och kan inte vara mått på en "response style", enligt honom.

Det är en argumentation som är ganska vanlig. Men logiken är svag. Även om IM-skalor mäter tendensen att ge en överdrivet positiv bild av sig själv kan de vara korrelerade med andra variabler. Det är ett orimligt krav att de inte ska samvariera med något annat. I själva verket måste de samvariera med de personlighetsdrag som man önskar korrigera för skönmålning, annars försvinner vitsen med hela proceduren. (Det blir ingen effekt av korrektionen). Det finns också en rad positiva resultat som kraftigt stödjer korrektionen för skönmålning (Sjöberg, 2010).

Så låt gå för att det finns en rad samband mellan IM-skalor och andra variabler. Hur stor kan effekten av sådana samband vara? Finns det en risk att man "överkorrigerar", dvs eliminerar varians som är av verklig betydelse och inte bara felet i mätningen, felet som beror på en överdrivet positiv bild?

För att pröva den möjligheten gjorde jag följande analys på mina normdata för UPP-testet. IM-skalorna korrigerades först för positiv grundattityd. Detta är en slagkraftig variabel som bör fånga upp det mesta av den aspekt på skönmålning som Uziel diskuterar. De korrigerade IM-skalorna användes sedan för att korrigera för skönmålning på samma sätt de okorrigerade IM-skalorna. Det senare är den standardprocedur som används i testet. Effekten var inte särskilt stark. En variabel som emotionell stabilitet samvarierade mycket högt efter vanlig korrektion och efter korrektion med en eventuell effekt av positiv grundattityd eliminerad (r = 0.9).



Uziels artikel är bra som exempel på argumentation mot korrektion för skönmålning. Vanligt är ju att man påstår att skönmålning inte förkommer och att den, om den skulle förekomma, saknar betydelse. Han lägger till tendensen att den inte går att mäta. Dessa argument är uppenbart empiriskt felaktiga och även ologiska, hyperkritiska. Hyperkritiska diskurser av den här typen utmärks av att man söker med ljus och lykta efter något sätt att skjuta en teori eller metodik i sank, och i sin iver tappar man kontakten med logik, sansat omdöme och sunt förnuft. Ett annat exempel på hyperkritik är Morgeson et al. (2007 a,b) som försöker totalt såga all personlighetstestning, vilket leder dem till destruktiva och mycket missvisande slutsatser (Sjöberg, 2010).

Referenser

Morgeson, F. P., Campion, M. A., Dipboye, R. L., Hollenbeck, J. R., Murphy, K., & Schmitt, N. (2007). Reconsidering the use of personality tests in personnel selection contexts. Personnel Psychology, 60(3), 683-729.

Morgeson, F. P., Campion, M. A., Dipboye, R. L., Hollenbeck, J. R., Murphy, K., & Schmitt, N. (2007). Are we getting fooled again? Coming to terms with limitations in the use of personality tests for personnel selection. Personnel Psychology, 60(4), 1029-1049.

Sjöberg, L. (2009). UPP-testet: Korrektion för skönmålning. Forskningsrapport 2009:3. Stockholm: Psykologisk Metod AB.Klicka här.

Sjöberg, L. (2010). Personlighetsdimensioners validitet i arbetslivet: teorier och empiri (SSE/EFI Working Paper Series in Business Administration No. 2010:6). Stockholm: Stockholm School of Economics. Klicka här,


Uziel, L. (2010). Rethinking social desirability scales: from impression management to interpersonally oriented self-control. Perspectives on Psychological Science, 5(3), 243-262.

Trovärdig personlighetstestning

Personlighetstest av självrapporttyp – den absolut vanligaste typen i praktiskt arbetspsykologiskt arbete – har tveksam trovärdighet i mångas ögon eftersom man misstänker att många testade framställer sig själva i alltför positiva dager (skönmålar), om mycket står på spel. Dessutom differentierar testen dåligt v dessa skäl – de testade ”slår i taket”. Leverantörer av testet, nästan alltid översättningar av amerikanska förlagor, brukar emellertid förneka dessa problem. Tidigare erfarenheter har emellertid visat att skönmålning är vanligt förekommande vid personlighetstestning i skarpt läge. Vid rekrytering till chefsbefattningar har män skönmålat mera än kvinnor, varför den senare gruppen systematiskt missgynnats, i den mån testresultaten påverkat anställningsbeslut 


Nu finns nya data som stödjer användningen av UPP-testets metodik för korrektion för skönmålning.Testresultat erhållna vid chefsrekrytering (N=80) jämfördes med normdata före och efter korrektion skönmålning. Skönmålningen låg på mycket hög nivå i kandidatgruppen. Män skönmålade mera än kvinnor. Stora skillnader fanns mellan grupperna före korrektion men eliminerades eller reducerades starkt. Testvärdena ”slog i taket” före korrektion – de flesta hade mycket positiva värden - men uppvisade en symmetrisk fördelning efter korrektion, och kraftigt förskjuten mot lägre värden. Män uppvisade mycket mera positiva värden än kvinnor före korrektion, vilket ändrades till en fördel för kvinnorna efter korrektion, med undantag för extraversion där emellertid skillnaden nästan halverades. Av dem som låg i de högsta 10 procenten på en sammansatt variabel var det bara 50 % som behöll sin tätposition efter korrektion. Alla dessa resultat gäller UPP-testets fem ”Big Five”-variabler men tendenserna är desamma för övriga personlighetsvariabler i testet, och även för måtten på arbetsattityder och arbetsmotivation. UPP-testet har flera unika fördelar, korrektionen för skönmålning är unik och därtill ingående analys av datakvalitet, mätning av emotionellt tillstånd under testningen, på arbetslivet fokuserade dimensioner samt långt driven datasäkerhet. (Inga data skickas utomlands för utvärdering). Vi ser nu att detta nya svenska test konkurrerar ut kända amerikanska konkurrenter som HPI, HDS och NEO. Flera stora rekryteringsfirmor har tecknat licens på UPP under hösten.


Läs hela rapporten här,

Vanliga problem med personlighetstest - och svårlösta sådana

Personlighetstest som används i arbetslivet är oftast av självrapporttyp och inriktade mot att mäta Big Five-dimensioner (B5), samt underskalor till dem. Ingen korrektion för skönmålning görs. Det blir problem!

1. I skarpt läge svarar många taktiskt, dvs de skönmålar, och gör det ofta starkt. De allra flesta testade framstår därför som mycket positiva personligheter, ett resultat man har föga nytta av.
2. B5-dimensionerna är för få och allmänna för att vara relevanta. De är svagt relaterade till arbetsresultat.
3. Underskalorna, som kan vara 30-40 till antalet, ger en komplex och spretig bild av de testade. Dessutom är dessa skalor oftast av låg reliabilitet - med 200 testitem kan man inte konstruera 30-40 reliabla delskalor. Dessa skalor kan ibland ha ett innehåll som är svårt att förstå.
4. Testen är översatta från engelska vilket kan ha medfört språkliga otympligheter. Vad är t ex "intellektans"?
5. I vissa fall används ipsativt svarsformat vilket kräver att den testade ska "jämföra äpplen och päron". Sitter man helst hemma med en god bok eller ser man ljust på framtiden? Den typen av uppgifter är inte populära.
6. Teorier av olika slag ligger till grund för flera av testen, och det kan låta vetenskapligt och betryggande. Exempel är Hogans socioanalytiska teori eller Jungs typteori (från 1921). Men teorierna är dåligt underbyggda och saknar empiriskt stöd.

Det här kan låta negativt, och man kan förstå den ganska vanliga skeptiska inställningen till test, men faktum är att personlighetstest med mycket god validitet existerar. För exempel, se denna länk. Det går att konstruera skalor vars validitet är i nivå med intelligenstest (g-faktorn). Om personlighet och intelligens kombineras kan man nå validiteter omkring 0.6 - 0.7 med arbetsresultat, men det förutsätter skalor som är fokuserade på relevanta, konkreta personlighetsdrag (t ex uthållighet) - in B5-dimensioner som har mycket låg validitet (med undantag för noggrannhet).  Kolla min rapport om testvaliditet på Handelshögskolans hemsida genom att klicka här. Att skriva den tog lång tid, och krävde stort engagemang, men det var värt det, åtminstone för mig, när jag till slut började se ljuset i tunneln och fann frågeställningarna mer och mer intressanta. Denna och alla andra av mina rapporter (de är rätt många) och manualer är tillgängliga för gratis nerladdning i enlighet med min policy "Inget smussel, inga defensiva hemlighållanden av vad våra test mäter och vilken empirisk evidens de stöder sig på". Alla får del av den information de vill ha, inte bara kunder. Studenter får gärna använda testen helt gratis, vi ställer upp med rådgivning och anpassar vår IT-plattform efter era behov och intressen. (Skriv ett mail till lennartsjoberg@gmail.com). Flera sådana projekt har genomförts, nu senast av Daniel de Colli, anställd vid polisen och doktorand i psykologi.Hans uppsats som en grupp anställda vid polisen blir troligen offentlig i november.

Våra test är levande och förbättras ständigt, till skillnad från låsta och statistiska importerade test.

Vetenskaplig dokumentation har nu påbörjats med artikeln:

Sjöberg, L. (2010). A third generation personality test. The Scandinavian Journal for Human and Applied Sciences, 1(3), 61-75.Klicka här för att läsa den på svenska.

Riskförnekande i testbranschen

Personlighetstest används ofta i arbetslivet. Förmodligen omsätter denna verksamhet flera hundra miljoner kronor årligen. De allra flesta personlighetstesten är självrapporttest och av ytterst varierande kvalitet. De är översatta från, oftast, engelska och de utländska producenterna håller hårt i testen. De utvecklas inte efter svenska önskemål, och den psykometriska kompetensen är svag i Sverige.

En särskild problematik är skönmålning. Det krävs inte mycket tänkande för att inse att folk inte svarar helt uppriktigt om mycket står på spel, t ex vid en jobbansökan. Detta problem blundar man för och påstår att det inte finns. Det är lite tragikomiskt eftersom det finns tonvis med forskning som visar att problemet finns och är stort.

Jag har mött flera konsulter som berättat att de test de använder slår i taket. Nästan alla sökande är helt enkelt väldigt bra på personlighetstestet. Sådana test, som differentierar dåligt är svåra att använda och föga trovärdiga. Exempel är HPI, NEO-PI-R och "Thomassystemet".

Det finns numera validerad metodik för att korrigera för skönmålning. Ett traditionellt försök är att använda ipsativa svarsformat, där man få välja mellan alternativ som förhoppningsvis är lika socialt önskvärda. Den ansatsen har MBTI, Myers-Briggs. Folk tycker illa sådana uppgifter och de tar extra lång tid. Ipsativa data är svåra att analysera och de tycks inte alls eliminera effekten av skönmålning. I UPP-testet använder vi särskilda skalor för att mäta tendensen till skönmålning. Forskning har visat att detta fungerar alldeles utmärkt och höjer validiteten hos testdata.

Valprognoser går att göra, läget är inte alls "fullständigt osäkert"

Opinionsmätningarna "står som spön i backen". De flesta visar en tydlig ledning på¨5-7 %-enheter för Alliansen, men för enskilda mätningar är skillnaden mellan blocken ibland "ej statistiskt säkerställd".  Detta sammanfattas av statsvetare (nästan alltid från Göteborg, av någon anledning) som att  "läget är helt öppet" eller "det är omöjligt att säga hur det kommer att gå" eller "man kan inte göra prognoser utifrån opinionsmätningar" (!). Om detta är mycket att säga.

1. Informationen från en enskild mätning kanske inte är "statistiskt säkerställd" men sammantaget sedan början av augusti är trenden mycket tydlig, och absolut inte slumpmässig, med några få undantag som jag ska återkomma till.Att i detta läge resonera utifrån statistisk analys av enskilda studier är missbruk av statistisk logik. Ännu värre är att säga "läget är helt öppet" utifrån den information som föreligger.

2. Vissa opinionsinstitut använder dåliga metoder och ger därför otillförlitliga resultat. United Minds använder vad jag kan förstå inte slumpmässiga urval av respondenter, justerar enligt principen kvoturval, och tar in svaren via webben, vilket troligen ger ett större bortfall än vad andra institut har. Deras resultat är också tydligt annorlunda än övriga instituts.

3. Att blankt förneka att man kan göra prognoser av valbeteende är mycket märkligt. Forskning och erfarenhet, i Sverige och internationellt, tyder på att det går på det hela taget bra. Berömda historiska misslyckanden har kunnat förklaras, t ex på grund av användning av kvoturval. Hundratals studier har visat att den bästa prognosen av beteende får man genom att ta in information om intentioner, och det är just vad de bättre opinionsinstituten gör. Sådana prognoser fungerar bra, men givetvis aldrig perfekt.

En annan sak är att människor i allmänhet har ganska bra uppfattningar om hur det kommer att gå. Se http://lennartsjoberg.blogspot.com/ och delta i min lilla valprognosstudie, tar 5 minuter och med ett första pris på 1000 kronor för den som gör den bästa bedömningen!

Ny rapport: Personlighetstestens validitet i arbetslivet

Tidigare forskning om personlighetstest och arbetsresultat gav tämligen svaga resultat. Pessimismen var utbredd, men inte på goda grunder. Det har länge varit känt att test kan ge viktiga tillskott till beslutsfattandet i t ex urvalssammanhang, även om validiteten är relativt blygsam. Från omkring 1990 ökade intresset för frågeställningen i och med introducerandet av femfaktormodellen (FFM) för personlighet. Meta-analyser av Big Five-dimensionernas (B5) användbarhet i arbetslivet sammanfattas. De har publicerats under tiden 1984-2008 och bygger på 100-tals publicerade studier. Korrelationerna visade sig i allmänhet vara låga för alla dimensioner utom noggrannhet, där de tenderade att ligga i intervallet 0.20-0.25, också det ett relativt blygsamt värde. Slutsatsen om B5-dimensionerna som sådana är i enlighet med dessa mycket omfattande undersökningar att de är svagt eller inte alls korrelerade med kriterier i arbetslivet, om de tas var för sig. Multipla korrelationer kan emellertid ge betydligt bättre resultat, även om det är kontroversiellt hur de ska uppskattas på grundval av meta-analyser. Dessa tycks ha gett för låga uppskattningar av sambanden mellan B5-dimensionerna, och därmed en överskattning av de multipla korrelationerna mot kriterier. Alltmera omfattande forskning visar att smala, fokuserade variabler fungerar betydligt bättre än B5-dimensionerna och ger viktiga tillskott till dessa. En del av dessa variabler ingår som underskalor i FFM-test, andra som emotionell intelligens ligger utanför FFM-tänkandet och ingår i UPP-testet.  Sådana dimensioner ger viktiga tillskott till intelligens i prognosen av arbetsresultat, och av många andra viktiga aspekter på arbetsrelaterat beteende. Även index som bildas på ett urval av fokuserade personlighetsdimensioner kan ge mycket goda resultat, som närmar sig den prognoskraft som g-faktortest har. 

Läs hela rapporten här.