Personlighet och ekonomisk framgång

Validering av personlighetstest brukar sällan ge starka resultat - men undantag finns. Här ska jag redogöra för ett, ur min aktuella forskning. En stor grupp, 110 personer, tog UPP-testet och vissa tillkommande personlighetsskalor, samt besvarade en hel del andra frågor, bland dem frågan om månadsinkomst. Det senare kan betraktas som ett externt kriterium, i förhållande till testets variabler "distalt", dvs utan semantiskt överlappande innehåll. I nedanstående figur återges korrelationerna (efter rangordning) mellan testskalorna (korrigerade för skönmålning) och månadsinkomst.

 

Det är slående att fem skalor är särskilt starkt relaterade till ekonomisk framgång:

Arbetsintresse

Uthållighet

Social säkerhet

Resultatorientering

Positiv attityd

Dessa fem skalor kombinerades till ett index; detta korrelerade 0.52 med ekonomisk framgång, efter korrektion för mätfel.

Månadslön är säkert påverkad av många andra faktorer än personlighet. Att vi når så högt som 0.52 tyder onekligen på att testet har hög validitet. Det är en nivå på validiteteten som närmar sig det som kan nås med kognitiva test, och kombinationen personlighet - kognitivt test blir oslagbar. Märk också att ingen av de fem viktiga faktorerna ligger inom "Big Five", dessa skalor hamnar som figuren visar längre ner när det gäller validitet. Som jag ofta funnit är "Big FIve" dimensionerna en återvändsgränd, man måste arbeta med smalare och på arbetslivet direkt fokuserade skalor, och detta är vad UPP-testet gör, till skillnad från andra personlighetstest.

Mera information om UPP finns på www.psykologisk-metod.se.

Ipsativa test kan ge helt missvisande resultat

Ipsativa test bygger på idén att man kan få bort effekterna av skönmålning genom att den testade personen ska välja mellan alternativ som förefaller likvärdiga när det gäller social önskvärdhet. Flera av de i Sverige mest använda personlighetstesten (t ex OPQ, Master) använder en sådan metodik. Ipsativa svarsformat har emellertid inte lyckats med att få bort effekterna av social önskvärdhet och har flera andra nackdelar, bl a att de inte gör det möjligt att jämföra mellan individer, bara inom. En person som framstår som mycket inåtvänd i ett ipsativt test kan ändå vara mycket mindre inåtvänd än andra som inte alls har ett så högt värde i inåtvändhet. Det gör onekligen att testningen blir poänglös om man syftar till att jämföra olika personer, t ex i en urvalssituation.

Det finns emellertid ett ännu värre, och besläktat, problem. Om en person ligger högt i många dimensioner, men lite mindre högt i t ex emotionell stabilitet, kommer testet inte att upptäcka detta, utan han eller hon får ett lågt värde i emotionell stabilitet, helt enkelt för att alla värden är relativa till individen själv. Den emotionella stabiliteten kan vara utmärkt, men andra egenskaper ligger ännu högre och därför hamnar den långt ner på skalan - fullständigt vilseledande. Det här är inte en teoretisk spekulation utan något jag sett i praktiken. Man kan bara spekulera i hur många felaktiga beslut som har fattats under årens gång på grundval av dessa ipsativa test.

Stresstestning av UPP-testet: kan du lura testet?

Personlighetstest brukar vara lätta att lura. Vill man framstå som mycket bättre än man egentligen är så kan det ordnas lätt, eftersom nästan inga test korrigerar för skönmålning och dessutom är pinsamt lätta att genomskåda. Det gäller emellertid inte UPP. Vi har många skäl att tro att korrigeringen fungerar bra i UPP-testet men vill nu se om den fungerar också när den testade personen går in för att lura oss så mycket som möjligt. Detta blir ett stresstest av UPP!

Tror du att du kan lura UPP? Vi utmanar dig! Skicka ett mail till henrik.nilheim@gmail.com så får du inloggnngsuppgifter för att ta testet. Du får sedan en testrapport varav bl a framgår dina okorrigerade och korrigerade värden. Till den som lyckas få samma värden i dessa två fall skickar vi en skön morgonrock och två kaffemuggar, och ett diplom varav framgår att du är smartare än UPP-testet!


Ännu intressantare - för dig och oss - är om du dessutom tar testet en andra gång fullständigt ärligt. Då skickar vi som bonus två trisslotter.

Det är bråttom! Erbjudandet gäller bara fram till 1 augusti. Lycka till!

Screeningtest

UPP/Screen är ett nytt snabbt screeningtest, som mäter personlighet och intellektuell förmåga. Det bygger på UPP-testet, ett av STP godkänt test där vi har genomfört omfattande forskning och validering. Tanken är att detta test ska användas i ett tidigt skede av rekryteringen. Det är mycket kostnadseffektivt.

Personlighetsdimensioner:

extraversion
uthållighet
kreativitet
samarbetsvilja
grad av positiv attityd
noggrannhet

Dessutom mäts tendensen att skönmåla, och den skalan används för att korrigera personlighetsskalorna så att dessa är opåverkade av skönmålning. Denna teknik har prövats och fungerat väl i omfattande studier.

Intellektuell förmåga mäts med dels verbala, dels logisk/spatiala uppgifter.

Normdata kommer från 6116 personer som tagit testet i samband med ansökan om jobb (skarpt läge).

Testningen tar ca 25 minuter och genomförs på Internet. För intellektuell förmåga finns ett parallellt verifikationstest.

Personlighet och intellektuell förmåga vägs samman till ett slutresultat som  används för att rangordna en grupp som tagit testet. Dessutom ges staninepoäng (normalfördelade i normdata, medelvärde=9, standardavvikelse = 2). För en testad grupp ges medelvärden, som visar hur gruppen som helhet ligger i relation till normdata.

Testet har god reliabilitet och validitet mot arbetsresultat.

Testning, utvärdering och rapportgenerering är helt datoriserade funktioner; rapporten föreligger omedelbart efter en testning. Användaren får per e-post ett meddelanden om att en testning genomförts och kan då ladda ner en eller flera rapporter, antingen för enskilda testade personer eller för en eller flera grupper.

Korrektion för skönmålning ökar validiteten

UPP-testet använder sig av särskilda skalor för att mäta tendensen att ge socialt önskvärda var. De är korrelerade med övriga testskalor i varierande grad. De korrigerade värdena är helt enkelt residualer i modeller för sambandet mellan testskalorna och skalorna för skönmålning; olika modeller för olika testskalor - allt beroende på det empiriska sambandet. Exempelvis är skalan för emotionell stabilitet ganska starkt korrelerad med social önskvärdhet, kreativitet knappast alls. Den här ansatsen har visat sig fungera i flera olika avseenden: man kan identifiera testade personer som "bluffat", fördelningarna i de korrigerade skalorna är mindre sneda och bättre differentierade än rådata, experimentella data stödjer förfarandet liksom skillnader mellan testningar i skarpa och oskarpa lägen. Dessutom blir det mera rättvisande och rättvisa jämförelser mellan  män och kvinnor, mellan invandrare och testade av inhemsk härkomst.

Men en fråga återstår. Påverkas validiteten hos testet, dvs sambandet med kriterier på arbetsresultat? I ett pågående projekt vid Karolinska Institutet har vi studerat sambandet mellan UPP och kriterier på chefsframgång, som insamlats via s k 360-gradersbedömningar. I studien medverkade 166 chefer på mellannivå inom SLL (Stockholms Läns Landsting).

Grundförutsättningen för ökad validitet genom korrektion för skönmålning är att måttet på skönmålning fungerar som en s k suppressorvariabel, dvs en variabel som korrelerar svagt eller negativt med kriteriet men positivt med testet. Så ser våra data faktiskt ut. I nedanstående figur har jag plottat resultaten från analys av medarbetares bedömningar av chefernas effektivitet i skilda avseenden. På x-axel validitet för varje skala och kriterium för okorrigerade data; på y-axeln motsvarande för korrigerade data.

Samma tendens fanns vi analyser av 360-gradersbedömningar utförda av kolleger och överordnade chefer. Korrektionen medförde en höjning av validiteten.

Detta är sista pusselbiten i validering av korrektionsmetodiken. Den fungerar, och det har nu dokumenterats i många avseenden.

Eftersom alla, utom de som säljer alla dessa test som inte kan hantera skönmålning, är övertygade om det är ett mycket allvarligt problem för alla självrapporttest att somliga testade försöker bluffa sig till en tätposition på testet - är detta äntligen en lösning på problemet.

Kritik av personlighetstest del 1: Myers-Briggs

Syftet med denna lilla serie av blogg-inlägg är att kritiskt diskutera vissa mycket ofta använda personlighetstest. Först ut blir MBTI, Myers-Briggstestet, använt i många sammanhang som vid anställningar, "team building", rådgivning etc.

Det finns många kritiska analyser av detta test, som ytterst bygger på Jungs typlära. En kortfattat, populärt skriven och glasklar artikel har publicerats av professor David J. Pittenger, klicka här.

Jag citerar ur hans slutsatser:

"In summary, it appears that the MBTI does not conform to many of the basic standards expected of psychological tests. Many very specific predictions about the MBTI have not been confirmed or have been proved wrong. There is no obvious evidence that there are 16 unique categories in which all people can be placed. There is no evidence that scores generated by the MBTI reflect the stable and unchanging personality traits that are claimed to be measured. Finally, there is no evidence that the MBTI measures anything of value.

...

"

The MBTI reminds us of the olvious truth that all people are not alike, but then claims that every person can be fit neatly into one of 16 boxes. I believe that MBTI attempts to force the complexities of human personality into an artificial and limiting classification scheme. The focus on the "typing" of people reduces the attention paid to the unique qualities and potential of each individual.

Many readers may be surprised by my interpretation and objections to such a popular test. It has been my experience that this reaction stems from how they view the MBTI. In many cases, the popularity of the instrument is interpreted as an indication of its accuracy and utility, which then leads to wider use and less inclination to question the foundations of the test. As a consequence, the MBTI has become a popular instrument for reasons unrelated to its reliability and validity.

The publishers do a very good job of promoting the test and providing support for its users. The MBTI also has much intuitive appeal. The descriptions of each type are generally flattering and sufficiently vague so that most people will accept the statements as true of themselves. If you tell people that they are "innovative thinkers and good problem solvers, and good at understanding and motivating people, but may have trouble following through on details of a project," they will believe that the statement is an accurate description of themselves regardless of the truth of the statement. 

Because of its apparent simplicity, the MBTI may be misused unintentionally by some people. A manager, for example, may come to believe that only certain personality types are appropriate for specific jobs. After learning about type, such a manager may conclude that only ISTJs make good accountants whereas the best people for the sales force will be the ESFJs. Thus, the type label may bias a manager's decisions on hiring, firing, evaluating, and promoting. Similarly, employees may use type labels inappropriately. Thus, one might feel that "She's an INFP, so I will never be able to work with her on an assignment," or that "I'm an ESTP and don't do well when it comes to details."

Några källor till ska nämnas i korthet. Garner och Martinko (1996) fann inga tydliga bevis för att  MBTI hade någon relation till arbetsresultat. Pittinger (2005) påpekar att MBTI inte ger någon information utöver vanliga Big Five-test, men behandlar denna information på ett ineffektivt sätt (och vilseledande, kan man tillägga).En mycket upplysande diskussion av MBTI - och många andra test - finns också i en bok av Paul (2004).

Referenser

Gardner, W. L., & Martinko, M. J. (1996). Using the Myers-Briggs Type Indicator to study managers: A literature review and research agenda. Journal of Management, 22(1), 45-83.
 

Paul, A. M. (2004). The cult of personality. How personality tests are leading us to miseducate our children, mismanage our companies, and misunderstanding ourselves. New York: Free Press.


Pittenger, D. J. (1993). The utility of the Myers-Briggs Type Indicator. Review of Educational Research, 63(4), 467-488.



Pittenger, D. J. (2005). Cautionary comments regarding the Myers-Briggs Type Indicator. Consulting Psychology Journal: Practice and Research, 57(3), 210-221.


Sjöberg, L. (2005). En kritisk diskussion av Myers-Briggs testet. Organisational Theory & Practice. Scandinavian Journal of Organisational Psychology, 15(1), 21-28. Klicka här.

Svårigheter att dokumentera testvaliditet inom STP:s system för testgranskning

STP (Stiftelsen för Tillämpad Psykologi) har tagit på sig uppgiften att kvalitetsgranska psykologiska test. Ett viktigt inslag i denna granskning är att bedöma värdet av testens validitet. Det finns, troligen delvis på grund av STP:s verksamhet, en ganska utbredd skepsis mot test, alldeles för stor enligt min mening. Företrädare för STP talar ofta i media om "dåliga" eller "tvivelaktiga" test. Det låter trovärdigt, tills man sätter sig in i de metoder de använder för att värdera test. Dessa är nämligen missvisande. Här är en lista på svagheter i deras bedömningsgrunder som gäller validering av test i förhållande till  externa kriterier:

•1. Man har satt upp ett godtyckligt krav på minst 100 personer i stickprovet – kan sällan uppfyllas. Om n<100 är det enligt STP ”en inadekvat studie”. Det här kravet är direkt avskräckande för dem som vill validera sina test.

•

•2. STP gör en starkt missvisande beräkning av testets validitet som median av korrelationer mellan testskalor och kriterier – men olika skalor fungerar ju för olika kriterier (innehållsmatchning). Värdet av testet är något helt annat än medianen av värdet av enskilda testskalor.  

•

•3. Det är mycket oklart om STP anser att korrektion ska göras för mätfel i kriteriet och beskuren spridning i testet, och i så fall hur. Traditionell metodik för korrektion för beskuren spridning (Thorndikes Case II) bygger på ett antagande om explicit selektion, som är orealistiskt och ger för svag effekt. Numera kan man göra korrektionen med bättre metodik (Men STP har haft samma kriterier sedan 2002). Korrektion är helt nödvändig för att man ska få en rättvisande bild av testets validitet.

•Begreppsvalidering görs ofta genom att beräkna samband mellan testvariabler och andra variabler som antas mäta samma begrep. Det är då nödvändigt att korrigera för mätfel i båda variablerna – detta godtar troligen inte ST. Exempel: UPP-testets 16 skalor hade en begreppsvaliditet på i genomsnitt 0.68, men före korrektion på 0.54. Förklarad varians var alltså ca 50 % högre efter korrektion för mätfel, en väsentligt bättre bild av testet!

•

•

  •

•

•

•Intrycket om ”dåliga test” har alltså troligen till stor del sin grund i orealistiska krav och användning av ineffektiv metodik för att uppskatta styrkan på samband mellan test och kriterier. Det handlar om en systematisk undervärdering av testen, och större öppenhet för kritiska synpunkter och aktuell utveckling inom psykosmetriken vore av stort värde.