Stresstestning av UPP-testet: kan du lura testet?

Personlighetstest brukar vara lätta att lura. Vill man framstå som mycket bättre än man egentligen är så kan det ordnas lätt, eftersom nästan inga test korrigerar för skönmålning och dessutom är pinsamt lätta att genomskåda. Det gäller emellertid inte UPP. Vi har många skäl att tro att korrigeringen fungerar bra i UPP-testet men vill nu se om den fungerar också när den testade personen går in för att lura oss så mycket som möjligt. Detta blir ett stresstest av UPP!

Tror du att du kan lura UPP? Vi utmanar dig! Skicka ett mail till henrik.nilheim@gmail.com så får du inloggnngsuppgifter för att ta testet. Du får sedan en testrapport varav bl a framgår dina okorrigerade och korrigerade värden. Till den som lyckas få samma värden i dessa två fall skickar vi en skön morgonrock och två kaffemuggar, och ett diplom varav framgår att du är smartare än UPP-testet!


Ännu intressantare - för dig och oss - är om du dessutom tar testet en andra gång fullständigt ärligt. Då skickar vi som bonus två trisslotter.

Det är bråttom! Erbjudandet gäller bara fram till 1 augusti. Lycka till!

Screeningtest

UPP/Screen är ett nytt snabbt screeningtest, som mäter personlighet och intellektuell förmåga. Det bygger på UPP-testet, ett av STP godkänt test där vi har genomfört omfattande forskning och validering. Tanken är att detta test ska användas i ett tidigt skede av rekryteringen. Det är mycket kostnadseffektivt.

Personlighetsdimensioner:

extraversion
uthållighet
kreativitet
samarbetsvilja
grad av positiv attityd
noggrannhet

Dessutom mäts tendensen att skönmåla, och den skalan används för att korrigera personlighetsskalorna så att dessa är opåverkade av skönmålning. Denna teknik har prövats och fungerat väl i omfattande studier.

Intellektuell förmåga mäts med dels verbala, dels logisk/spatiala uppgifter.

Normdata kommer från 6116 personer som tagit testet i samband med ansökan om jobb (skarpt läge).

Testningen tar ca 25 minuter och genomförs på Internet. För intellektuell förmåga finns ett parallellt verifikationstest.

Personlighet och intellektuell förmåga vägs samman till ett slutresultat som  används för att rangordna en grupp som tagit testet. Dessutom ges staninepoäng (normalfördelade i normdata, medelvärde=9, standardavvikelse = 2). För en testad grupp ges medelvärden, som visar hur gruppen som helhet ligger i relation till normdata.

Testet har god reliabilitet och validitet mot arbetsresultat.

Testning, utvärdering och rapportgenerering är helt datoriserade funktioner; rapporten föreligger omedelbart efter en testning. Användaren får per e-post ett meddelanden om att en testning genomförts och kan då ladda ner en eller flera rapporter, antingen för enskilda testade personer eller för en eller flera grupper.

Korrektion för skönmålning ökar validiteten

UPP-testet använder sig av särskilda skalor för att mäta tendensen att ge socialt önskvärda var. De är korrelerade med övriga testskalor i varierande grad. De korrigerade värdena är helt enkelt residualer i modeller för sambandet mellan testskalorna och skalorna för skönmålning; olika modeller för olika testskalor - allt beroende på det empiriska sambandet. Exempelvis är skalan för emotionell stabilitet ganska starkt korrelerad med social önskvärdhet, kreativitet knappast alls. Den här ansatsen har visat sig fungera i flera olika avseenden: man kan identifiera testade personer som "bluffat", fördelningarna i de korrigerade skalorna är mindre sneda och bättre differentierade än rådata, experimentella data stödjer förfarandet liksom skillnader mellan testningar i skarpa och oskarpa lägen. Dessutom blir det mera rättvisande och rättvisa jämförelser mellan  män och kvinnor, mellan invandrare och testade av inhemsk härkomst.

Men en fråga återstår. Påverkas validiteten hos testet, dvs sambandet med kriterier på arbetsresultat? I ett pågående projekt vid Karolinska Institutet har vi studerat sambandet mellan UPP och kriterier på chefsframgång, som insamlats via s k 360-gradersbedömningar. I studien medverkade 166 chefer på mellannivå inom SLL (Stockholms Läns Landsting).

Grundförutsättningen för ökad validitet genom korrektion för skönmålning är att måttet på skönmålning fungerar som en s k suppressorvariabel, dvs en variabel som korrelerar svagt eller negativt med kriteriet men positivt med testet. Så ser våra data faktiskt ut. I nedanstående figur har jag plottat resultaten från analys av medarbetares bedömningar av chefernas effektivitet i skilda avseenden. På x-axel validitet för varje skala och kriterium för okorrigerade data; på y-axeln motsvarande för korrigerade data.

Samma tendens fanns vi analyser av 360-gradersbedömningar utförda av kolleger och överordnade chefer. Korrektionen medförde en höjning av validiteten.

Detta är sista pusselbiten i validering av korrektionsmetodiken. Den fungerar, och det har nu dokumenterats i många avseenden.

Eftersom alla, utom de som säljer alla dessa test som inte kan hantera skönmålning, är övertygade om det är ett mycket allvarligt problem för alla självrapporttest att somliga testade försöker bluffa sig till en tätposition på testet - är detta äntligen en lösning på problemet.

Kritik av personlighetstest del 1: Myers-Briggs

Syftet med denna lilla serie av blogg-inlägg är att kritiskt diskutera vissa mycket ofta använda personlighetstest. Först ut blir MBTI, Myers-Briggstestet, använt i många sammanhang som vid anställningar, "team building", rådgivning etc.

Det finns många kritiska analyser av detta test, som ytterst bygger på Jungs typlära. En kortfattat, populärt skriven och glasklar artikel har publicerats av professor David J. Pittenger, klicka här.

Jag citerar ur hans slutsatser:

"In summary, it appears that the MBTI does not conform to many of the basic standards expected of psychological tests. Many very specific predictions about the MBTI have not been confirmed or have been proved wrong. There is no obvious evidence that there are 16 unique categories in which all people can be placed. There is no evidence that scores generated by the MBTI reflect the stable and unchanging personality traits that are claimed to be measured. Finally, there is no evidence that the MBTI measures anything of value.

...

"

The MBTI reminds us of the olvious truth that all people are not alike, but then claims that every person can be fit neatly into one of 16 boxes. I believe that MBTI attempts to force the complexities of human personality into an artificial and limiting classification scheme. The focus on the "typing" of people reduces the attention paid to the unique qualities and potential of each individual.

Many readers may be surprised by my interpretation and objections to such a popular test. It has been my experience that this reaction stems from how they view the MBTI. In many cases, the popularity of the instrument is interpreted as an indication of its accuracy and utility, which then leads to wider use and less inclination to question the foundations of the test. As a consequence, the MBTI has become a popular instrument for reasons unrelated to its reliability and validity.

The publishers do a very good job of promoting the test and providing support for its users. The MBTI also has much intuitive appeal. The descriptions of each type are generally flattering and sufficiently vague so that most people will accept the statements as true of themselves. If you tell people that they are "innovative thinkers and good problem solvers, and good at understanding and motivating people, but may have trouble following through on details of a project," they will believe that the statement is an accurate description of themselves regardless of the truth of the statement. 

Because of its apparent simplicity, the MBTI may be misused unintentionally by some people. A manager, for example, may come to believe that only certain personality types are appropriate for specific jobs. After learning about type, such a manager may conclude that only ISTJs make good accountants whereas the best people for the sales force will be the ESFJs. Thus, the type label may bias a manager's decisions on hiring, firing, evaluating, and promoting. Similarly, employees may use type labels inappropriately. Thus, one might feel that "She's an INFP, so I will never be able to work with her on an assignment," or that "I'm an ESTP and don't do well when it comes to details."

Några källor till ska nämnas i korthet. Garner och Martinko (1996) fann inga tydliga bevis för att  MBTI hade någon relation till arbetsresultat. Pittinger (2005) påpekar att MBTI inte ger någon information utöver vanliga Big Five-test, men behandlar denna information på ett ineffektivt sätt (och vilseledande, kan man tillägga).En mycket upplysande diskussion av MBTI - och många andra test - finns också i en bok av Paul (2004).

Referenser

Gardner, W. L., & Martinko, M. J. (1996). Using the Myers-Briggs Type Indicator to study managers: A literature review and research agenda. Journal of Management, 22(1), 45-83.
 

Paul, A. M. (2004). The cult of personality. How personality tests are leading us to miseducate our children, mismanage our companies, and misunderstanding ourselves. New York: Free Press.


Pittenger, D. J. (1993). The utility of the Myers-Briggs Type Indicator. Review of Educational Research, 63(4), 467-488.



Pittenger, D. J. (2005). Cautionary comments regarding the Myers-Briggs Type Indicator. Consulting Psychology Journal: Practice and Research, 57(3), 210-221.


Sjöberg, L. (2005). En kritisk diskussion av Myers-Briggs testet. Organisational Theory & Practice. Scandinavian Journal of Organisational Psychology, 15(1), 21-28. Klicka här.

Svårigheter att dokumentera testvaliditet inom STP:s system för testgranskning

STP (Stiftelsen för Tillämpad Psykologi) har tagit på sig uppgiften att kvalitetsgranska psykologiska test. Ett viktigt inslag i denna granskning är att bedöma värdet av testens validitet. Det finns, troligen delvis på grund av STP:s verksamhet, en ganska utbredd skepsis mot test, alldeles för stor enligt min mening. Företrädare för STP talar ofta i media om "dåliga" eller "tvivelaktiga" test. Det låter trovärdigt, tills man sätter sig in i de metoder de använder för att värdera test. Dessa är nämligen missvisande. Här är en lista på svagheter i deras bedömningsgrunder som gäller validering av test i förhållande till  externa kriterier:

•1. Man har satt upp ett godtyckligt krav på minst 100 personer i stickprovet – kan sällan uppfyllas. Om n<100 är det enligt STP ”en inadekvat studie”. Det här kravet är direkt avskräckande för dem som vill validera sina test.

•

•2. STP gör en starkt missvisande beräkning av testets validitet som median av korrelationer mellan testskalor och kriterier – men olika skalor fungerar ju för olika kriterier (innehållsmatchning). Värdet av testet är något helt annat än medianen av värdet av enskilda testskalor.  

•

•3. Det är mycket oklart om STP anser att korrektion ska göras för mätfel i kriteriet och beskuren spridning i testet, och i så fall hur. Traditionell metodik för korrektion för beskuren spridning (Thorndikes Case II) bygger på ett antagande om explicit selektion, som är orealistiskt och ger för svag effekt. Numera kan man göra korrektionen med bättre metodik (Men STP har haft samma kriterier sedan 2002). Korrektion är helt nödvändig för att man ska få en rättvisande bild av testets validitet.

•Begreppsvalidering görs ofta genom att beräkna samband mellan testvariabler och andra variabler som antas mäta samma begrep. Det är då nödvändigt att korrigera för mätfel i båda variablerna – detta godtar troligen inte ST. Exempel: UPP-testets 16 skalor hade en begreppsvaliditet på i genomsnitt 0.68, men före korrektion på 0.54. Förklarad varians var alltså ca 50 % högre efter korrektion för mätfel, en väsentligt bättre bild av testet!

•

•

  •

•

•

•Intrycket om ”dåliga test” har alltså troligen till stor del sin grund i orealistiska krav och användning av ineffektiv metodik för att uppskatta styrkan på samband mellan test och kriterier. Det handlar om en systematisk undervärdering av testen, och större öppenhet för kritiska synpunkter och aktuell utveckling inom psykosmetriken vore av stort värde.

Validitet mot polisens lönekriterier

Daniel de Colli har i en D-uppsats vid Mälardalens högskola rapporterat en noggrann undersökning av UPP:s validitet mot polisens lönekriterier (n=100 anställda), se uppsatsen här. Resultaten är mycket positiva för testet. Validitet mot sammanslagna lönekriterier var r = 0.48, för produktivitet 0.50 och för social förmåga 0.38. Mot ett objektivt mått på arbetsresultat, antal hållna förhör under 1 år, var sambandet = 0.54. Resultaten bygger på ett index med "bästa variablerna", nämligen emotionell stabilitet, samarbetsvilja, positiv attityd, perfektionism och arbetsvilja. Dessa variabler hade visat sig vara de mest lovande i en tidigare studie, varför de Collis undersökning har korsvaliderat dessa resultat. Dessutom bekräftade de Collis undersökning värdet av proxyvalidering. UPP-testets validitet har alltså återigen visat sig ligga i närheten av begåvningstest. 

Referens

de Colli, D. (2011). Ett nytt svenskt arbetspsykologiskt test och arbetsprestation inom polisen – samtidig validitet: Mälardalens högskola, Akademin för hållbar samhälls- och teknikutveckling. Klicka här.

UPP-testets validitet mot kundservice

I denna studie undersöktes UPP-testets validitet gentemot förmansbedömningar i en grupp anställda i Customer Service vid ett finansbolag. Testet visade sig ha god psykometriska egenskaper i nivå med tidigare erfarenheter. Data hade god kvalitet men det fanns en tendens till skönmålning. Gruppen visade i genomsnitt höga värden på resultatorientering och förändringsvilja, något lägre i arbetsintresse. De testade personerna bedömdes av cheferna med hjälp av att omfattande bedömningsformulär (40 variabler), som med komponentanalys kunde reduceras till tre kriterievariabler, som alla kunde mätas med mycket god precision. Validiteterna för de tre kriteriedimensionerna Värde för företaget, Effektivitet och Social funktion var 0.66, 0.52 och 0.40 efter korrektion för mätfel och beskuren spridning. Analys av proxykriterier (arbetsmotivation och liknande attitydskalor) gav liknande resultat (mediankorrelationer 0.29-0.59). Data tyder på att proxykriterierna kan ersätta förmansbedömningar vid testvalidering, eftersom de två serierna av validitetskoefficienter var starkt relaterade (r = 0.65). Korrektion för skönmålning medförde en viss sänkning av validiteten gentemot förmansbedömningen, men denna nackdel måste vägas mot de stora effekter på individnivå som korrektionen ger: de som ”bluffat” har inte längre en fördel av det.

Läs hela rapporten här.