Mera om OPQ och validitet

Ju mera man studerar det brittiska OPQ-testet, detta i Sverige mycket populära test, och dess validitet desto mera förbryllad blir man. En mycket ambitiös sammanställning av massor av data, publicerad av Bartram (1995) tyder snarast på värden omkring 0,05 mot olika kriterier. Enda undantaget är s k kanoniska korrelationer mellan uppsättningar av personlighetsskalor och uppsättningar av kriteriemått, där han når nivån 0.5. Men det är väl känt att denna typ av korrelationsberäkning är extremt känslig för slumpvariationer i data, numera sällan använd och betraktad med stor skepsis (Saville, 2008). Mysteriet tätnar: vad är egentligen vitsen om OPQ?

Referenser
Bartram, D. (2005). The Great Eight Competencies: A Criterion-Centric Approach to Validation. [doi:10.1037/0021-9010.90.6.1185]. Journal of Applied Psychology, 90, 1185-1203.


Saville, P. (2008, January). Project Epsom: How Valid Is Your Questionnaire? Phase 1: Saville Consulting Wave®, OPQ®, Hogan Personality Inventory & Development Survey, 16PF5, NEO, Thomas International DISC, MBTI and Saville Personality Questionnaire Compared in Predicting Job Performance. Paper presented at the The British Psychological Society Division of Occupational Psychology Conference: “Personality Questionnaires – Valid Inferences, False Prophecies”. Klicka här.

Hur många gånger kan man upprepa samma test?

Personlighetstest som OPQ och HPI används ofta, och har funnits länge på marknaden. Som ett resultat av detta möter man ofta jobbkandidater som redan testats en eller många gånger med ett eller flera av de vanliga testen. Det är då naturligt att fråga sig om testens värde urholkas av omfattande erfarenhet med dem. Såvitt bekant förekommer inga försök att registrera antalet testningar en person gjort med ett test.(Utom för UPP 2.0, som lanseras snart. UPP är ett nytt test, medan det finns hundratusentals personer i Sverige som tagit test som OPQ, HPI, Master, 16 PF, Myers-Briggs och Thomas/PPA).

Frågan om effekter av omtestning med personlighetstest har inte undersökts noga tidigare.  Hausknecht (2010) finner emellertid i en studie med Gordon-testet (ett Big Fivetest), mycket stora effekter, i förskönande riktning, hos dem som inte anställts efter första testningen. (Hos dem som fick jobbet var det inga effekter). Detta var fallet trots att dessa personer inte fick ingående återkoppling, något som troligen skulle ha ökat effekterna ytterligare eftersom den kan ge ledtrådar till den testade om vad i testresultatet som var mindre lyckat.

Särskilt låga värden vid första testningen förbättrades starkt vid nästa testning. Sambandet mellan de två testningarna var svagt, mycket svagare än vad man normalt får med upprepade personlighetstestningar. Det tyder också på att de testade har andra svarsstrategier andra gången, och troligen innebar detta i sin tur att testets validitet sjönk betydligt.

Den som vill använda ett av de vanliga testen bör därför tänka sig för noga. Hur stor är risken att personen som ska testas redan har tagit testet? Har han eller hon fått återkoppling? Detta är ju regel i Sverige. Kan man få reda på om tidigare testning gjorts? Ja, det går ju an att fråga, men många vet inte vilka test de tar eller har tagit, och de har inte fått någon skriftlig rapport med sig från testningen. Vissa testföretag hemlighåller t o m vilka test de använder.

Kan test bli "utslitna" och tappa den validitet de eventuellt kan ha haft? Javisst, om man under decennier har kört tiotusentals testningar per år i Sverige. Det behövs nya test, och systematiska frågor till den testade om tidigare erfarenheter av testning, för att komma tillrätta med detta stora problem.

Referens

Hausknecht, J. P. (2010). Candidate persistence and personality test practice effects: Implications for staffing system management. [doi:10.1111/j.1744-6570.2010.01171.x]. Personnel Psychology, 63(2), 299-324. Klicka här

Ipsativa test kan ge helt missvisande resultat

Ipsativa test bygger på idén att man kan få bort effekterna av skönmålning genom att den testade personen ska välja mellan alternativ som förefaller likvärdiga när det gäller social önskvärdhet. Flera av de i Sverige mest använda personlighetstesten (t ex OPQ, Master) använder en sådan metodik. Ipsativa svarsformat har emellertid inte lyckats med att få bort effekterna av social önskvärdhet och har flera andra nackdelar, bl a att de inte gör det möjligt att jämföra mellan individer, bara inom. En person som framstår som mycket inåtvänd i ett ipsativt test kan ändå vara mycket mindre inåtvänd än andra som inte alls har ett så högt värde i inåtvändhet. Det gör onekligen att testningen blir poänglös om man syftar till att jämföra olika personer, t ex i en urvalssituation.

Det finns emellertid ett ännu värre, och besläktat, problem. Om en person ligger högt i många dimensioner, men lite mindre högt i t ex emotionell stabilitet, kommer testet inte att upptäcka detta, utan han eller hon får ett lågt värde i emotionell stabilitet, helt enkelt för att alla värden är relativa till individen själv. Den emotionella stabiliteten kan vara utmärkt, men andra egenskaper ligger ännu högre och därför hamnar den långt ner på skalan - fullständigt vilseledande. Det här är inte en teoretisk spekulation utan något jag sett i praktiken. Man kan bara spekulera i hur många felaktiga beslut som har fattats under årens gång på grundval av dessa ipsativa test.