Dagens Industri uppmärksammar UPP-testet, mm

En kortfattad och mycket positiv och sakligt korrekt artikel om UPP tillägnades en helsida i Dagens Industri den 17 oktober 2011, klicka här.De främsta poängerna är att det handlar om ett alltigenom svenskt test  med allt vad det innebär av anpassning till språk och kultur, samt den framgångsrika korrektionen för skönmålning.Testet genom ständigt forskning och vidareutveckling, vilket svenska agenter för amerikanska eller brittiska eller tyska test sältan sysslar med. Vi har goda valideringsresultat mot relevanta kriterier i arbetslivet både för chefer och andra - andra test genomför inga sådana studier i Sverige, med enstaka undantag.

Det är därför mycket glädjande att DI-artikeln har medfört en "Ketchupeffekt" denna vecka och intresset för testet nu är mycket stort. Certifieringskursen 5-6 december kan ev behöva fördubblas. En svensk företagare i Texas hörde av sig och vill pröva testet i sitt företag (engelskspråkig version finns ju). Vi har också i veckan genomfört ett stort uppdrag för Uppsala kommun gällande testningar med UPP inför chefsbefordran.

Mycket snart kommer rapporter från Rekryteringsverket och Karolinska Institutet där UPP-tetstet prövats med goda resultat. 

Internetanvändning och personlighet

Mycket frekvent användning av Internet och datorkommunikation (CMC, Computer Mediated Communication) kan leda till försämrad social förmåga och emotionell intelligens (Mullen, 2011) och ökad ensamhet (Engelberg och Sjöberg, 2004), kanske särskilt hos personer som tenderar i sig att vara inåtvända. Detta medför förstås negativa konsekvenser för dem som drabbas, men kan också ha konsekvenser i arbetslivet. Ovilja att ta personliga kontakter leder till att man undviker dem, och hellre skickar ett mail, vilket i sin tur ofta är ett ineffektivt sätt att arbeta, t ex för säljare och för många andra grupper. Mail är bra, men inte till allting, och dessutom finns det för svaga bromsar för aggressiva utspel, som man sedan får ångra djupt. En utmärkt bok med inriktning på just säljare har publicerats av Dudley och Goodson (2007). I UPP-testet version 2.0 finns en skala som mäter social säkerhet som just är inriktad på den här typen av problem. Inom många typer av jobb är ovilja att ta personliga kontakter en stor nackdel - och det är ett vanligt problem som troligen blir allt vanligare när den nya generationen som växt upp framför dataskärmar kommer ut i arbetslivet. Mätning av social säkerhet kommer troligen att bli allt viktigare.


Referenser

Dudley, G. W., & Goodson, S. L. (2007). Boken om säljhinder. Sales call reluctance. Varför vissa säljare är mer framgångsrika än andra. Stockholm: BelBin AB.

Engelberg, E., & Sjöberg, L. (2004). Internet use, social skills and adjustment. CyberPsychology & Behavior, 7(1), 41-48. Klicka här.

Mullen, J. K. (2011). The impact of computer use on employee performance in high‐trust professions: Re‐examining selection criteria in the Internet age. [doi:10.1111/j.1559-1816.2011.00790.x]. Journal of Applied Social Psychology, 41(8), 2009-2043.

Test utan dokumenterat värde, eller kejsarens nya kläder

När jag läste psykologutbildningen fick jag lära mig att test absolut måste ha dokumenterad validitet, att de skulle vara evidensbaserade som vi säger nuförtiden. Test  finns många, konstruerade av optimister och eller amatörer.  Med hjälp av skickliga marknadsförare kan testen framställas som "vetenskapliga" och "i det närmaste ofelbara".

Test säljs i Sverige i stor volym utan att ha validerats för svenska tillämpningar, oftast översatta versioner av brittiska eller amerikanska test. Kunderna tycks inte fråga efter validitet, eller också utgår de från att den finns och är väl dokumenterad. Där tar de alltså fel! Detta gäller tyvärr även de största  aktörerna i branschen. STP-prövningen var tänkt att motverka dessa missförhållanden, men vad har hänt? STP kan mycket väl skriva en mycket kritisk rapport om ett test, men rapporten är mycket dyr, svårläst och svår att få tag på. Ett starkt kretiskt yttrande läses därför av få, och i marknadsföringen kan man stolt säga att testet är "granskat av STP", utan större risk att någon blivande kund tar reda på vad STP egentligen har sagt.

Jag har föreslagit att STP ska göra rapporterna tillgängliga gratis på sin hemsida men förslaget har inte beaktats, inte ens besvarats. (STP besvarar sällan och i så fall med lång fördröjning frågor eller förslag).  STP ger inte heller kontaktuppgifter till testfirmorna på sin hemsida, vilket skulle vara en enkel service och inte är mycket att begära efter att man betalat ganska mycket pengar för att (efter ett par år) få en granskning (50 000).   Mycket mer är att säga om STP, men det ska jag återkomma till. Här nöjer jag mig med att påpeka att rapporterna bara ger knapphändiga uppgifter om vilka data de stödjer sina bedömningar på. Dessa data finns oftast endast i svår- eller otillgängliga källor. Testföretagen är i de flesta fall ovilliga att lämna ut dem.

Alltså: test använda i stor skala i Sverige har ingen - eller bara ytterst fragmentarisk -  dokumenterad validitet för svenska tillämpningar. Kunderna har rätt att få bättre test, och sådana finns faktiskt.

Prognos och förståelse

Personlighetstest kan, om de har rätt innehåll, ha hög validitet, omkring 0.5. Men för att nå den siffran måste man matcha testskalor mot kriteriet. Den fråga jag ställde mig helt nyligen var om ett screeningtest, som omfattar bara en mindre del av ett fullständigt personlighetstest, kan ha lika hög validitet. Till min förvåning fann jag att så var fallet, validiteten var bara obetydligt lägre med ett screeningstest som var baserat på de bästa skalorna i det fullständiga testet, bästa i betydelsen mest valida mot kriterier.

Det är ett viktigt resultat, eftersom det visar att screeningidén kan fungera bättre än man kunde vänta, men det betyder inte att ett mera fullständigt test är onödigt. Prognoser av arbetsresultat är inte det enda syftet med testning, men det är vad som krävs i en första fas, där just screeningtestet är tänkt att fungera. I ett senare skede berikas beslutsfattandet av en fördjupad kunskap om personen.

Hur många gånger kan man upprepa samma test?

Personlighetstest som OPQ och HPI används ofta, och har funnits länge på marknaden. Som ett resultat av detta möter man ofta jobbkandidater som redan testats en eller många gånger med ett eller flera av de vanliga testen. Det är då naturligt att fråga sig om testens värde urholkas av omfattande erfarenhet med dem. Såvitt bekant förekommer inga försök att registrera antalet testningar en person gjort med ett test.(Utom för UPP 2.0, som lanseras snart. UPP är ett nytt test, medan det finns hundratusentals personer i Sverige som tagit test som OPQ, HPI, Master, 16 PF, Myers-Briggs och Thomas/PPA).

Frågan om effekter av omtestning med personlighetstest har inte undersökts noga tidigare.  Hausknecht (2010) finner emellertid i en studie med Gordon-testet (ett Big Fivetest), mycket stora effekter, i förskönande riktning, hos dem som inte anställts efter första testningen. (Hos dem som fick jobbet var det inga effekter). Detta var fallet trots att dessa personer inte fick ingående återkoppling, något som troligen skulle ha ökat effekterna ytterligare eftersom den kan ge ledtrådar till den testade om vad i testresultatet som var mindre lyckat.

Särskilt låga värden vid första testningen förbättrades starkt vid nästa testning. Sambandet mellan de två testningarna var svagt, mycket svagare än vad man normalt får med upprepade personlighetstestningar. Det tyder också på att de testade har andra svarsstrategier andra gången, och troligen innebar detta i sin tur att testets validitet sjönk betydligt.

Den som vill använda ett av de vanliga testen bör därför tänka sig för noga. Hur stor är risken att personen som ska testas redan har tagit testet? Har han eller hon fått återkoppling? Detta är ju regel i Sverige. Kan man få reda på om tidigare testning gjorts? Ja, det går ju an att fråga, men många vet inte vilka test de tar eller har tagit, och de har inte fått någon skriftlig rapport med sig från testningen. Vissa testföretag hemlighåller t o m vilka test de använder.

Kan test bli "utslitna" och tappa den validitet de eventuellt kan ha haft? Javisst, om man under decennier har kört tiotusentals testningar per år i Sverige. Det behövs nya test, och systematiska frågor till den testade om tidigare erfarenheter av testning, för att komma tillrätta med detta stora problem.

Referens

Hausknecht, J. P. (2010). Candidate persistence and personality test practice effects: Implications for staffing system management. [doi:10.1111/j.1744-6570.2010.01171.x]. Personnel Psychology, 63(2), 299-324. Klicka här

Cronbach's alpha outdated?

Cronbach's alpha is industry standard for assessing reliability. It measures consistency of items forming a scale, which is useful but could be misleading. The problem is that the items could all measure a composite of several latent traits; hence the scale may not be very useful as an indicator of a construct in spite of a high value fo alpha. A more appropriate measure need to reflect true homogeneity of the items in a scale, simply speaking if they measure a common factor. This is probably going to replace alpha in test construction and assessment of tests, but the process is fairly slow, and the practical implications so far not well known. How many test scales need to be "purified" and will they then be more useful in practical applications?

Reference


Schweizer, K. (2011). On the changing role of Cronbach's alpha in the evaluation of the quality of a measure. European Journal of Psychological Assessment, 27, 143-144.

Prövningar av testens värde - myten om ”de dåliga testen”

Stiftelsen för Tillämpad Psykologi (STP) har tagit på sig uppgiften att granska och "godkänna" psykologiska test. Men det verkar som om man tagit sig vatten över huvudet...

•STP-företrädare uttalar sig mycket ofta i media och säger något i stil med ”att det finns väldigt många dåliga test”. Bara en handfull test (ca 5) har blivit ”godkända” i deras granskningar. 

 

•

•STP kräver emellertid så stora grupper vid testvalidering (n > 100) att det blir praktiskt mycket svårt att faktiskt genomföra ett valideringsprogram. Kravet saknar rationell grund; STP kan inte motivera det. Kravet motverkar arbetet med evidensbasering av test eftersom det är nästan omöjligt att leva upp till. 

•

•STP gör även en bedömning av testets värde genom att beräkna genomsnittet (medianen) av enskilda testskalors korrelationer med kriterier – detta ger en drastisk underskattning, och STP kan inte motivera sitt arbetssätt.

 

•

•

•

•En utredning av testens värde genomförd av en professor i Uppsala på uppdrag av Telia för ca 15 år sedan åberopas fortfarande ofta som ”bevis” för att nästan alla test måste underkännas – men utredningen är hemligstämplad och argumenten för slutsatsen kan inte bedömas. Märkligt är att media ändå tycks anse den trovärdig och viktig! Kanske har Ekehammar rätt, men det kan vi inte veta.(Om någon av mina läsare har tillgång till rapporten vill jag gärna se den).

•