Psychological testing and psychometrics

Testgranskning: Thomas-testet

2012-02-15T00:59:00.004-08:00

Den enkla adjektivlista med rötter i Marstons obskyra teori från 1928, som är basen för Thomas-testet, är mycket popoulärt i Sverige. Troligen har det något att ge, men Buros-instutets utvärdering summeras så här:

"SUMMARY. The DiSC Classic is an easy-to-use, well-organized self-assessment of behavior responses to work environments. On the surface level, it appears that the instrument is useful in personal or professional development. However, the test suffers from questionable reliability and unknown validity. The measure is also remiss in its lack of reliability and validity for diverse ethnic/racial populations and professional occupations. Therefore, the use of the DiSC is not recommended."

Buros är USA:s ledande institut för utvärdering av psykologiska test. 1000-tals test har utvärderats, t ex Belbin som ju också är populärt i vårt land. Ett utlåtande kostar 15 dollar att ladda ner. Vetenskapligt väl kvalificerade bedömare - oftast universitetsprofessorer och aldrig anonyma - skriver narrativa texter, inte som Brittiska motsvarigheten en serie tabeller med kvantitativa bedömningar. STP ligger någonstans mittemellan, deras bedömare är dock anonyma, vilket jag tror är mycket olämpligt a många skäl, och tycks ibland ha marginell kompetens för jobbet. De har f ö också en mycket kritisk syn på Thomas, men spridningen av deras rapporter är nästan obefintlig eftersom de kostar 1000 kr styck (för en rapport på 10-15 sidor!). Hunter Mabons analys av Thomas är även den mycket informativ. Se också Cooks (1992) skarpa kritik av Thomas, och Sjöbergs (2005) diskussion.

Referenser

Cook, M. (1992). An evaluation of the DISC/Personal Profile Analysis. Selection and Development Review, 8, 3-6.

Mabon, H. (2004). Arbetspsykologisk testning. Om urvalsmetoder i arbetslivet. Andra upplagan. Stockholm: Psykologiförlaget. Sid. 271-278.

Marston, W. M. (1989/1928). Emotions of normal people. Ormskirk, Lancs.: Thomas Lyster.

Sjöberg, L. (2005). The Swedish version of Thomas PPA: Critical comments.Klicka här.

Stiftelsen för tillämpad psykologi. (2004). Granskningsrapport - Thomas Systemet Personlig Profil Analys, Thomas PPA. Stockholm: Stiftelsen för Tillämpad Psykologi.

Twitter

2012-02-14T22:35:00.000-08:00

Följ mig på twitter, klicka här.

Rorschach och psykopati

2012-02-02T01:05:00.000-08:00

I en abstract av en publicerar meta-analys kan man läsa:

Gacono and Meloy (2009) have concluded that the Rorschach Inkblot Test is a sensitive instrument with which to discriminate psychopaths from nonpsychopaths. We examined the association of psychopathy with 37 Rorschach variables in a meta-analytic review of 173 validity coefficients derived from 22 studies comprising 780 forensic participants. All studies included the Hare Psychopathy Checklist or one of its versions (Hare, 1980, 1991, 2003) and Exner's (2003) Comprehensive System for the Rorschach. Mean validity coefficients of Rorschach variables in the meta-analysis ranged from −.113 to .239, with a median validity of .070 and a mean validity of .062. Psychopathy displayed a significant and medium-sized association with the number of Aggressive Potential responses (weighted mean validity coefficient = .232) and small but significant associations with the Sum of Texture responses, Cooperative Movement = 0, the number of Personal responses, and the Egocentricity Index (weighted mean validity coefficients = .097 to .159). The remaining 32 Rorschach variables were not significantly related to psychopathy. The present findings contradict the view that the Rorschach is a clinically sensitive instrument for discriminating psychopaths from nonpsychopaths.

Referens

Wood, J. M., Lilienfeld, S. O., Nezworski, M. T., Garb, H. N., Allen, K. H., & Wildermuth, J. L. (2010). Validity of Rorschach Inkblot scores for discriminating psychopaths from nonpsychopaths in forensic populations: A meta-analysis. [doi:10.1037/a0018998]. Psychological Assessment, 22(2), 336-349.

Testgranskning: HDS

2012-02-01T01:02:00.000-08:00

Personlighetens mörka sida: HDS-testet

De flesta personlighetstest som används svenskt arbetsliv mäter normalpersonligheten. I vissa fall som OPQ, MBTI och PPA (Thomas) har man medvetet gåt in för att ge en positiv bild av varje testad person. UPP-testet utgår från en positiv syn på människor inom normalområdet men erkänner också att det finns "subkliniska" varianter av dimensioner som passiv aggression, perfektionism och narcissism; dessa mäts med särskilda skalor. HDS tar ett mera radikalt grepp och mäter enbart sådana aspekter av "den mörka sidan". Det är viktigt att försöka sig på detta, inte minst med tanke på den aktuella diskussionen om "den mörka triaden . I en studie av HDS-data insamlade i skarpt läge fann jag:

•    HDS är ett försök att mäta ett antal olika aspekter på personlighetens ”dark side”. De 11 skalorna har en 2-dimensionell struktur. De är starkt korrelerade med FFM-faktorer och skönmålning, multipla korrelationer omkring 0.40 – 0.65. Om man kontrollerar för FFM och skönmålning finns ingen tydlig struktur kvar i HDS-skalorna.

•    Reliabiliteten hos delskalorna i HDS var dessutom låg, upp till 50 % av variansen var felvarians.

•    Felvarians, skönmålning och "Big Five" svarade för ca 75 % av HDS-skalornas varians

I oberoende granskning (Buros-institutet, se http://www.unl.edu/buros/), av två oberoende vetenskapligt väl kvalificerade utvärderare som inte är anonyma, riktas tung kritik mot testet:

–    ” All but 4 of these 11 reliability coefficients are below the minimum level of .70. ” (Utvärderare 1)

–    ” The validational data relating to performance is also disappointing, both in quantity and quality. ” (Utvärderare 1)

–    ” Reliability evidence is mixed. Three-month test-retest coefficients appear acceptable; however, the research sample was limited to 60 graduate students. Alpha coefficients ranged from .50 to .78, with seven falling below .70, suggesting considerable caution with respect to the use of the scales in making decisions about individual clients. ” (Utvärderare 2)

–    ” Modest, but meaningful correlations between HDS scores and managerial behavior ratings from an unspecified mix of subordinates, peers, and supervisors are also demonstrated. ” (Utvärderare 2)

Saville et al. (2008) har gjort en stor jämförande studie av olika kommersiella personlighetstest. De noterar att efter endast en vecka hade vid omtestning med HDS endast 8 % oförändrad profil. Det stämmer ju bra med andra resultat som har visat låg reliabilitet hos detta test.

Referenser
Fox, G. (2001). Review of the Hogan Development Survey In B. S. Plake & J. C. Impara (Eds.), The fourteenth mental measurements yearbook. Lincoln NE: Buros Institute of Mental Measurements.

Huebner, E. S. (2001). Review of the Hogan Development Survey. In B. S. Plake & J. C. Impara (Eds.), The fourteenth mental measurements yearbook. Lincoln NE: Buros Institute of Mental Measurements.

Saville, P. (2008, January). Project Epsom: How Valid Is Your Questionnaire? Phase 1: Saville Consulting Wave®, OPQ®, Hogan Personality Inventory & Development Survey, 16PF5, NEO, Thomas International DISC, MBTI and Saville Personality Questionnaire Compared in Predicting Job Performance. Paper presented at the The British Psychological Society Division of Occupational Psychology Conference: “Personality Questionnaires – Valid Inferences, False Prophecies”. För denna rapport klicka här.

Gick det att lura UPP-testet?

2012-01-24T09:20:00.001-08:00

I höstas inbjöds läsarna av denna blogg att försöka lura UPP-testet. Gick det? Svaret finns här.

Nytt om faking

2012-01-21T03:04:00.000-08:00

O'Connell et al. (2011) har publicerat en intressant studie om faking på personlighetstest.Förutom en vanlig skala på social önskvärdhet (SD-skala) mätte de skönmålning med två andra metoder: CVI (bygger på att skönmålning skapar tillskott till korrelation mellan annars orelaterade skalor), samt en skala som frågar om man haft erfarenhet av ej existerande verksamheter (ren lögnskala,. alltså). Resultaten är något komplexa men SD-skalan fungerade bäst.

Författarna är bekymrade över kritiken av SD-skalor och försökte därför hitta alternativ, med begränsad framgång. Att faking förekom och var både stark och vanlig bland jobbsökande var emellertid glasklart. Något måste uppenbarligen göras och fortsatt metodutveckling efterfrågas. Att bara förneka att problemet förekommer är enfaldigt, och sannerligen ingen lösning.

SD-skalor kan eventuellt fungera mot kriterier av objektiv typ, eller bedömningar av hur bra man skött själva kärnuppgifterna i jobbet. När det gäller socialt stödjande insatser i jobbet kanske SD-skalor korrelerar positivt med kriteriet och därför sänker validiteten hos personlighetstest om de används för någon form av korrektion. I jobb av typ kundservice där det sociala inslaget är mycket stort kan det fungera på att liknande sätt.

Idén att mäta faking med en ren lögnskala är inressant men kräver ju speciell anpassning för varje typ av jobb. Kanske kan man använda item av den typ som ibland har används för att mäta icke existerande attityder.

Referens
O'Connell, M. S., Kung, M.-C., & Tristan, E. (2011). Beyond Impression Management: Evaluating three measures of response distortion and their relationship to job performance. International Journal of Selection and Assessment, 19, Issue 4 (December), pages 340–351, 340-351.

Mera om OPQ och validitet

2012-01-09T23:46:00.000-08:00

Ju mera man studerar det brittiska OPQ-testet, detta i Sverige mycket populära test, och dess validitet desto mera förbryllad blir man. En mycket ambitiös sammanställning av massor av data, publicerad av Bartram (1995) tyder snarast på värden omkring 0,05 mot olika kriterier. Enda undantaget är s k kanoniska korrelationer mellan uppsättningar av personlighetsskalor och uppsättningar av kriteriemått, där han når nivån 0.5. Men det är väl känt att denna typ av korrelationsberäkning är extremt känslig för slumpvariationer i data, numera sällan använd och betraktad med stor skepsis (Saville, 2008). Mysteriet tätnar: vad är egentligen vitsen om OPQ?

Referenser
Bartram, D. (2005). The Great Eight Competencies: A Criterion-Centric Approach to Validation. [doi:10.1037/0021-9010.90.6.1185]. Journal of Applied Psychology, 90, 1185-1203.

Saville, P. (2008, January). Project Epsom: How Valid Is Your Questionnaire? Phase 1: Saville Consulting Wave®, OPQ®, Hogan Personality Inventory & Development Survey, 16PF5, NEO, Thomas International DISC, MBTI and Saville Personality Questionnaire Compared in Predicting Job Performance. Paper presented at the The British Psychological Society Division of Occupational Psychology Conference: “Personality Questionnaires – Valid Inferences, False Prophecies”. Klicka här.

Teorier inom personlighetstestningen

2011-12-21T03:56:00.000-08:00

"Teori" är ett laddat ord. Det är väl alltid bra med en teori? Inte alls. Det krävs att teorin är evidensbaserad och rimlig. Teori har inget egenvärde.

Men om man saknar teori? Vad har man då? Svaret på frågan är empiri, dvs att man har funnit att testet har validitet för de syften som man vill uppnå. Det är både nödvändigt och tillräckligt att ett test har validitet. Teori, om den uppfyller kraven, är också av värde, men kan inte ersätta empirisk evidens. Låt oss se på några teorier bakom den vanligaste personlighetstesten inom arbetspsykologin. Läs fortsättningen här.

VD-personlighet

2011-11-16T08:55:00.000-08:00

Spelar det någon roll vem som är VD och vilka egenskaper han eller hon har? Ja, det verkar självklart men vissa forskare förnekar den saken - andra bejakar påståendet. Människor som inte känner till de akademiska trätorna tycker troligen att det är ganska självklart. Vissa VD:ar lyckas, andra misslyckas. Vad kan det bero på?

En aktuell översiktsartikel tar upp dessa frågor (Thornton et al., 2010). Rekrytering till ledande positioner tycks mera sällan bygga på psykologisk teori och metodik. Kanske kan det vara ett skäl till misslyckanden. Å andra sidan finns det inte särskilt mycket forskning om denna exklusiva grupp och det är svårt att utvärdera framgång. Psykologiska test påverkas ju av skönmålning ("self enhancement") så det är svårt att lita på dem. (Undantag finns, se denna länk). Intelligens är troligen en mycket viktig faktor, mera så ju mera komplexa jobben är. Social förmåga och emotionell intelligens brukar nämnas, och ibland (inte i denna översikt) narcissism, som kanske är bra i måttlig utsträckning men kan vara katastrofalt på hög nivå (McFarlin & Sweeney, 2010).

Thornton et al. menar att vi kanske använder fel forskningsparadigm och att det är därför vi inte har kommit längre. VD-jobben är så komplexa och kraven så unika i varje särskilt fall. Nja, det kan man väl säga om allting (nästan)? Vi har ju trots allt kommit ganska långt när det gäller att identifiera personlighetsdrag av betydelse i arbetslivet. Jag tror att problemet snarare är att vi inte får in data, VD-positionen är inte av den typen att man kan och ska forska på den. Den är för "upphöjd" för det, kanske. Jag för min del är övertygad att det går att identifiera framgångsfaktorer bara man får möjlighet att samla in data.

Något liknande kan sägas om politiskt ledarskap. Vad som än ledde till valet av Juholt som partiledare för (s), så inte tycks det ha varit hans personlighet. Han verkar vara ett bra exempel på en dålig ledare som man kunde ha undvikit med lite bättre psykologi i urvalet.

Referenser

McFarlin, D. B., & Sweeney, P. D. (2010). The corporate reflecting pool: Antecedents and consequences of narcissism in executives. In B. Schyns & T. Hansbrough (Eds.), When leadership goes wrong: Destructive leadership, mistakes, and ethical failures. (pp. 247-283): Greenwich, CT, US: IAP Information Age Publishing.

Thornton, G. C., III, Hollenbeck, G. P., & Johnson, S. K. (2010). Selecting leaders: Executives and high potentials. In J. L. Farr & N. T. Tippins (Eds.), Handbook of employee selection. (pp. 823-840): New York, NY, US: Routledge/Taylor & Francis Group.

Validering: Personlighet och ledarskap

2011-11-02T05:40:00.000-07:00

Detta är en studie av UPP-testets validitet gentemot 360-gradersbedömningar.
Deltagarna var 166 chefer inom Stockholms läns landsting (SLL), på mellannivå.
De besvarade testet, ett formulär för mätning av stressupplevelser i arbetet, och
bedömdes av sina egna chefer, kollegor och underställda. I genomsnitt bedömdes
de av 2.5 kollegor och 7.5 underställda. 360-gradersbedömningarna kunde
summeras i tre index, som mätte framgång i förändringsarbete, strukturering av
arbetet samt relationer till underställda medarbetare. Egenbedömningarna hade
lågt samband med övriga bedömningar, som i sin tur var moderat korrelerade
(omkring 0.4). Det fanns emellertid ingen tydlig tendens till skillnad när
egenbedömningarnas nivå jämfördes med övrigas bedömningar.
Samtliga testvariabler korrigerades för skönmålning. För analyserna av testets
validitet bildades tre index av testvariabler som matchade bedömningarna
innehållsmässigt. Genomsnittliga bedömningar av kollegor och underställda
beräknades. Testindexen korrelerades med dessa genomsnittliga bedömningar
samt med bedömningarna av överordnad chef. Korrelationerna korrigerades
sedan för mätfel i kriterierna (360-gradersbedömningarna) och för begränsad
variation i testvariablerna. De slutliga värdena på validitet låg omkring 0.5 för
bedömningar av chefers, kollegors och underställdas 360-gradersbedömningar.
Egenbedömningarna var ännu högre korrelerade med UPP-testets variabler. Det
fanns en tendens till högre samband när minst 10 personer gjort 360-
gradersbedömningarna. Slutsatsen är att testet uppvisade en tillfredsställande
validitet mot 360-gradersbedömningar av chefers arbetsinsatser.
Stressupplevelsen hade främst samband med positiv grundattityd (negativt) och
de arbetsrelaterade attityder som UPP mäter, men mycket låga samband med
360-gradersbedömningarna.
Det intressanta mönster som framträder i data var:
· Höga samband mellan personlighet och 360-gradersbedömningar
· Låga samband mellan personlighet och stressdimensioner
· Höga samband mellan stressdimensioner och arbetsattityder enligt UPP
· Låga samband mellan 360-gradersbedömningar (ej egenbedömningar)
och stressdimensioner

Stressdimensionerna kan sägas mäta de svarandes ”inre värld”, och vara uttryck
för den aktuella arbetssituationen. De är inte tydliga för andra människor, inte
heller starka utslag för mera bestående personlighetsdrag. UPP-testets sektion
med arbetsattityder bildar en intressant brygga mellan det inre och det yttre, det
bestående och det mera tillfälliga.

Referens
Sjöberg, L., Bergman, D., Lornudd, C., & Sandahl, C. (2011). Sambandet mellan ett personlighetstest och 360-graders bedömningar av chefer i hälso- och sjukvården. Stockholm: Karolinska Institutet: Institutionen för lärande, informatik, management och etik (LIME).Klicka här

Dagens Industri uppmärksammar UPP-testet, mm

2011-10-20T19:57:00.000-07:00

En kortfattad och mycket positiv och sakligt korrekt artikel om UPP tillägnades en helsida i Dagens Industri den 17 oktober 2011, klicka här.De främsta poängerna är att det handlar om ett alltigenom svenskt test med allt vad det innebär av anpassning till språk och kultur, samt den framgångsrika korrektionen för skönmålning.Testet genom ständigt forskning och vidareutveckling, vilket svenska agenter för amerikanska eller brittiska eller tyska test sältan sysslar med. Vi har goda valideringsresultat mot relevanta kriterier i arbetslivet både för chefer och andra - andra test genomför inga sådana studier i Sverige, med enstaka undantag.

Det är därför mycket glädjande att DI-artikeln har medfört en "Ketchupeffekt" denna vecka och intresset för testet nu är mycket stort. Certifieringskursen 5-6 december kan ev behöva fördubblas. En svensk företagare i Texas hörde av sig och vill pröva testet i sitt företag (engelskspråkig version finns ju). Vi har också i veckan genomfört ett stort uppdrag för Uppsala kommun gällande testningar med UPP inför chefsbefordran.

Mycket snart kommer rapporter från Rekryteringsverket och Karolinska Institutet där UPP-tetstet prövats med goda resultat.

Internetanvändning och personlighet

2011-10-07T07:46:00.000-07:00

Mycket frekvent användning av Internet och datorkommunikation (CMC, Computer Mediated Communication) kan leda till försämrad social förmåga och emotionell intelligens (Mullen, 2011) och ökad ensamhet (Engelberg och Sjöberg, 2004), kanske särskilt hos personer som tenderar i sig att vara inåtvända. Detta medför förstås negativa konsekvenser för dem som drabbas, men kan också ha konsekvenser i arbetslivet. Ovilja att ta personliga kontakter leder till att man undviker dem, och hellre skickar ett mail, vilket i sin tur ofta är ett ineffektivt sätt att arbeta, t ex för säljare och för många andra grupper. Mail är bra, men inte till allting, och dessutom finns det för svaga bromsar för aggressiva utspel, som man sedan får ångra djupt. En utmärkt bok med inriktning på just säljare har publicerats av Dudley och Goodson (2007). I UPP-testet version 2.0 finns en skala som mäter social säkerhet som just är inriktad på den här typen av problem. Inom många typer av jobb är ovilja att ta personliga kontakter en stor nackdel - och det är ett vanligt problem som troligen blir allt vanligare när den nya generationen som växt upp framför dataskärmar kommer ut i arbetslivet. Mätning av social säkerhet kommer troligen att bli allt viktigare.

Referenser

Dudley, G. W., & Goodson, S. L. (2007). Boken om säljhinder. Sales call reluctance. Varför vissa säljare är mer framgångsrika än andra. Stockholm: BelBin AB.

Engelberg, E., & Sjöberg, L. (2004). Internet use, social skills and adjustment. CyberPsychology & Behavior, 7(1), 41-48. Klicka här.

Mullen, J. K. (2011). The impact of computer use on employee performance in high‐trust professions: Re‐examining selection criteria in the Internet age. [doi:10.1111/j.1559-1816.2011.00790.x]. Journal of Applied Social Psychology, 41(8), 2009-2043.

Test utan dokumenterat värde, eller kejsarens nya kläder

2011-09-24T00:14:00.000-07:00

När jag läste psykologutbildningen fick jag lära mig att test absolut måste ha dokumenterad validitet, att de skulle vara evidensbaserade som vi säger nuförtiden. Test finns många, konstruerade av optimister och eller amatörer. Med hjälp av skickliga marknadsförare kan testen framställas som "vetenskapliga" och "i det närmaste ofelbara".

Test säljs i Sverige i stor volym utan att ha validerats för svenska tillämpningar, oftast översatta versioner av brittiska eller amerikanska test. Kunderna tycks inte fråga efter validitet, eller också utgår de från att den finns och är väl dokumenterad. Där tar de alltså fel! Detta gäller tyvärr även de största aktörerna i branschen. STP-prövningen var tänkt att motverka dessa missförhållanden, men vad har hänt? STP kan mycket väl skriva en mycket kritisk rapport om ett test, men rapporten är mycket dyr, svårläst och svår att få tag på. Ett starkt kretiskt yttrande läses därför av få, och i marknadsföringen kan man stolt säga att testet är "granskat av STP", utan större risk att någon blivande kund tar reda på vad STP egentligen har sagt.

Jag har föreslagit att STP ska göra rapporterna tillgängliga gratis på sin hemsida men förslaget har inte beaktats, inte ens besvarats. (STP besvarar sällan och i så fall med lång fördröjning frågor eller förslag). STP ger inte heller kontaktuppgifter till testfirmorna på sin hemsida, vilket skulle vara en enkel service och inte är mycket att begära efter att man betalat ganska mycket pengar för att (efter ett par år) få en granskning (50 000). Mycket mer är att säga om STP, men det ska jag återkomma till. Här nöjer jag mig med att påpeka att rapporterna bara ger knapphändiga uppgifter om vilka data de stödjer sina bedömningar på. Dessa data finns oftast endast i svår- eller otillgängliga källor. Testföretagen är i de flesta fall ovilliga att lämna ut dem.

Alltså: test använda i stor skala i Sverige har ingen - eller bara ytterst fragmentarisk - dokumenterad validitet för svenska tillämpningar. Kunderna har rätt att få bättre test, och sådana finns faktiskt.

Prognos och förståelse

2011-09-21T13:47:00.000-07:00

Personlighetstest kan, om de har rätt innehåll, ha hög validitet, omkring 0.5. Men för att nå den siffran måste man matcha testskalor mot kriteriet. Den fråga jag ställde mig helt nyligen var om ett screeningtest, som omfattar bara en mindre del av ett fullständigt personlighetstest, kan ha lika hög validitet. Till min förvåning fann jag att så var fallet, validiteten var bara obetydligt lägre med ett screeningstest som var baserat på de bästa skalorna i det fullständiga testet, bästa i betydelsen mest valida mot kriterier.

Det är ett viktigt resultat, eftersom det visar att screeningidén kan fungera bättre än man kunde vänta, men det betyder inte att ett mera fullständigt test är onödigt. Prognoser av arbetsresultat är inte det enda syftet med testning, men det är vad som krävs i en första fas, där just screeningtestet är tänkt att fungera. I ett senare skede berikas beslutsfattandet av en fördjupad kunskap om personen.

Hur många gånger kan man upprepa samma test?

2011-09-11T02:28:00.000-07:00

Personlighetstest som OPQ och HPI används ofta, och har funnits länge på marknaden. Som ett resultat av detta möter man ofta jobbkandidater som redan testats en eller många gånger med ett eller flera av de vanliga testen. Det är då naturligt att fråga sig om testens värde urholkas av omfattande erfarenhet med dem. Såvitt bekant förekommer inga försök att registrera antalet testningar en person gjort med ett test.(Utom för UPP 2.0, som lanseras snart. UPP är ett nytt test, medan det finns hundratusentals personer i Sverige som tagit test som OPQ, HPI, Master, 16 PF, Myers-Briggs och Thomas/PPA).

Frågan om effekter av omtestning med personlighetstest har inte undersökts noga tidigare. Hausknecht (2010) finner emellertid i en studie med Gordon-testet (ett Big Fivetest), mycket stora effekter, i förskönande riktning, hos dem som inte anställts efter första testningen. (Hos dem som fick jobbet var det inga effekter). Detta var fallet trots att dessa personer inte fick ingående återkoppling, något som troligen skulle ha ökat effekterna ytterligare eftersom den kan ge ledtrådar till den testade om vad i testresultatet som var mindre lyckat.

Särskilt låga värden vid första testningen förbättrades starkt vid nästa testning. Sambandet mellan de två testningarna var svagt, mycket svagare än vad man normalt får med upprepade personlighetstestningar. Det tyder också på att de testade har andra svarsstrategier andra gången, och troligen innebar detta i sin tur att testets validitet sjönk betydligt.

Den som vill använda ett av de vanliga testen bör därför tänka sig för noga. Hur stor är risken att personen som ska testas redan har tagit testet? Har han eller hon fått återkoppling? Detta är ju regel i Sverige. Kan man få reda på om tidigare testning gjorts? Ja, det går ju an att fråga, men många vet inte vilka test de tar eller har tagit, och de har inte fått någon skriftlig rapport med sig från testningen. Vissa testföretag hemlighåller t o m vilka test de använder.

Kan test bli "utslitna" och tappa den validitet de eventuellt kan ha haft? Javisst, om man under decennier har kört tiotusentals testningar per år i Sverige. Det behövs nya test, och systematiska frågor till den testade om tidigare erfarenheter av testning, för att komma tillrätta med detta stora problem.

Referens

Hausknecht, J. P. (2010). Candidate persistence and personality test practice effects: Implications for staffing system management. [doi:10.1111/j.1744-6570.2010.01171.x]. Personnel Psychology, 63(2), 299-324. Klicka här

Cronbach's alpha outdated?

2011-09-04T05:21:00.000-07:00

Cronbach's alpha is industry standard for assessing reliability. It measures consistency of items forming a scale, which is useful but could be misleading. The problem is that the items could all measure a composite of several latent traits; hence the scale may not be very useful as an indicator of a construct in spite of a high value fo alpha. A more appropriate measure need to reflect true homogeneity of the items in a scale, simply speaking if they measure a common factor. This is probably going to replace alpha in test construction and assessment of tests, but the process is fairly slow, and the practical implications so far not well known. How many test scales need to be "purified" and will they then be more useful in practical applications?

Reference

Schweizer, K. (2011). On the changing role of Cronbach's alpha in the evaluation of the quality of a measure. European Journal of Psychological Assessment, 27, 143-144.

Prövningar av testens värde - myten om ”de dåliga testen”

2011-08-28T04:02:00.000-07:00

Stiftelsen för Tillämpad Psykologi (STP) har tagit på sig uppgiften att granska och "godkänna" psykologiska test. Men det verkar som om man tagit sig vatten över huvudet...

•STP-företrädare uttalar sig mycket ofta i media och säger något i stil med ”att det finns väldigt många dåliga test”. Bara en handfull test (ca 5) har blivit ”godkända” i deras granskningar.

•

•STP kräver emellertid så stora grupper vid testvalidering (n > 100) att det blir praktiskt mycket svårt att faktiskt genomföra ett valideringsprogram. Kravet saknar rationell grund; STP kan inte motivera det. Kravet motverkar arbetet med evidensbasering av test eftersom det är nästan omöjligt att leva upp till.

•

•STP gör även en bedömning av testets värde genom att beräkna genomsnittet (medianen) av enskilda testskalors korrelationer med kriterier – detta ger en drastisk underskattning, och STP kan inte motivera sitt arbetssätt.

•

•En utredning av testens värde genomförd av en professor i Uppsala på uppdrag av Telia för ca 15 år sedan åberopas fortfarande ofta som ”bevis” för att nästan alla test måste underkännas – men utredningen är hemligstämplad och argumenten för slutsatsen kan inte bedömas. Märkligt är att media ändå tycks anse den trovärdig och viktig! Kanske har Ekehammar rätt, men det kan vi inte veta.(Om någon av mina läsare har tillgång till rapporten vill jag gärna se den).

•

Personlighet och ekonomisk framgång

2011-07-31T02:12:00.000-07:00

Validering av personlighetstest brukar sällan ge starka resultat - men undantag finns. Här ska jag redogöra för ett, ur min aktuella forskning. En stor grupp, 110 personer, tog UPP-testet och vissa tillkommande personlighetsskalor, samt besvarade en hel del andra frågor, bland dem frågan om månadsinkomst. Det senare kan betraktas som ett externt kriterium, i förhållande till testets variabler "distalt", dvs utan semantiskt överlappande innehåll. I nedanstående figur återges korrelationerna (efter rangordning) mellan testskalorna (korrigerade för skönmålning) och månadsinkomst.

Det är slående att fem skalor är särskilt starkt relaterade till ekonomisk framgång:

Arbetsintresse

Uthållighet

Social säkerhet

Resultatorientering

Positiv attityd

Dessa fem skalor kombinerades till ett index; detta korrelerade 0.52 med ekonomisk framgång, efter korrektion för mätfel.

Månadslön är säkert påverkad av många andra faktorer än personlighet. Att vi når så högt som 0.52 tyder onekligen på att testet har hög validitet. Det är en nivå på validiteteten som närmar sig det som kan nås med kognitiva test, och kombinationen personlighet - kognitivt test blir oslagbar. Märk också att ingen av de fem viktiga faktorerna ligger inom "Big Five", dessa skalor hamnar som figuren visar längre ner när det gäller validitet. Som jag ofta funnit är "Big FIve" dimensionerna en återvändsgränd, man måste arbeta med smalare och på arbetslivet direkt fokuserade skalor, och detta är vad UPP-testet gör, till skillnad från andra personlighetstest.

Mera information om UPP finns på www.psykologisk-metod.se.

Ipsativa test kan ge helt missvisande resultat

2011-07-09T02:01:00.000-07:00

Ipsativa test bygger på idén att man kan få bort effekterna av skönmålning genom att den testade personen ska välja mellan alternativ som förefaller likvärdiga när det gäller social önskvärdhet. Flera av de i Sverige mest använda personlighetstesten (t ex OPQ, Master) använder en sådan metodik. Ipsativa svarsformat har emellertid inte lyckats med att få bort effekterna av social önskvärdhet och har flera andra nackdelar, bl a att de inte gör det möjligt att jämföra mellan individer, bara inom. En person som framstår som mycket inåtvänd i ett ipsativt test kan ändå vara mycket mindre inåtvänd än andra som inte alls har ett så högt värde i inåtvändhet. Det gör onekligen att testningen blir poänglös om man syftar till att jämföra olika personer, t ex i en urvalssituation.

Det finns emellertid ett ännu värre, och besläktat, problem. Om en person ligger högt i många dimensioner, men lite mindre högt i t ex emotionell stabilitet, kommer testet inte att upptäcka detta, utan han eller hon får ett lågt värde i emotionell stabilitet, helt enkelt för att alla värden är relativa till individen själv. Den emotionella stabiliteten kan vara utmärkt, men andra egenskaper ligger ännu högre och därför hamnar den långt ner på skalan - fullständigt vilseledande. Det här är inte en teoretisk spekulation utan något jag sett i praktiken. Man kan bara spekulera i hur många felaktiga beslut som har fattats under årens gång på grundval av dessa ipsativa test.

Stresstestning av UPP-testet: kan du lura testet?

2011-07-06T00:05:00.000-07:00

Personlighetstest brukar vara lätta att lura. Vill man framstå som mycket bättre än man egentligen är så kan det ordnas lätt, eftersom nästan inga test korrigerar för skönmålning och dessutom är pinsamt lätta att genomskåda. Det gäller emellertid inte UPP. Vi har många skäl att tro att korrigeringen fungerar bra i UPP-testet men vill nu se om den fungerar också när den testade personen går in för att lura oss så mycket som möjligt. Detta blir ett stresstest av UPP!

Tror du att du kan lura UPP? Vi utmanar dig! Skicka ett mail till henrik.nilheim@gmail.com så får du inloggnngsuppgifter för att ta testet. Du får sedan en testrapport varav bl a framgår dina okorrigerade och korrigerade värden. Till den som lyckas få samma värden i dessa två fall skickar vi en skön morgonrock och två kaffemuggar, och ett diplom varav framgår att du är smartare än UPP-testet!

Ännu intressantare - för dig och oss - är om du dessutom tar testet en andra gång fullständigt ärligt. Då skickar vi som bonus två trisslotter.

Det är bråttom! Erbjudandet gäller bara fram till 1 augusti. Lycka till!

Screeningtest

2011-07-02T00:52:00.000-07:00

UPP/Screen är ett nytt snabbt screeningtest, som mäter personlighet och intellektuell förmåga. Det bygger på UPP-testet, ett av STP godkänt test där vi har genomfört omfattande forskning och validering. Tanken är att detta test ska användas i ett tidigt skede av rekryteringen. Det är mycket kostnadseffektivt.

Personlighetsdimensioner:

extraversion
uthållighet
kreativitet
samarbetsvilja
grad av positiv attityd
noggrannhet

Dessutom mäts tendensen att skönmåla, och den skalan används för att korrigera personlighetsskalorna så att dessa är opåverkade av skönmålning. Denna teknik har prövats och fungerat väl i omfattande studier.

Intellektuell förmåga mäts med dels verbala, dels logisk/spatiala uppgifter.

Normdata kommer från 6116 personer som tagit testet i samband med ansökan om jobb (skarpt läge).

Testningen tar ca 25 minuter och genomförs på Internet. För intellektuell förmåga finns ett parallellt verifikationstest.

Personlighet och intellektuell förmåga vägs samman till ett slutresultat som används för att rangordna en grupp som tagit testet. Dessutom ges staninepoäng (normalfördelade i normdata, medelvärde=9, standardavvikelse = 2). För en testad grupp ges medelvärden, som visar hur gruppen som helhet ligger i relation till normdata.

Testet har god reliabilitet och validitet mot arbetsresultat.

Testning, utvärdering och rapportgenerering är helt datoriserade funktioner; rapporten föreligger omedelbart efter en testning. Användaren får per e-post ett meddelanden om att en testning genomförts och kan då ladda ner en eller flera rapporter, antingen för enskilda testade personer eller för en eller flera grupper.

Korrektion för skönmålning ökar validiteten

2011-06-25T06:59:00.000-07:00

UPP-testet använder sig av särskilda skalor för att mäta tendensen att ge socialt önskvärda var. De är korrelerade med övriga testskalor i varierande grad. De korrigerade värdena är helt enkelt residualer i modeller för sambandet mellan testskalorna och skalorna för skönmålning; olika modeller för olika testskalor - allt beroende på det empiriska sambandet. Exempelvis är skalan för emotionell stabilitet ganska starkt korrelerad med social önskvärdhet, kreativitet knappast alls. Den här ansatsen har visat sig fungera i flera olika avseenden: man kan identifiera testade personer som "bluffat", fördelningarna i de korrigerade skalorna är mindre sneda och bättre differentierade än rådata, experimentella data stödjer förfarandet liksom skillnader mellan testningar i skarpa och oskarpa lägen. Dessutom blir det mera rättvisande och rättvisa jämförelser mellan män och kvinnor, mellan invandrare och testade av inhemsk härkomst.

Men en fråga återstår. Påverkas validiteten hos testet, dvs sambandet med kriterier på arbetsresultat? I ett pågående projekt vid Karolinska Institutet har vi studerat sambandet mellan UPP och kriterier på chefsframgång, som insamlats via s k 360-gradersbedömningar. I studien medverkade 166 chefer på mellannivå inom SLL (Stockholms Läns Landsting).

Grundförutsättningen för ökad validitet genom korrektion för skönmålning är att måttet på skönmålning fungerar som en s k suppressorvariabel, dvs en variabel som korrelerar svagt eller negativt med kriteriet men positivt med testet. Så ser våra data faktiskt ut. I nedanstående figur har jag plottat resultaten från analys av medarbetares bedömningar av chefernas effektivitet i skilda avseenden. På x-axel validitet för varje skala och kriterium för okorrigerade data; på y-axeln motsvarande för korrigerade data.

Samma tendens fanns vi analyser av 360-gradersbedömningar utförda av kolleger och överordnade chefer. Korrektionen medförde en höjning av validiteten.

Detta är sista pusselbiten i validering av korrektionsmetodiken. Den fungerar, och det har nu dokumenterats i många avseenden.

Eftersom alla, utom de som säljer alla dessa test som inte kan hantera skönmålning, är övertygade om det är ett mycket allvarligt problem för alla självrapporttest att somliga testade försöker bluffa sig till en tätposition på testet - är detta äntligen en lösning på problemet.

Kritik av personlighetstest del 1: Myers-Briggs

2011-06-19T01:59:00.000-07:00

Syftet med denna lilla serie av blogg-inlägg är att kritiskt diskutera vissa mycket ofta använda personlighetstest. Först ut blir MBTI, Myers-Briggstestet, använt i många sammanhang som vid anställningar, "team building", rådgivning etc.

Det finns många kritiska analyser av detta test, som ytterst bygger på Jungs typlära. En kortfattat, populärt skriven och glasklar artikel har publicerats av professor David J. Pittenger, klicka här.

Jag citerar ur hans slutsatser:

"In summary, it appears that the MBTI does not conform to many of the basic standards expected of psychological tests. Many very specific predictions about the MBTI have not been confirmed or have been proved wrong. There is no obvious evidence that there are 16 unique categories in which all people can be placed. There is no evidence that scores generated by the MBTI reflect the stable and unchanging personality traits that are claimed to be measured. Finally, there is no evidence that the MBTI measures anything of value.

...

"

The MBTI reminds us of the olvious truth that all people are not alike, but then claims that every person can be fit neatly into one of 16 boxes. I believe that MBTI attempts to force the complexities of human personality into an artificial and limiting classification scheme. The focus on the "typing" of people reduces the attention paid to the unique qualities and potential of each individual.

Many readers may be surprised by my interpretation and objections to such a popular test. It has been my experience that this reaction stems from how they view the MBTI. In many cases, the popularity of the instrument is interpreted as an indication of its accuracy and utility, which then leads to wider use and less inclination to question the foundations of the test. As a consequence, the MBTI has become a popular instrument for reasons unrelated to its reliability and validity.

The publishers do a very good job of promoting the test and providing support for its users. The MBTI also has much intuitive appeal. The descriptions of each type are generally flattering and sufficiently vague so that most people will accept the statements as true of themselves. If you tell people that they are "innovative thinkers and good problem solvers, and good at understanding and motivating people, but may have trouble following through on details of a project," they will believe that the statement is an accurate description of themselves regardless of the truth of the statement.

Because of its apparent simplicity, the MBTI may be misused unintentionally by some people. A manager, for example, may come to believe that only certain personality types are appropriate for specific jobs. After learning about type, such a manager may conclude that only ISTJs make good accountants whereas the best people for the sales force will be the ESFJs. Thus, the type label may bias a manager's decisions on hiring, firing, evaluating, and promoting. Similarly, employees may use type labels inappropriately. Thus, one might feel that "She's an INFP, so I will never be able to work with her on an assignment," or that "I'm an ESTP and don't do well when it comes to details."

Några källor till ska nämnas i korthet. Garner och Martinko (1996) fann inga tydliga bevis för att MBTI hade någon relation till arbetsresultat. Pittinger (2005) påpekar att MBTI inte ger någon information utöver vanliga Big Five-test, men behandlar denna information på ett ineffektivt sätt (och vilseledande, kan man tillägga).En mycket upplysande diskussion av MBTI - och många andra test - finns också i en bok av Paul (2004).

Referenser

Gardner, W. L., & Martinko, M. J. (1996). Using the Myers-Briggs Type Indicator to study managers: A literature review and research agenda. Journal of Management, 22(1), 45-83.

Paul, A. M. (2004). The cult of personality. How personality tests are leading us to miseducate our children, mismanage our companies, and misunderstanding ourselves. New York: Free Press.

Pittenger, D. J. (1993). The utility of the Myers-Briggs Type Indicator. Review of Educational Research, 63(4), 467-488.

Pittenger, D. J. (2005). Cautionary comments regarding the Myers-Briggs Type Indicator. Consulting Psychology Journal: Practice and Research, 57(3), 210-221.

Sjöberg, L. (2005). En kritisk diskussion av Myers-Briggs testet. Organisational Theory & Practice. Scandinavian Journal of Organisational Psychology, 15(1), 21-28. Klicka här.

Svårigheter att dokumentera testvaliditet inom STP:s system för testgranskning

2011-05-15T00:07:00.000-07:00

STP (Stiftelsen för Tillämpad Psykologi) har tagit på sig uppgiften att kvalitetsgranska psykologiska test. Ett viktigt inslag i denna granskning är att bedöma värdet av testens validitet. Det finns, troligen delvis på grund av STP:s verksamhet, en ganska utbredd skepsis mot test, alldeles för stor enligt min mening. Företrädare för STP talar ofta i media om "dåliga" eller "tvivelaktiga" test. Det låter trovärdigt, tills man sätter sig in i de metoder de använder för att värdera test. Dessa är nämligen missvisande. Här är en lista på svagheter i deras bedömningsgrunder som gäller validering av test i förhållande till externa kriterier:

•1. Man har satt upp ett godtyckligt krav på minst 100 personer i stickprovet – kan sällan uppfyllas. Om n<100 är det enligt STP ”en inadekvat studie”. Det här kravet är direkt avskräckande för dem som vill validera sina test.

•

•2. STP gör en starkt missvisande beräkning av testets validitet som median av korrelationer mellan testskalor och kriterier – men olika skalor fungerar ju för olika kriterier (innehållsmatchning). Värdet av testet är något helt annat än medianen av värdet av enskilda testskalor.

•

•3. Det är mycket oklart om STP anser att korrektion ska göras för mätfel i kriteriet och beskuren spridning i testet, och i så fall hur. Traditionell metodik för korrektion för beskuren spridning (Thorndikes Case II) bygger på ett antagande om explicit selektion, som är orealistiskt och ger för svag effekt. Numera kan man göra korrektionen med bättre metodik (Men STP har haft samma kriterier sedan 2002). Korrektion är helt nödvändig för att man ska få en rättvisande bild av testets validitet.

•Begreppsvalidering görs ofta genom att beräkna samband mellan testvariabler och andra variabler som antas mäta samma begrep. Det är då nödvändigt att korrigera för mätfel i båda variablerna – detta godtar troligen inte ST. Exempel: UPP-testets 16 skalor hade en begreppsvaliditet på i genomsnitt 0.68, men före korrektion på 0.54. Förklarad varians var alltså ca 50 % högre efter korrektion för mätfel, en väsentligt bättre bild av testet!

•

•Intrycket om ”dåliga test” har alltså troligen till stor del sin grund i orealistiska krav och användning av ineffektiv metodik för att uppskatta styrkan på samband mellan test och kriterier. Det handlar om en systematisk undervärdering av testen, och större öppenhet för kritiska synpunkter och aktuell utveckling inom psykosmetriken vore av stort värde.

Validitet mot polisens lönekriterier

2011-05-14T03:22:00.000-07:00

Daniel de Colli har i en D-uppsats vid Mälardalens högskola rapporterat en noggrann undersökning av UPP:s validitet mot polisens lönekriterier (n=100 anställda), se uppsatsen här. Resultaten är mycket positiva för testet. Validitet mot sammanslagna lönekriterier var r = 0.48, för produktivitet 0.50 och för social förmåga 0.38. Mot ett objektivt mått på arbetsresultat, antal hållna förhör under 1 år, var sambandet = 0.54. Resultaten bygger på ett index med "bästa variablerna", nämligen emotionell stabilitet, samarbetsvilja, positiv attityd, perfektionism och arbetsvilja. Dessa variabler hade visat sig vara de mest lovande i en tidigare studie, varför de Collis undersökning har korsvaliderat dessa resultat. Dessutom bekräftade de Collis undersökning värdet av proxyvalidering. UPP-testets validitet har alltså återigen visat sig ligga i närheten av begåvningstest.

Referens

de Colli, D. (2011). Ett nytt svenskt arbetspsykologiskt test och arbetsprestation inom polisen – samtidig validitet: Mälardalens högskola, Akademin för hållbar samhälls- och teknikutveckling. Klicka här.

UPP-testets validitet mot kundservice

2011-05-07T06:06:00.000-07:00

I denna studie undersöktes UPP-testets validitet gentemot förmansbedömningar i en grupp anställda i Customer Service vid ett finansbolag. Testet visade sig ha god psykometriska egenskaper i nivå med tidigare erfarenheter. Data hade god kvalitet men det fanns en tendens till skönmålning. Gruppen visade i genomsnitt höga värden på resultatorientering och förändringsvilja, något lägre i arbetsintresse. De testade personerna bedömdes av cheferna med hjälp av att omfattande bedömningsformulär (40 variabler), som med komponentanalys kunde reduceras till tre kriterievariabler, som alla kunde mätas med mycket god precision. Validiteterna för de tre kriteriedimensionerna Värde för företaget, Effektivitet och Social funktion var 0.66, 0.52 och 0.40 efter korrektion för mätfel och beskuren spridning. Analys av proxykriterier (arbetsmotivation och liknande attitydskalor) gav liknande resultat (mediankorrelationer 0.29-0.59). Data tyder på att proxykriterierna kan ersätta förmansbedömningar vid testvalidering, eftersom de två serierna av validitetskoefficienter var starkt relaterade (r = 0.65). Korrektion för skönmålning medförde en viss sänkning av validiteten gentemot förmansbedömningen, men denna nackdel måste vägas mot de stora effekter på individnivå som korrektionen ger: de som ”bluffat” har inte längre en fördel av det.

Läs hela rapporten här.

360 degrees judgments as criteria of a personality test

2011-04-30T20:01:00.000-07:00

In a current project we tested 166 middle level managers in health care with the UPP test (Sjöberg, 2010). 360 degrees dimensions (Arvonen, 2002) were related to the dimensions derived from the test. Results:

*Correlations between 360-degrees judgments of managers and matching UPP* test variables (N=166), corrected for measurment errors in the criteria and range restriction due to indirect selection**
	360 degrees judgment dimensions
Judges	Relations	Structuring	Change
Superior manager	0.66	0.21	0.39
Colleagues	0.65	0.26	0.38
Direct reports	0.66	0.40	0.51
Self judgment	0.52	0.37	0.64

The test had a very high level of validity in these data, both in relation to the external criteria provided by independent judges of 3 types and levels, and self judgments.These values are somewhat unique for a personaliy test, but see also Hogan and Holland (2003) about the need to matcg predictors and criteria content-wise, an example of an old principle in psychological research (Sjöberg, 1980).

It is interesting to note that "Structuring" is not quite as strongly related to personality as the other two dimensions, which may be because that dimensions reflects more of "can do" aspects than "will do". It should therefore be related more strongly to ability. Note that personality as measured by the UPP test is unrelated to ability, implying that a combination of personality and ability should be ideal for prediction.

Note that the correlations have NOT been increased by applying an exploratory multiple regression model, a common enough trick.

A state-of -the-art article on correcting for measurement errior and range restriction is Hunter, Schmidt & Lee (2006).

References

Arvonen, J. (2002). Change, production and employees. An integrated model of leadership. Stockholm: Department of Psychology, University of Stockholm.

Hogan, J., & Holland, B. (2003). Using theory to evaluate personality and job-performance relations: A socioanalytic perspective. Journal of Applied Psychology, 88(1), 100-112.

Hunter, J. E., Schmidt, F. L., & Le, H. (2006). Implications of direct and indirect range restriction for meta-analysis methods and findings. [doi:10.1037/0021-9010.91.3.594]. Journal of Applied Psychology, 91(3), 594-612.

Sjöberg, L. (1980). Similarity and correlation. In E.-D. Lantermann & H. Feger (Eds.), Similarity and choice (pp. 70-87). Bern: Huber.Click here.

Sjöberg, L. (2010). A third generation personality test. Stockholm: Psykologisk Metod AB. Click here.

SIOP 2011 comments: Soldier recruitment

2011-04-22T18:58:00.000-07:00

A major project in the US Army involves a new personality test, Tapas. This is a Big Five test with a combination of ipsative and normative formats which should make it less vulnerable to faking, although this has yet to be proven. A very interesting finding was that mental ability, or g, was an important predictor for "can do" criteria, while personality was important for "will do" criteria (around 0.2, probably not corrected for measurement error and restriction of range). The debate on how to weight g and personality must clearly take into account what is to be predicted. It is striking how much more important personality, even constrained to the ineffective Big Five framework, is with regard to "will do" criteria. Just what personailty dimenions are important is a matter of concern. Traditional military psychology, based as it was on WW II experience, said emotional stability, if combat effectriveness was a criterion and studied in real-world applications (war). Current work emphasizes conscientiousness as it is a dominating dimension in civilian and and peacetime applications, and perhaps even peaceful, settings. Will conscientiousness really help in high-stakes and threatening situations?

The Swedish Government has recently decided to create a professional army, where soldiers will get a small but decent salary. (SEK 16 500 per month). So far, the program is hugely popular with some 22 000 applicants for about 2000 openings. This means a selection ratio of 10 % which should make screening testing very feasible and effective. Values, held to be very important and measured in another US Arny project, can be measured by the proxy dimensional of emotional inteligence (EI) (self report).We have a wealth of data showing this. The second Army project uses another new personality test, GAT, (see earlier blog entry) but it sems to lack a reltionship to Tapas. No such studies were mentioned (and nobody asked). The GOT test is, by the way, kept secret and item formats and content are not disclosed, measring such things a spiritutal value sand justice seems to be a real challenge.

Check out these for the promise of a proxy measure of values:

Engelberg, E., & Sjöberg, L. (2005). Emotional intelligence and interpersonal skills. In R. D. Roberts & R. Schulze (Eds.), International handbook of emotional intelligence (pp. 289-308). Cambridge MA: Hogrefe.
Click here.

Engelberg, E., & Sjöberg, L. (2006). Money attitudes and emotional intelligence. Journal of Applied Social Psychology, 36(8), 2027-2047. Click here.

Engelberg, E., & Sjöberg, L. (2007). Money obsession, social adjustment, and economic risk perception. Journal of Socio-Economics, 36(5), 689-697. Click here.

Alternatively, write an e-mail to get reprints, write to lennartsjoberg@gmail.com

Comments on SIOP 2011: Narrow vs broad traits

2011-04-16T15:27:00.000-07:00

The tremendous interest in Big Five factors has not resulted in improvements of personality tests in the sense of increased validity. The reason is that the five factors all have no or only very modest validity in relation to job performance. Very extensive research, summarized in dozens of meta analyses, document this fact. There is now growing consensus about the need to develop and use measures of "narrow traits" in order to increase validity.

Some of these narrow traits are found among the facets of the Big Five, others not. The principle guiding the search for an improved basis of testing are seldom found in theory, but in common-sense thinking about what traits one could expected to be of importance with regard to important criteria, such as psychopathy in the case of counter-productive behavior. Other examples are emotional intelligence and affect. The Big Five cannot account for more than a minor share of the variance of any of the narrow traits.

In order to get improved personality tests there is a need for tests which complement the Big Five with a number of narrow trait scales which are focused on job functionality. Some can be found among the facets, others not. There is a need to limit the narrow trait scales in order to make test validation and test interpretation practically manageable. The illusory richness of tests having 30-40 subscales creates merely a feeling of understanding the tested person, a feeling which is a reflection of a well-known tendency to over-estimate the value of information, if there is more information.

The feeling that the Big Five somehow constitute a final answer to personality and personality testing is fading. The sooner that belief is abandoned, the better it is.

Comments on SIOP 2011: Faking on personality tests

2011-04-16T03:46:00.000-07:00

The issue of faking is alive and well. Several sessions at the 2011 SIOP are devoted to it. Nobody or very few deny that faking occurs and that it can affect the outcome of a test, sometimes severely so. It is also realized that faking greatly hurts the credibility of personality testing. Non-experts test users simply are convinced that the test takers often fake good in a high-stakes situation, such as when they apply for a very desirable job or admittance to a prestige school.

It is clear that faking reduces the validity of personality tests, if left uncorrected. The effect can be very substantial. Meta analyses of the validity of personality tests tend to be based on data from incumbents, since job performance (criterion) data cannot normally be obtained from all applicants, and applicant scores are only correlated about 0.5 with incumbent scores. Hence, faking makes the data used in meta analyses of doubtful relevance to the question of test validity.

The most important of the Big Five factors, conscientiousness, is the one most affected by faking. It is also clear that the group of fakers, while heterogeneous, may contain some people who are risky to hire. Ignoring faking comes with great risks for the test users.

What can be done?A powerful alternative is to measure social desirability (SD) and use and SD scale to correct other scales for faking, to the extent hat they correlate with SD (not all scales do and correlations vary strongly in the typical case).The procedure has been validated both in experimental and field work.

There are a few objections, however.

1. SD scales are said to measure "personality". It is somewhat unclear what this means and why it is an argument. SD scales to have correlates with many other dimensions and they also have a certain amount of consistency over time and situations. So what? They can still measure faking at any given time.

2. There are several SD scales and they do not measure the same thing. The best known scales do have high intercorrelations, however.

3. You cannot detect who is a faker. Well, you can to some extent, albeit not perfectly, but who said that psychometrics ever comes up with perfect solutions?

4. Some people fake bad. This can be detected, but is not a major problem. Few people fake bad in a high-situations where they have applied for a desirable job.

Some commercial test suppliers and their agents try to solve the problem of faking by denying that it exists. This is not a credible statement. Since the future of personality testing is probably dependent on there being a solution to the faking problem - why not use the solution described here? It works.

Comments on SIOP 2011: Emotional intelligence

2011-04-15T04:46:00.000-07:00

Yesterday's panel discussion of EI attracted a huge crowd, which certainly confirmed the statement of one of the panelists, that interest in EI is strong and steadily increasing. The panelists, all well-known researchers in the field, gave a good over-view of the field and agreed that the term should only be used for performance-based measures, not for so-called mixed models (read the Bar-on test). However, the major test of performance EI is the MSCEIT which has NO incremental validity in accounting for job performance, while mixed-model approaches do have such utility. So, why bother about performance EI, for other than theoretical purposes? It can be said that "we do not know what mixed-model tests of EI measure". This is true for such tests as the Bar-On (often used in Sweden) which indeed seem not to measure anything beyond the Big Five, or very little.

Tests can be devised which measure self-assessed EI, and they do make important contributions, admittedly for unclear reasons. Here is a promising topic for research. Meanwhile, they can be used in practical work. Worry about "faking" need not be a concern since scores can be adjusted for this bias factor with the help of one or more measures of social desirability - such adjustment is clearly necessary, by the way.

It is also interesting that performance and self-assessed EI have similar correlates such as age and gender so there is SOME evidence for a relationship, in spite for the very low within-group correlation.

In addition, work in my group has shown clear relationships between self-report EI and values: people with low EI in this sense tend to be materialistic, egoistic, and perhaps even manipulative. It is, reverse scored, a "dark side" measure of such attitudes and motivations, and could function as a good proxy measurement of them.

As a final comment, why continue work on performance EI if it offers so little of practical value? Sure, there are logical reasons it should have priority to the term EI, but that seems a remote advantage.

Ny proxyvalidering

2011-03-14T08:17:00.000-07:00

Idén med proxyvalidering är att man relaterar sina testskalor till data på proxykriterier, som i sin tur är dimensioner av typ arbetsmotivation. Om de senare vet man att de har stabila och relativt höga samband med arbetsresultat eller andra viktiga dimensioner. Proxyvaliditeten är information om validitet hos ett test som är snabb att uppskatta och har man mätning av proxykriterierna inbakade i sitt test (vilket UPP har, men inga andra såvitt bekant) kan man rutinmässigt och utan extra kostnader göra studier av validiteten hos de test man använder, alltså även för test som INTE har proxykriterierna inbakade.

Jag har genomfört ett antal studier där jag DESSUTOM har haft tillgång till ett konventionellt externt kriterium i form av mått på arbetsresultat. Då har jag alltså kunnat uppskatta också validiteten av konventionellt slag. Resultatet har varit att proxyvaliditeten gett ungefär samma bild av testskalornas validitet som sambandet mellan dessa och det externa kriteriet.

I en pågående studie har jag undersökt "livsframgång" som kriterium. Denna har jag mätt i 12 olika avseenden som slagits ihop till ett sammansatt mått och relaterats till UPP-testets skalor. Dessa skalor har även relaterats till ett sedvanligt proxykriterium. De två serierna av korrelationer har relaterats i nedanstående figur.

Bilden visar ett starkt samband mellan de två serierna av korrelationer, vilket ger ytterligare starkt stöd för idén om proxyvaliditet. Hittills har alla studier av frågan gett ett sådan stöd. Vi kan nu vara ganska säkra på att proxyvalidering ger en hyfsad bild av validiteten hops ett test eller, för den delen, av vilken information som helst. Det är ett snabbt, enkelt och billigt sätt att validera, något som annars tar lång tid och är svårt och dyrbart att genomföra.

Intervjuernas validitet

2011-03-04T00:39:00.000-08:00

Vid anställningar spelar intervjuer en stor roll, helt naturligt. Men frågan är i vilken mån man kan lita på bedömningar på den grunden. De vanligaste intervjuerna är troligen av typen "djupintervjuer". Sambandet mellan bedömningar utifrån sådana ostrukturerade och psykologiskt spekulativa intervjuer är 0.15 enligt en stor meta-analys, se referens nedan. Härtill kommer att intervjuer är dyrbara, åtminstone jämfört med psykologiska tester. På sina håll har man en mycket stark tilltro till "djupintervjuer", men forskningen ger som sagt inget stöd för den tilltron.

Strukturerade intervjuer fungerar betydligt bättre, kanske för att alla intervjuade får samma frågor och svaren bedöms på ett systematiskt sätt. Men ändå kan man inte vänta sig att personbedömningar på den grunden är högt korrelerade med annan information, som testdata. Detta är bra på det sättet att intervjuerna ger ett oberoende tillskott, men oroande eftersom de två typerna av information inte begreppsvaliderar varandra.

Referens

McDaniel, M. A., Whetzel, D. L., Schmidt, F. L., & Maurer, S. D. (1994). The validity of employment interviews: A comprehensive review and meta-analysis. [doi:10.1037/0021-9010.79.4.599]. Journal of Applied Psychology, 79(4), 599-616.

Värderingar och emotionell intelligens

2011-03-02T01:50:00.000-08:00

Emotionell intelligens (EI) mäts på två sätt: självrapportskalor och prestation. Den förstnämnda metodiken har visat sig ge intressanta tillskott till andra personlighetsskalor och det är om sådana data som jag skriver här.

EI ansågs en tid vara en mycket viktig dimension i de flesta sammanhang i arbetslivet. Numera vet vi att den visserligen är av betydelse men också att den inte har så stort genomslag som man först trodde när det gäller arbetsresultat. Det finns emellertid en annan aspekt som är av vikt, nämligen sambandet EI - värderingar. Vi har funnit starka negativa samband mellan EI och värderingar som man gärna vill undvika i arbetslivet, nämligen en cynisk, manipulativ och materialistisk attityd.

Att mäta värderingar direkt kan vara svårt eftersom syftet genomskådas. Men har man en bra EI-skala kan den användas som ersättning (proxy) för värdeskalor. Värderingar är viktiga i arbetslivet. Därför kan man med fördel använda sig av EI i personlighetstest.

Referenser

Engelberg, E., & Sjöberg, L. (2005). Emotional intelligence and interpersonal skills. In R. D. Roberts & R. Schulze (Eds.), International handbook of emotional intelligence (pp. 289-308). Cambridge MA: Hogrefe. Klicka här.

Engelberg, E., & Sjöberg, L. (2006). Money attitudes and emotional intelligence. Journal of Applied Social Psychology, 36(8), 2027-2047. Klicka här.

Engelberg, E., & Sjöberg, L. (2007). Money obsession, social adjustment, and economic risk perception. Journal of Socio-Economics, 36(5), 689-697. Klicka här.

Sjöberg, L. (2001). Emotional intelligence: A psychometric analysis. European Psychologist, 6, 79-95. Klicka här.

Balanserade personlighetsskalor

2011-02-26T00:41:00.000-08:00

De flesta personlighetstest innehåller ett flertal skalor, och man har vinnlagt sig om att ha lika många item i varje skala. Detta kan verka rimligt, men vilka konsekvenser får det om de olika domänerna är olika väl sammanhållna? Man finner nämligen att det kan vara högst olika med den saken. En domän som emotionell stabilitet är väl sammanhållen, dvs korrelationerna mellan de olika testuppgifterna är ganska höga och det är ganska lätt att konstruera en reliabel skala med t ex 10 item. Emotionell intelligens är betydligt svårare för testuppgifterna har en tendens att inte korrelera så starkt. Vill man då ha lika hög reliabilitet som för emotionell stabilitet måste man ta med flera testuppgifter i den skalan och kravet med lika många uppgifter i varje delskala kan inte uppfyllas.

Men det finns en frestande utväg som får mig att tänka på gångna tiders Guttmanskalor för attitydmätning. Guttmans krav på en attitydskalla var extremt höga och kunde uppfyllas enbart om man använde frågor som var semantiskt överlappande, alltså mycket lika. Följden blev att skalorna var alldeles för specifika. Samma sak händer med personlighetstest om man väljer uppgifter som är semantiskt överlappande. Likhet och korrelation tenderar ju att gå hand i hand. Skalorna blir snyggt balanserade men validiteten ytterst olika och risken är stor att den blir låg för de skalor som gjorts för att mäta svagt sammanhållna domäner.

Referens

Sjöberg, L. (1980). Similarity and correlation. In E.-D. Lantermann & H. Feger (Eds.), Similarity and choice (pp. 70-87). Bern: Huber. Klicka här.

Personlighet och begåvning som prognosfaktorer

2011-01-28T19:18:00.000-08:00

Det tycks vara en vanlig uppfattning bland arbetspsykologer att personlighet bara har en svag korrelation med arbetsresultat, medan däremot begåvning har stor betydelse. Det är en myt, som troligen har sin upprinnelse i en mycket ofta åberopad meta-analys av Schmidt och Hunter (1988).Påståendet om betydelsen av begåvning är väl underbyggt av empiriska resultat, men inte delen om personlighet.

Schmidt och Hunter skriver nämligen inte om test utan om - endast en - personlighetsdimension: noggrannhet. Det är helt riktigt att denna dimension, som fungerar bäst av Big Five enligt många meta-analyser, bara har en korrelation på ca 0.25 med arbetsresultat (något högre med utbildningsresultat). Men det betyder inte att personlighetstest har lika svag prognoskraft. Självrapporttest med fokuserade testskalor kan läggas till grund för index som når en validitet på 0.5+, vilket är nästan lika högt som begåvning (Sjöberg, 2010). (Siffran gäller efter korrektion för mätfel i kriteriet och begränsning av variationen i testet).

Big Five-test kan emellertid inte nå denna nivå så länge de håller sig till de övergripande fem faktorerna. En studie av ledarskap av Judge et al. (2002) tycks stöda Big Five, men deras slutsatser bygger på att de använt meta-analytiska uppskattningar av korrelationerna mellan Big Five-skalorna, som sedan starkt ifrågasatts (de är alldeles för låga).

Givetvis är det ofta lämpligt att använda personlighets- och begåvningstester parallellt. Men hur ska de i så fall vägas samman? Det finns inga stöd i data för en kraftigt större vikt för begåvning. Kanske bör de få ungefär lika vikt. Men det är inte säkert att man vill kompensera svagheter på personlighetssidan, t ex låg emotionell stabilitet, med hög intelligens när man väljer chefer. Det verkar inte ens troligt att så skulle vara fallet. En bättre lösning är då troligen att arbeta med minimikrav i båda avseendena, men utformningen av beslutsregler kräver i så fall mera forskning. För personer som uppfyller minimikraven i fråga om både personlighet och begåvning kan en kompensatorisk sammanvägning vara lämplig.

Detta har handlat om självrapporttest för personlighet. Dessa upplevs "ligga på ytan" och man vill ofta gå under ytan för att upptäcka eventuella brister som gränsar till psykopatologi. Då används projektiva test som Rorschach, Hjuletmetoden och DMT, men dessa har aldrig kunnat övertygande dokumenteras som prognosfaktorer i arbetslivet. Däremot finns tydliga resultat som länkar självrapporttest till kliniska syndrom och missbruksproblematik (Kotov et al., 2010). Troligen kan man nå ännu längre också här genom att arbeta med fokuserade - och inte alltför abstrakta och spekulativa/fantasifulla - skalor av typ narcissism och social rädsla. Sådana lösningar finns idag operationella och är att föredra framför teoretiskt grundade och abstrakta dimensioner. Teoretisk grund låter bra, men det måste vara bra teorier. Annars leds psykologen ut i en ökenvandring. .

Referenser

Judge, T. A., Bono, J. E., Ilies, R., & Gerhardt, M. W. (2002). Personality and leadership: A qualitative and quantitative review. Journal of Applied Psychology, 87(4), 765-780.

Kotov, R., Gamez, W., Schmidt, F., & Watson, D. (2010). Linking “big” personality traits to anxiety, depressive, and substance use disorders: A meta-analysis. [doi:10.1037/a0020327]. Psychological Bulletin, 136(5), 768-821.

Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124, 262-274.

Sjöberg, L. (2010 a). A third generation personality test (SSE/EFI Working Paper Series in Business Administration No. 2010:3). Stockholm: Stockholm School of Economics.

Sjöberg, L. (2010 b). Personlighetsdimensioners validitet i arbetslivet: teorier och empiri (SSE/EFI Working Paper Series in Business Administration No. 2010:6). Stockholm: Stockholm School of Economics.

"Psychosocial fitness" enligt amerikanska armén: GAT-testet

2011-01-16T09:39:00.000-08:00

Den amerikanska armén arbetar med ett nytt och stort upplagt program för att utvärdera och utveckla soldaters "fitness", varmed kan förstås "lämplighet". När det gäller utvärdering har de tagit fram ett självrapport-instrument som ganska mycket liknar ett vanligt personlighetstest, men som har vissa skillnader från ett sådant, se Paterson et al.(2011). Bakgrunden är positiv psykologi och någonstans i tänkandet finns observationen att det är lättare att göra en prognos av klart misslyckande än av stor framgång. Intressant.

Paterson et al. diskuterar inte alls personlighetstestning och nämner inte ens "Big Five" och all valideringsforskning som fyllt tidskrifterna de senaste 20 åren. Ganska märkligt.

Deras eget test mäter en del välbekanta dimensioner, men i två avseenden blir man rejält nyfiken: "andlig lämplighet" och "karaktärsstyrkor". Den andliga lämpligheten tycks handla om sådant som att uppleva en mening med livet och sägs vara konfessionellt neutral. Karaktärsstyrkorna är:

Vishet
Mod
Medmänsklighet
Rättvisa
Måttlighet
"Transcendence" (svårt att förstå vad de menar, kan betyda översinnlighet eller överlägsen funktion)

Hur mäter man sådant som "mod" och "vishet"? Mod tycks onekligen testkonstruktörerna ha visat...

Frågan är om dessa dimensioner har validitet i förhållande till kriterier som de nämner: depression, missbruk mm, och livskvalitet. De nämner ytterst lite om vilka resultat de fått i det avseendet. Som personlighetstestare är man ju något luttrad när det gäller värdet av diverse i början löftesrika nya dimensioner. Man kan ju också undra om inte valet av kriterier bör göras bredare. Vidare kan konstateras at de är medvetna om problemet med skönmålning men som så många andra går de över det med lätt hand. Datakvalitet, "face validity" och emotionella aspekter på testningen tar de inte alls upp. Inte heller tycks de planera att undersöka om deras test ger något tillskott till befintliga test.

Det ska bli spännande att se hur detta nya test kommer att utvecklas och om det kommer att användas i stor skala. Det senare har ju redan påbörjats och resurserna är förstås gigantiska.Vi kommer att få höra mycket om GAT.

Referens

Peterson, C., Park, N., & Castro, C. A. (2011). Assessment for the U.S. Army Comprehensive Soldier Fitness program: The Global Assessment Tool. American Psychologist, 66(1), 10-18.

Normgrupper

2011-01-07T17:41:00.000-08:00

Hur stor måste en normgrupp för ett personlighetstest vara? Många testproducenter rapporterar mycket stora, kanske t o m representativa för populationen, grupper. En noggrann diskussion av frågan kom först nyligen med ett arbete av Tett et al. De finner att normgrupper knappast behöver vara större än N=300 och att även ett så lågt värde som N=100 ger tillfredsställande precision.

Andra överväganden än storleken är lika viktiga, eller viktigare. Normdata bör komma från en relevant jämförelsegrupp, t ex chefer eller chefskandidater. Vid testanvändning för urval ska normdata samlas in i skarpt läge, vid rådgivning och utveckling i oskarpt läge. Normer kan t o m behöva vara helt lokala, t ex för att visst företag. I normalfallet bör man utveckla nya och mera precisa normdata allt eftersom erfarenheten av ett test växer när det tillämpas i praktisk verksamhet.

Tett et al. har gjort en viktig insats. Alla testutvecklare har givetvis känt till att man måste ha en normgrupp, men hur stor den måste vara har varit oklart. Kravet på stora grupper har troligen verkat hämmande på utvecklingen och användningen av nya, specialanpassade normer.

Referens

Tett, R. P., Fitzke, J. R., Wadlington, P. L., Davies, S. A., Anderson, M. G., & Foster, J. (2009). The use of personality test norms in work settings: Effects of sample size and relevance. Journal of Occupational and Organizational Psychology, 82(3), 639-659.

Meta-analysens risker

2011-01-06T18:10:00.000-08:00

Meta-analyser är numera mycket vanliga och åbropas ofta som stöd i jakten på evidens, t ex för psykologiska tester. Detta är i stort sett sunt, men det har sina risker. Som exempel tar jag en aktuell och mycket ambitiös genomgång av forskningen kring personlighet och militär flygutbildning, se referens nedan.

Campbell et al. försöker ge en heltäckande bild av området. Kan personlighetsvariabler predicera utfallet av militär flygutbildning? De finner att bara ett fåtal variabler har studerats i tillräckliga många publikationer. Det är främst extraversion och neuroticism som det handlar om. Båda har i snitt en svag men tydlig korrelation med kriteriet godkänd/icke godkänd, på nivån 0.10 - 0.20. Det är jämförbart med meta-analyser av femfaktormodellen inom andra områden, kanske något lägre. Campbell et al. är försiktiga när det gäller slutsatser för praktisk urvalsverksamhet, men säger att mera reliabla (läs längre) tester skulle kunna vara av värde, och det är allt! De menar också att inkluderande av mått på skönmålning kanske skulle kunna höja validiteten men citerar inga resultat i det avseendet.

Vad de därremot inte tar upp är att frågan om tester till skillnad från dimensioner. Tester mäter oftast många dimensioner och dessa sammanvägs när man försöker göra prognoser. Givetvis är det relevant att undersöka validiteten hos enskilda dimensioner, men det säger ganska lite om hur bra dessa dimensioner är i praktiskt arbete. Meta-analyser inbjuder till en simplistisk analysnivå av den typ som Campbell et al. ger ett bra exempel på. Tester är troligen betydligt bättre än vad Campbell et al. ger intryck av, om man använder dem för att bilda relevanta index som består av flera dimensioner. I valideringsarbete måste man undersöka värdet av index för att inte hamna i helt missvisande slutsatser. Campbell et al. hade troligen inte som syfte att undersöka validiteten hos tester, men läser man denna typ av meta-analys utan eftertanke missar man lätt distinktionen mellan tester och dimensioner.

Detta tror jag är den största risken med meta-ananlys inom området. En annan risk är att innovationers genomslag - i sig en långsam process - bromsas upp. Det tar mycket lång tid innan en ny idé har lett till tillräckligt många publikationer för att kunna läggas till grund för en meta-analys, troligen minst 10 år. och sedan tar det ytterligare några år innan analysen kommer i tryck. Ett,. kanske extremt, exempel är det svenska DMT, som funnits sedan 60-talet och använts i praktiskt arbete nästan lika länge. Campbell et al. nämner faktiskt DMT (som de tror är ett norskt test!) men går förbi detta och andra projektiva tester utan motivering. DMT anses av ganska många psykologer ha stort praktiskt värde och borde diskuteras i sammanhanget, de ganska få studier som finns har gett en splittrad bild som är ganska förvirrande. Kanske kom den forskningen inte med därför att den är för lite omfattande, ännu efter 40 år...

Referens

Campbell, J. S., Castaneda, M., & Pulos, S. (2010). Meta-analysis of personality assessments as predictors of military aviation training success. International Journal of Aviation Psychology, 20(1), 92-109.

Thin slices

2010-12-31T02:30:00.000-08:00

Det finns aktuell forskning som visat att man kan göra ganska bra prognoser av beteende utifrån "thin slices". alltså mycket snabba iakttagelser av en person, som kan handla om några minuter eller ännu mindre. Se referenser nedan, som bl a handlar om prognoser av våldsamhet och psykopatiskt beteende.

Detta är ju paradoxala resultat. Vi vet sedan gammalt att man snabbt bildar sig ett första intryck av en person, t ex vid en anställningsintervju, men det är en ny tanke att dessa snabba intryck faktiskt kan vara rättvisande, inte bara ett uttryck för fördomar. Givetvis kan det vara en fördel för ett företag om man kan höja sig över dessa första intryck och leta vidare, intrycken är på inget sätt perfekta även om de har en viss validitet. I vardagslivet kan det emellertid vara till nytta att gå på sin "magkänsla" eftersom man sällan får mera information.

Intressant idé: att utveckla mycket snabba tester som går på principen om "thin slices". Wunderbar-testet på begåvningens g-faktor som jag skrev om på denna blogg är ett exempel. Bara 16 minuter för att få en reliabel och valid mätning av g-faktorn, med all dess inneboende prognoskraft! Eftersom vi nu har väl etablerad kunskap om personlighetens betydelse för arbetsresultat. på grundval av tester som tar ca 40 minuter, är det frestande att pröva screeningtester (t ex UPP/Screen) som tar ca en kvart. Det som gör utvecklingen alltför långsam inom denna verksamhet är svårigheten att etablera samarbete med forskningsintresserade företag. Kom gärna med tips! Se denna bloggs nätverksinbjudan.

Referenser

Carney, D. R., Colvin, C. R., & Hall, J. A. (2007). A thin slice perspective on the accuracy of first impressions. Journal of Research in Personality, 41(5), 1054-1072.

Fowler, K. A., Lilienfeld, S. O., & Patrick, C. J. (2009). Detecting psychopathy from thin slices of behavior. Psychological Assessment, 21(1), 68-78.

Stillman, T. F., Maner, J. K., & Baumeister, R. F. (2010). A thin slice of violence: Distinguishing violent from nonviolent sex offenders at a glance. Evolution and Human Behavior, 31(4), 298-303.

Chefers kontrollbehov

2010-12-28T03:20:00.000-08:00

Vid seminarier i början av hösten dök det upp önskemål om testning av kontrollbehov, vid chefstillsättningar. Studier av forskningen visade att det har gjorts ytterst få försök att mäta denna dimension. Ett undantag är Burgers arbete med en skala som han kallat "Desire for control".

I en studie som just nu är på gång undersöktes hans skala i en svensk version.Reliabiliteten var ganska låg, 0.62, och innehållet spritt över vida fält. Troligen var detta en poäng med skalan, att den skulle mäta ett generellt kontrollbehov. I stället konstruerade vi en skala som mäter kontrollbehov inom arbetslivet, med en hög reliabilitet (0.86). De två skalorna samvarierade 0.42 efter korrektion för mätfel, tämligen blygsamt med naturligt med tanke på Burgers skalas breda innehåll och komplexa struktur. Vår skala korrelerade negativt med samarbetsvilja och (positiv) grundattityd, positivt med noggrannhet. En chef med högt kontrollbehov framstår inte som idealisk enligt dessa resultat. Skalan är färdig att använda praktiskt.

Referenser

Burger, J. M. (1992). Desire for control: Personality, social, and clinical perspectives: New York, NY, US: Plenum Press.
Burger, J. M. (1992). Desire for control and academic performance. Canadian Journal of Behavioural Science/Revue canadienne des sciences du comportement, 24(2), 147-155.

Snabb och enkel mätning av g-faktorn: Wunderbar

2010-12-18T07:07:00.000-08:00

Allmänintelligens, eller g-faktorn, är sedan mer än 100 år känd som en viktig faktor i många sammanhang, inte minst i arbetslivet. Vi har nu tagit fram och begreppsvaliderat ett kort begåvningstest, med arbetsnamnet Wunderbar, som tar 16 minuter (tidskontrollerat) och består av 17 uppgifter, hälften analogier och hälften ett induktivt/spatialt delprov (pricktestet), utvecklat inom Katapult. Testet är idag kopplat till screeningtestet UPP/Screen men kan lätt göras fristående eller kopppas även till hela UPP-testet. Lika många (och parallella) uppgifter ingår i en verifieringsversion av Wunderbar som kan ges för att säkerställa resultaten efter en första oövervakad testning på Internet.

Normdata finns från ca 1500 testade.

Nya data (67 testade på Internet) visar nu

en korrelation på 0.50 mellan de två deltesten
denna stiger till 0.80 efter korrektion för mätfel
reliabilitet på 0.73 för hela Wunderbar
korrelation med högskoleprovet 0.65, efter korrektion för mätfel 0.82

Vi har m a o trovärdiga data för tolkningen av Wunderbar som ett snabbt g-faktortest. På 16 minuter får man information om allmänintelligens som är minst lika bra som den man får från andra, dyrbara och tidskrävande test. Om man vill ha ett icke-verbalt g-test kan man använda den delen av Wunderbar som inte förutsätter kunskaper i svenska (utom för den enkla instruktionen). Det är en fördel med Wunderbar som beror på att detta test arbetar med två grupper av uppgifter, inte en samling disparata uppgifter av vitt skilda slag.

Personlighet + begåvning är en oslagbar kombination, särskilt med tanke på att de i stort sett är nollkorrelerade. Vi har ju fått validiteter på ca 0.5 för UPP i aktuell forskning, tilläget av Wunderbar borde kunna ge resultat på ca 0.7.

Hyperkritisk artikel om tendensen att skönmåla som personlighetsdrag

2010-12-05T18:48:00.000-08:00

Uziel (2010) har publicerat en artikel om skönmålning Hans tes är att skönmålning inte kan mätas med hjälp av skalor som mäter social önskvärdhet (IM-skalor). Dessa skalor är nämligen enligt omfattande forskning korrelerade med en mängd andra variabler, mestadels med positivt innehåll. Därför skulle de mäta ett personlighetsdrag och kan inte vara mått på en "response style", enligt honom.

Det är en argumentation som är ganska vanlig. Men logiken är svag. Även om IM-skalor mäter tendensen att ge en överdrivet positiv bild av sig själv kan de vara korrelerade med andra variabler. Det är ett orimligt krav att de inte ska samvariera med något annat. I själva verket måste de samvariera med de personlighetsdrag som man önskar korrigera för skönmålning, annars försvinner vitsen med hela proceduren. (Det blir ingen effekt av korrektionen). Det finns också en rad positiva resultat som kraftigt stödjer korrektionen för skönmålning (Sjöberg, 2010).

Så låt gå för att det finns en rad samband mellan IM-skalor och andra variabler. Hur stor kan effekten av sådana samband vara? Finns det en risk att man "överkorrigerar", dvs eliminerar varians som är av verklig betydelse och inte bara felet i mätningen, felet som beror på en överdrivet positiv bild?

För att pröva den möjligheten gjorde jag följande analys på mina normdata för UPP-testet. IM-skalorna korrigerades först för positiv grundattityd. Detta är en slagkraftig variabel som bör fånga upp det mesta av den aspekt på skönmålning som Uziel diskuterar. De korrigerade IM-skalorna användes sedan för att korrigera för skönmålning på samma sätt de okorrigerade IM-skalorna. Det senare är den standardprocedur som används i testet. Effekten var inte särskilt stark. En variabel som emotionell stabilitet samvarierade mycket högt efter vanlig korrektion och efter korrektion med en eventuell effekt av positiv grundattityd eliminerad (r = 0.9).

Uziels artikel är bra som exempel på argumentation mot korrektion för skönmålning. Vanligt är ju att man påstår att skönmålning inte förkommer och att den, om den skulle förekomma, saknar betydelse. Han lägger till tendensen att den inte går att mäta. Dessa argument är uppenbart empiriskt felaktiga och även ologiska, hyperkritiska. Hyperkritiska diskurser av den här typen utmärks av att man söker med ljus och lykta efter något sätt att skjuta en teori eller metodik i sank, och i sin iver tappar man kontakten med logik, sansat omdöme och sunt förnuft. Ett annat exempel på hyperkritik är Morgeson et al. (2007 a,b) som försöker totalt såga all personlighetstestning, vilket leder dem till destruktiva och mycket missvisande slutsatser (Sjöberg, 2010).

Referenser

Morgeson, F. P., Campion, M. A., Dipboye, R. L., Hollenbeck, J. R., Murphy, K., & Schmitt, N. (2007). Reconsidering the use of personality tests in personnel selection contexts. Personnel Psychology, 60(3), 683-729.

Morgeson, F. P., Campion, M. A., Dipboye, R. L., Hollenbeck, J. R., Murphy, K., & Schmitt, N. (2007). Are we getting fooled again? Coming to terms with limitations in the use of personality tests for personnel selection. Personnel Psychology, 60(4), 1029-1049.

Sjöberg, L. (2009). UPP-testet: Korrektion för skönmålning. Forskningsrapport 2009:3. Stockholm: Psykologisk Metod AB.Klicka här.

Sjöberg, L. (2010). Personlighetsdimensioners validitet i arbetslivet: teorier och empiri (SSE/EFI Working Paper Series in Business Administration No. 2010:6). Stockholm: Stockholm School of Economics. Klicka här,

Uziel, L. (2010). Rethinking social desirability scales: from impression management to interpersonally oriented self-control. Perspectives on Psychological Science, 5(3), 243-262.

Trovärdig personlighetstestning

2010-11-22T01:49:00.001-08:00

Personlighetstest av självrapporttyp – den absolut vanligaste typen i praktiskt arbetspsykologiskt arbete – har tveksam trovärdighet i mångas ögon eftersom man misstänker att många testade framställer sig själva i alltför positiva dager (skönmålar), om mycket står på spel. Dessutom differentierar testen dåligt v dessa skäl – de testade ”slår i taket”. Leverantörer av testet, nästan alltid översättningar av amerikanska förlagor, brukar emellertid förneka dessa problem. Tidigare erfarenheter har emellertid visat att skönmålning är vanligt förekommande vid personlighetstestning i skarpt läge. Vid rekrytering till chefsbefattningar har män skönmålat mera än kvinnor, varför den senare gruppen systematiskt missgynnats, i den mån testresultaten påverkat anställningsbeslut

Nu finns nya data som stödjer användningen av UPP-testets metodik för korrektion för skönmålning.Testresultat erhållna vid chefsrekrytering (N=80) jämfördes med normdata före och efter korrektion skönmålning. Skönmålningen låg på mycket hög nivå i kandidatgruppen. Män skönmålade mera än kvinnor. Stora skillnader fanns mellan grupperna före korrektion men eliminerades eller reducerades starkt. Testvärdena ”slog i taket” före korrektion – de flesta hade mycket positiva värden - men uppvisade en symmetrisk fördelning efter korrektion, och kraftigt förskjuten mot lägre värden. Män uppvisade mycket mera positiva värden än kvinnor före korrektion, vilket ändrades till en fördel för kvinnorna efter korrektion, med undantag för extraversion där emellertid skillnaden nästan halverades. Av dem som låg i de högsta 10 procenten på en sammansatt variabel var det bara 50 % som behöll sin tätposition efter korrektion. Alla dessa resultat gäller UPP-testets fem ”Big Five”-variabler men tendenserna är desamma för övriga personlighetsvariabler i testet, och även för måtten på arbetsattityder och arbetsmotivation. UPP-testet har flera unika fördelar, korrektionen för skönmålning är unik och därtill ingående analys av datakvalitet, mätning av emotionellt tillstånd under testningen, på arbetslivet fokuserade dimensioner samt långt driven datasäkerhet. (Inga data skickas utomlands för utvärdering). Vi ser nu att detta nya svenska test konkurrerar ut kända amerikanska konkurrenter som HPI, HDS och NEO. Flera stora rekryteringsfirmor har tecknat licens på UPP under hösten.

Läs hela rapporten här,

Vanliga problem med personlighetstest - och svårlösta sådana

2010-10-25T18:42:00.000-07:00

Personlighetstest som används i arbetslivet är oftast av självrapporttyp och inriktade mot att mäta Big Five-dimensioner (B5), samt underskalor till dem. Ingen korrektion för skönmålning görs. Det blir problem!

1. I skarpt läge svarar många taktiskt, dvs de skönmålar, och gör det ofta starkt. De allra flesta testade framstår därför som mycket positiva personligheter, ett resultat man har föga nytta av.
2. B5-dimensionerna är för få och allmänna för att vara relevanta. De är svagt relaterade till arbetsresultat.
3. Underskalorna, som kan vara 30-40 till antalet, ger en komplex och spretig bild av de testade. Dessutom är dessa skalor oftast av låg reliabilitet - med 200 testitem kan man inte konstruera 30-40 reliabla delskalor. Dessa skalor kan ibland ha ett innehåll som är svårt att förstå.
4. Testen är översatta från engelska vilket kan ha medfört språkliga otympligheter. Vad är t ex "intellektans"?
5. I vissa fall används ipsativt svarsformat vilket kräver att den testade ska "jämföra äpplen och päron". Sitter man helst hemma med en god bok eller ser man ljust på framtiden? Den typen av uppgifter är inte populära.
6. Teorier av olika slag ligger till grund för flera av testen, och det kan låta vetenskapligt och betryggande. Exempel är Hogans socioanalytiska teori eller Jungs typteori (från 1921). Men teorierna är dåligt underbyggda och saknar empiriskt stöd.

Det här kan låta negativt, och man kan förstå den ganska vanliga skeptiska inställningen till test, men faktum är att personlighetstest med mycket god validitet existerar. För exempel, se denna länk. Det går att konstruera skalor vars validitet är i nivå med intelligenstest (g-faktorn). Om personlighet och intelligens kombineras kan man nå validiteter omkring 0.6 - 0.7 med arbetsresultat, men det förutsätter skalor som är fokuserade på relevanta, konkreta personlighetsdrag (t ex uthållighet) - in B5-dimensioner som har mycket låg validitet (med undantag för noggrannhet). Kolla min rapport om testvaliditet på Handelshögskolans hemsida genom att klicka här. Att skriva den tog lång tid, och krävde stort engagemang, men det var värt det, åtminstone för mig, när jag till slut började se ljuset i tunneln och fann frågeställningarna mer och mer intressanta. Denna och alla andra av mina rapporter (de är rätt många) och manualer är tillgängliga för gratis nerladdning i enlighet med min policy "Inget smussel, inga defensiva hemlighållanden av vad våra test mäter och vilken empirisk evidens de stöder sig på". Alla får del av den information de vill ha, inte bara kunder. Studenter får gärna använda testen helt gratis, vi ställer upp med rådgivning och anpassar vår IT-plattform efter era behov och intressen. (Skriv ett mail till lennartsjoberg@gmail.com). Flera sådana projekt har genomförts, nu senast av Daniel de Colli, anställd vid polisen och doktorand i psykologi.Hans uppsats som en grupp anställda vid polisen blir troligen offentlig i november.

Våra test är levande och förbättras ständigt, till skillnad från låsta och statistiska importerade test.

Vetenskaplig dokumentation har nu påbörjats med artikeln:

Sjöberg, L. (2010). A third generation personality test. The Scandinavian Journal for Human and Applied Sciences, 1(3), 61-75.Klicka här för att läsa den på svenska.

Riskförnekande i testbranschen

2010-10-15T20:39:00.000-07:00

Personlighetstest används ofta i arbetslivet. Förmodligen omsätter denna verksamhet flera hundra miljoner kronor årligen. De allra flesta personlighetstesten är självrapporttest och av ytterst varierande kvalitet. De är översatta från, oftast, engelska och de utländska producenterna håller hårt i testen. De utvecklas inte efter svenska önskemål, och den psykometriska kompetensen är svag i Sverige.

En särskild problematik är skönmålning. Det krävs inte mycket tänkande för att inse att folk inte svarar helt uppriktigt om mycket står på spel, t ex vid en jobbansökan. Detta problem blundar man för och påstår att det inte finns. Det är lite tragikomiskt eftersom det finns tonvis med forskning som visar att problemet finns och är stort.

Jag har mött flera konsulter som berättat att de test de använder slår i taket. Nästan alla sökande är helt enkelt väldigt bra på personlighetstestet. Sådana test, som differentierar dåligt är svåra att använda och föga trovärdiga. Exempel är HPI, NEO-PI-R och "Thomassystemet".

Det finns numera validerad metodik för att korrigera för skönmålning. Ett traditionellt försök är att använda ipsativa svarsformat, där man få välja mellan alternativ som förhoppningsvis är lika socialt önskvärda. Den ansatsen har MBTI, Myers-Briggs. Folk tycker illa sådana uppgifter och de tar extra lång tid. Ipsativa data är svåra att analysera och de tycks inte alls eliminera effekten av skönmålning. I UPP-testet använder vi särskilda skalor för att mäta tendensen till skönmålning. Forskning har visat att detta fungerar alldeles utmärkt och höjer validiteten hos testdata.

Valprognoser går att göra, läget är inte alls "fullständigt osäkert"

2010-09-17T03:59:00.000-07:00

Opinionsmätningarna "står som spön i backen". De flesta visar en tydlig ledning på¨5-7 %-enheter för Alliansen, men för enskilda mätningar är skillnaden mellan blocken ibland "ej statistiskt säkerställd". Detta sammanfattas av statsvetare (nästan alltid från Göteborg, av någon anledning) som att "läget är helt öppet" eller "det är omöjligt att säga hur det kommer att gå" eller "man kan inte göra prognoser utifrån opinionsmätningar" (!). Om detta är mycket att säga.

1. Informationen från en enskild mätning kanske inte är "statistiskt säkerställd" men sammantaget sedan början av augusti är trenden mycket tydlig, och absolut inte slumpmässig, med några få undantag som jag ska återkomma till.Att i detta läge resonera utifrån statistisk analys av enskilda studier är missbruk av statistisk logik. Ännu värre är att säga "läget är helt öppet" utifrån den information som föreligger.

2. Vissa opinionsinstitut använder dåliga metoder och ger därför otillförlitliga resultat. United Minds använder vad jag kan förstå inte slumpmässiga urval av respondenter, justerar enligt principen kvoturval, och tar in svaren via webben, vilket troligen ger ett större bortfall än vad andra institut har. Deras resultat är också tydligt annorlunda än övriga instituts.

3. Att blankt förneka att man kan göra prognoser av valbeteende är mycket märkligt. Forskning och erfarenhet, i Sverige och internationellt, tyder på att det går på det hela taget bra. Berömda historiska misslyckanden har kunnat förklaras, t ex på grund av användning av kvoturval. Hundratals studier har visat att den bästa prognosen av beteende får man genom att ta in information om intentioner, och det är just vad de bättre opinionsinstituten gör. Sådana prognoser fungerar bra, men givetvis aldrig perfekt.

En annan sak är att människor i allmänhet har ganska bra uppfattningar om hur det kommer att gå. Se http://lennartsjoberg.blogspot.com/ och delta i min lilla valprognosstudie, tar 5 minuter och med ett första pris på 1000 kronor för den som gör den bästa bedömningen!

Ny rapport: Personlighetstestens validitet i arbetslivet

2010-09-11T21:06:00.000-07:00

Tidigare forskning om personlighetstest och arbetsresultat gav tämligen svaga resultat. Pessimismen var utbredd, men inte på goda grunder. Det har länge varit känt att test kan ge viktiga tillskott till beslutsfattandet i t ex urvalssammanhang, även om validiteten är relativt blygsam. Från omkring 1990 ökade intresset för frågeställningen i och med introducerandet av femfaktormodellen (FFM) för personlighet. Meta-analyser av Big Five-dimensionernas (B5) användbarhet i arbetslivet sammanfattas. De har publicerats under tiden 1984-2008 och bygger på 100-tals publicerade studier. Korrelationerna visade sig i allmänhet vara låga för alla dimensioner utom noggrannhet, där de tenderade att ligga i intervallet 0.20-0.25, också det ett relativt blygsamt värde. Slutsatsen om B5-dimensionerna som sådana är i enlighet med dessa mycket omfattande undersökningar att de är svagt eller inte alls korrelerade med kriterier i arbetslivet, om de tas var för sig. Multipla korrelationer kan emellertid ge betydligt bättre resultat, även om det är kontroversiellt hur de ska uppskattas på grundval av meta-analyser. Dessa tycks ha gett för låga uppskattningar av sambanden mellan B5-dimensionerna, och därmed en överskattning av de multipla korrelationerna mot kriterier. Alltmera omfattande forskning visar att smala, fokuserade variabler fungerar betydligt bättre än B5-dimensionerna och ger viktiga tillskott till dessa. En del av dessa variabler ingår som underskalor i FFM-test, andra som emotionell intelligens ligger utanför FFM-tänkandet och ingår i UPP-testet. Sådana dimensioner ger viktiga tillskott till intelligens i prognosen av arbetsresultat, och av många andra viktiga aspekter på arbetsrelaterat beteende. Även index som bildas på ett urval av fokuserade personlighetsdimensioner kan ge mycket goda resultat, som närmar sig den prognoskraft som g-faktortest har.

Läs hela rapporten här.

Stjärnrekrytering eller nätverksrekrytering?

2010-08-31T19:25:00.000-07:00

Vem vill inte ha anställda i stjärnklass?

Men hur ska man nå dit? Svaret är att det är enkelt. Om jag själv skulle anställa till viktiga, komplicerade och svåra jobb skulle jag veta precis hur man ska gå tillväga för att nå maximalt resultat till minimal kostnad.

1. Se till att många söker jobbet, minst 30.

2. Testa dem med ett screeningtest som mäter personlighet och allmän begåvning, den s k g-faktorn. Se till att testet avslöjar skönmålande svar - sådana är vanliga!

3. Välj ut en tätgrupp för mera ingående testning, intervjuer mm

Denna metodik leder med stor säkerhet till målet att hitta en anställd i stjärnklass. Den viktigaste faktorn är urvalskvoten, dvs antalet sökande till ett jobb. Enkla statistiska analyser visar att om gruppen är tillräckligt stor finns det med betydande säkerhet minst en mycket bra person i den, och chansen att han eller hon kommer med i tätgruppen blir också mycket stor om man testar alla sökande i steg 1, även om testet är snabbt och lite "trubbigt". Se nedanstående bild:

Bilden visar att om man anställer en mindre del av de sökande - i detta fall en urvalskvot på 10% - blir andel framgångsrika på jobbet extremt stor även om testet är ett tämligen modest samband med kriteriet framgång i jobbet, i en oselegerad grupp.

Tabeller publicerade av Abrahams et al. (1971) visar:

Med en urvalskvot på 5%, och om chansen till framgång i en oselegerad grupp är låg, också den 5%, kan man förvänta sig 85% framgångrika i den selegerade gruppen om testets validitet är 0.6, ett rimligt värde med ett bra screeningtest som mäter både begåvning och relevanta aspekter på personlighet. De allra bästa kan sedan sållas fram med mera ingående testning, intervjuer, referenstagning och arbetsprov.

Inte många gör så här, och allra minst för de absoluta toppjobben som chefer för stora företag och organisationer, statsråd mm. Man använder sig av nätverksrekrytering och väljer bland dem man råkar känna, en alldeles för liten grupp för att garantera ett riktigt bra urval. Och misslyckandena är många.

Man känner inte till screeninglogiken, litar till rykten ("referenser"), intuition och vänskap: nätverksrekrytering. Nepotism är troligen vanlig, se på alla statsråd som är barn till statsråd (Thomas Bodström) eller till vänner som umgåtts i de högsta kretsarna (Mona Sahlin), eller som gifte sig med chefens dotter (Pehr Gyllenhammar, Carl Bildt). Detta är oseriös rekrytering som leder ner i avgrunden. "Det finns ingen annan" fick jag höra när jag satt i ett forskningsråd som skulle rekrytera en chef på 80-talet. Det var ett löjeväckande argument men antagligen upplevdes det så. En god vän skulle ha jobbet, så enkelt var det.

Rekryteraren måste stålsätta sig mot dessa faktorer och sin egen naiva önskan att ha fullständig personlig kontroll över den första fasen i processen. Den blir mindre realistisk ju flera som testas, samtidigt som processens resultat blir allt bättre. Testa många, ge dem chansen, även om det känns tråkigt att sedan säga nej till att som inte fick toppresultat. Det är mycket billigt att testa men mycket dyrt att missa framtida stjärnanställda. Den som inser det får en enorm konkurrensfördel på marknaden, särskilt vid stor arbetslöshet bland ungdomar och invandrare, men ytterst få förstår screeninglogiken och är villiga att arbeta efter den. Läsa mera här.

Referens

Abrahams, N. M., Alf, E. F., & Wolfe, J. J. (1971). Taylor-Russell tables for dichotomous criterion variables. [doi:10.1037/h0031761]. Journal of Applied Psychology, 55(5), 449-457.

Risker med Internettestning

2010-08-24T16:57:00.000-07:00

Det tycks vara vanligt att testdata skickas till USA eller Storbritannien för utvärdering och arkivering där. Detta är kanske naturligt med tanke på att de flesta personlighetstesterna vi använder i Sverige är importerade och översatta; scoringnycklar torde ej lämnas ut till svenska agenter. Det är svårt att ha kontroll över var dessa känsliga data hamnar eller vem som får tillgång till dem när man arbetar på det sättet. Det är svårt att värja sig mot dataintrång när resultat skickas i öppen okrypterad e-post. Det är den testades rättighet att ingen obehörig kan läsa eller påverka hans data, och det är också en skyldighet för den som administrerar och använder testningen att se till att så inte kan ske. Vid arbete med UPP-testet har vi försäkrat oss om SSL-kryptering (samma som internetbankerna), och dessutom en helt egen server med extrem snabbhet och utrymme. Tusentals testningar kan göras samtidigt. Tillgänglighet och skalbarhet garanteras på detta sätt. Två svensktalande supportfunktioner finns för snabbt åtgärdande av eventuella tekniska problem och svar på psykometriska frågor. Inga data lämnar landet i någon fas.

I offentlig sektor har man rätt att vänta sig att säkerhets- och integritetsfrågorna behandlas särskilt genomtänkt och kompetent.

Testningar i arbetslivet

2010-08-13T20:04:00.000-07:00

En utmärkt bok av Furnham ger en vetenskapligt väl underbyggd genomgång av området personlighet och test i arbetslivet. Skaffa den och läs den med eftertanke. Den ger en konstruktiv bild av området utan att släta över svårigheter och kritik.

Furnham, A. (2008). Personality and intelligence at work. Exploring and explaining individual differences at work. Hove, East Sussex: Routledge.

Misslyckade chefer kan undvikas med hjälp av test

2010-08-08T18:35:00.000-07:00

Chefer misslyckas ofta. Aktuell forskning mobbning tar fram chefernas roll i sådan destruktiv aktivitet. Amerikanska data tyder på ca 50% misslyckade rekryteringar. Vem har inte haft en chef som varit livrädd för självständiga och kreativa medarbetare? Personlighet tycks vara en avgörande faktor. Misslyckade rekryteringar kan bli oerhört kostsamma. Personlighet är en kritisk faktor i sammanhanget. Väl fungerande test kan vara extremt kostnadseffektiva.

Hogan, Hogan och Kaiser har skrivit en utmärkt översikt av området, som ger "state of the art" . Rekommenderas! Den är ännu inte publicerad men finns på en länk, se nedan. Deras inriktning är i hög grad på Big Five. Men Big Five har gett ytterst lite vid validering i arbetslivet. Jagstyrka är ett intressant alternativ.

Begreppet jagstyrka har en omfattande teoretisk grund. UPP-testet mäter jagstyrka och korrigerar för skönmålning. Korrelationen i en grupp chefer mellan jagstyrka och av koncernledningen bedömd effektivitet var 0.63. Se bilden:

.

Visst önskar man sig replikationer av ett sådant resultat, men onekligen är det lovande. Valideringar är ju svåra att genomföra, men mina resultat tyder på att proxyvalidering fungerar, se referens nedan. Proxyvalidering innebär att man validerar testet mot skalor som mäter arbetsmotivation, resultatorientering, förändringsvilja, balans mellan arbete och övrigt liv samt arbetsintresse. Sådana skalor finns inkorporerade i UPP-testet och mäts rutinmässigt där. Det tycks som om validering mot denna typ av skalor ger resultat som är jämförbara dem som man får vid validering mot oberoende bedömningar.

Referenser

Hogan, J., Hogan, R., & Kaiser, R. B. (2011). Management derailment APA handbook of industrial and organizational psychology, Vol 3: Maintaining, expanding, and contracting the organization. (pp. 555-575): Washington, DC, US: American Psychological Association. Klicka här.

Sjöberg, L. (2005). Ledarskap och personlighet: Testning av jagstyrka. (Leadership and personality: Testing ego-strength) (SSE/EFI Working Paper Series in Business Administration No. 2005:7). Stockholm: Stockholm School of Economics.
Klicka här.

Sjöberg, L. (2010). UPP-testet och kundservice: Kriteriestudie. Forskningsrapport 2010:6. Stockholm: Psykologisk Metod AB.
Klicka här.

Sjöberg, L. (2010). A third generation personality test (SSE/EFI Working Paper Series in Business Administration No. 2010:3). Stockholm: Stockholm School of Economics.
Klicka här.

Big Five-validitet

2010-07-25T01:03:00.000-07:00

Femfaktormodellen (FFM) med sina fem dominerande och övergripande dimensioner har kommit att dominera arbetspsykologisk testning i vårt land med kända test som OPQ, HPI, MBTI och NEO-PI-R. (Tre amerikanska och ett brittiskt, översatta till svenska men knappast validerade i Sverige annat än med enstaka studier). Eftersom modellen tar så stor plats både i internationell forskning och i praktik är den trovärdig om man inte följer valideringsforskningen. Denna har nämligen tydligt visat att FFM ger mycket magra tillskott till testens validitet för prognos av arbetsprestation och utbildningsresultat.

En av de bästa meta-analyserna av FFM-validitet publicerades år 2008 av Schmidt et al. (2008). De har gjort ett ambitiöst försök att hitta all relevant valideringsforskning och dessutom korrigerat resultaten för mätfel i kriterierna och begränsad variation i FFM-dimensionerna. Mätfel i kriterierna sänker korrelationerna och detsamma gäller begränsad variation. Deras värden torde därför vara de mest rättvisande som publicerats. Särskilt intressant är deras nyskapande metodik för att korrigera för begränsad variation - tidigare använda metoder gav för små effekter (Schmidt et al., 2006).

Medianvärden av validitetskoefficienterna (korrelationer) återfinns i nedanstående tabell.

Validitetskoefficienter (medianer) hos FFM-dimensioner samt intelligens (g-faktorn) enligt meta-analys av Schmidt et al. (2008).
Dimension	Arbetsprestation	Utbildningsresultat
Noggrannhet	0.209	0.260
Emotionell stabilitet	0.131	0.159
Vänlighet/smidighet	0.080	0.120
Extraversion/utåtvändhet	0.090	0.170
Öppenhet	0.040	0.240
Intelligens	0.615	0.665

Det är alltså bara noggrannhet som ligger över 0.20, även det en bra bit under det normala för personlighetstest som snarare ligger omkring 0.3 (sällan mera för enstaka skalor). Medianen för alla skalorna ligger på 0.090 för prestation och 0.170 för utbildningsresultat. Om man tillämpar STP:s kriterier för testgranskning och deras sätt att räkna skulle hela FFM underkännas!

Varför fungerar FFM så dåligt? Ett skäl är troligen att dimensionerna är för allmänna. De fokuserar inte på viktiga dimensioner i arbetslivet. Ett annat skäl är deras kognitiva, beskrivande, karaktär. Emotionella funktioner är viktigare (Sjöberg, 2008, 2010).

Bättre validitet än ovanstående kan man inte hoppas på för de övergripande FFM-dimensionerna och man ställer sig lite undrande till det stora genomslaget för FFM-test i svensk praktik. Bättre resultat kan emellertid erhållas med andra dimensioner och vissa av underskalorna ("fasetter") till FFM-modellerna, mera därom i ett kommande inlägg.

Onekligen är det intressant att se vilken överlägsen validitet som allmänbegåvning har. Länge var det tabu i vårt land att tala om och använda intelligenstest, så tycks inte riktigt vara fallet längre och det är som synes på goda grunder.

Referenser

Schmidt, F. L., Oh, I.-S., & Le, H. (2006). Increasing the accuracy of corrections for range restriction: Implications for selection procedure validities and other research results. Personnel Psychology, 59(2), 281-305.

Schmidt, F. L., Shaffer, J. A., & Oh, I.-S. (2008). Increased accuracy for range restriction corrections: Implications for the role of personality and general mental ability in job and training performance. [doi:10.1111/j.1744-6570.2008.00132.x]. Personnel Psychology, 61(4), 827-868.

Sjöberg, L. (2008). Bortom Big Five: Konstruktion och validering av ett personlighetstest. (SSE/EFI Working Paper Series in Business Administration No. 2008:7). Stockholm: Stockholm School of Economics.Klicka här.

Sjöberg, L. (2010). A third generation personality test (SSE/EFI Working Paper Series in Business Administration No. 2010:3). Stockholm: Stockholm School of Economics. Klicka här,

Skönmålning är stark, vanlig och viktig vid testning i skarpt läge

2010-07-23T02:10:00.000-07:00

Det påstås ibland att skönmålning på personlighetstest knappast förekommer, åtminstone inte i hög grad. Jaså. Hur vet man det? Påståendet verkar gå helt emot vanligt sunt förnuft. Visst försöker väl testade i ett skarpt läge att framställa sig i så positiv dager som möjligt på självrapporttest - den absolut vanligaste formen av personlighetstest?

För att påstå att stark skönmålning inte förekommer måste man ha data också på icke skönmålade svar. Detta kan man få, approximativt givetvis, genom att ta fram testsvar som rensats från skönmålning med hjälp av validerad metodik för sådan rensning.

Jag arbetar med korrektion för skönmålning med hjälp av två skalor som mäter social önskvärdhet, en overt (genomskådlig, Hunter Mabons term) och en kovert (ogenomskådlig). De ger likartade resultat och har validerats både experimentellt och i skarpa testningar vid jobbansökning, se referens nedan. Vid testningar på rekryteringsplattformen Katapult används den koverta skalan och UPP-testets screeningmodul, se referens nedan. Modulen mäter extraversion, uthållighet, samarbetsvilja, positiv grundattityd och kreativitet.

De data som analyseras här baseras på testsvar från 4457 personer (Katapult) som tog screeningmodulen när de anmälde sig som sökande till olika jobb. Det är alltså data från testning i skarpt läge som det gäller.Korrelationerna mellan personlighetsdimensionerna och skönmålning framgår av tabellen nedan, liksom korrelationerna mellan råvärden och korrigerade värden.

Korrelationer mellan personlighetsdimensioner och kovert skönmålning, samt okorrigerade och korrigerade data
Dimension	Korrelation med skönmålning	Korrelation rådata-korrigerade data
Extraversion	0.49	0.87
Uthållighet	0.63	0.77
Samarbetsvilja	0.66	0.75
Positiv grundattityd	0.64	0.77
Kreativitet	0.32	0.95

I fyra av de fem fallen var sambanden starka mellan skönmålning och personlighetsdimensionen.

Märk också att effekten av korrektion var ytterst liten i ett av fallen (kreativitet) men större i de övriga. Detta är ett vanligt resultat. Olika dimensioner är i olika hög grad påverkade av skönmålning.

Men hur viktiga, eller stora, är effekterna?

Jag skapade en sammansatt poäng genom att beräkna medelvärdet av alla fem dimensionerna, med lika vikter, före och efter korrektion. Båda dessa summapoäng rangordnades i hela materialet. (Tack gode Gud för datorer). Därefter lade jag in gränsvärden för de bästa 1%, 5%, 10% och 20% för råvärdena. Hur många av dem som nådde dessa topp-placeringar behöll sina platser efter korrektion? Svar, se nedanstående tabell:

Andel som behöll sin tätplats efter korrektion för skönmålning. Skarpt läge, N=4457. Data från Katapult.
Andel i tätgruppen	Andel av tätgruppen som behöll sin position i tätgruppen efter korrektion för skönmålning
0.01	8.9%
0.05	11.7%
0.10	12.8%
0.20	17.7%

Detta betyder att bland dem i den bästa procenten före korrektion var det bara 8.9% som behöll den placeringen efter korrektion. Vid mindre krav för topp-plats var andelen som behöll sin plats större men vid 20% topp-plats var det fortfarande bara 17.7 % som behöll platsen.

Med andra ord: över 80% av dem som hamnar på "lilla listan" om rekrytering baseras på personlighetstestet har troligen hamnat där på grund av att de bluffat på testet! Eftersom dessa data baseras på korrektion med enbart en skala i stället för vår vanliga design med två skalor är dessutom effekterna troligen underskattade.

Ett annat och enklare svar på frågan om det förekommer stora effekter av skönmålning kan vi få genom att se närmare på hur stora förändringar i rangplats som de 45 bästa (bästa procenten, 99:e percentilen) fick efter korrektion och ny rangordning. Som visade ovan var det 91% av dem som inte lyckades behålla sin plats. Fördelningen av skillnaderna mellan de två rangordningarna för de 45 bästa enligt rådata framgår av nedanstående graf. Medianen för tappade rangplatser var 545, alltså ett fall, i genomsnitt, från 99:e till 88:e percentilen. Mycket mera dramatiska fall förekom också, upp till 1200 rangplatser. I ljuset av de data som presenterats här är det enligt min mening osakligt att fortsätta att påstå att stark skönmålning "knappast förekommer".

Ännu en kontroll är intressant. Antag att vi försöker värja oss mot effekterna av skönmålning genom att utesluta dem som har högst värde i detta avseende. Det är troligen ett vanligt sätt att arbeta, som jag sett på nära håll under min tid på Handelshögskolan. Jag lade därför in en cut-off vid 21% av stickprovet och uteslöt 922 personer. (Just denna gräns var lämplig på grund av klustring av data; omkring 20-25 % är troligen vanligt). De som nu återstod i 99:e percentilen i rådata kunde emellertid inte alls försvara sina platser efter korrektion. Korrektionen medförde att deras rangplatser sjönk 629 steg, alltså ännu mera än för hela stickprovet. För att motverka de snedvridande effekterna av skönmålning måste man alltså korrigera fullt ut enligt den metod som använts här (och i våra övriga test) - uteslutande av dem som ligger högst på en "lögnskala" har bara kosmetiska effekter.

Frågan om hur kraftig skönmålningen är kan också besvaras genom att analysera den absoluta nivån på svaren.Den informationen brukar man inte använda i testpsykologin, men i andra sammanhang som medarbetarundersökningar gör man ju det. Det som talar mot att använda absolutnivån är att den påverkas av frågornas formulering. Då emellertid en skala i typfallet består av ganska många frågor motverkas den felkällan; man får trots allt en viss uppfattning om styrkan i svarstendensen. I fallet med våra data och måttet på skönmålning låg medianen på 4.33, svarsskala 1-5. 74 % av de testade hade ett värde > 4.0, mindre än 1 % låg under 3.0. De testade hade alltså en mycket stark tendens att välja skönmålande svar. Det stödjer min tes att skönmålning är stark och vanligt förekommande.

Man kan fråga sig om skönmålning har ännu flera konsekvenser. Det påstås ofta att validiteten inte påverkas av korrektion. Detta är nog tämligen riktigt, se data ovan som visar på höga samband mellan korrigerade och okorrigerade data. För vissa typer av kriterier kan de som skönmålar också ha förmåga att övertyga omgivningen i vidare mening om sin kompetens, men detta betyder naturligtvis inte att de också gör ett bättre jobb. Kvar står till slut att få nog vill ge prioritet åt dem som bluffar, att effekterna är stora och att systemet för korrektion som använts står på solid grund efter särskilda valideringar - se referenserna. Inga andra självrapporttest har en effektiv och validerad metodik för att korrigera för skönmålning (HPI, NEO), många - som MBTI (NEO-PI-R, Myers-Briggs) - ingen alls.

Ones et al. (1996) är en ofta åberopad artikel som anses stödja slutsatsen att skönmålning inte spelar någon roll. Den baseras på en mycket omfattande meta-analys men det är troligen inte data i skarpt läge som den bygger på, åtminstone inte i de flesta fallen. Författarna säger inte vilket som är fallet, men deras korrelationer mellan skönmålning och personlighetsdimensioner är dramatiskt mycket lägre än dem som presenterats här. Våra undersökningar har konsistent gett mycket högre korrelationer mellan personlighetsskalor och olika mått på skönmålning. Det är rimligt att tro att skönmålning har mycket större betydelse i skarpt läge än vid andra former av datainsamling, och det är ju skarpt läge som är det praktiskt intressanta.

Referenser

Ones, D. S., Viswesvaran, C., & Reiss, A. D. (1996). Role of social desirability in personality testing for personnel selection: The red herring. Journal of Applied Psychology, 81, 660-679.

Sjöberg, L. (2009). UPP-testet: Korrektion för skönmålning. Forskningsrapport 2009:3. Stockholm: Psykologisk Metod AB. Klicka här

Sjöberg, L. (2010). UPP/Screen: Ett screeningtest av personlighet och begåvning. Forskningsrapport 2010:7. Stockholm: Psykologisk Metod AB. Klicka här.

Screeninglogik

2010-07-21T21:51:00.000-07:00

Screening av många sökande till ett jobb är ett bra sätt att hitta högpresterande personer. Varför?

Antag att vi är ute efter en verklig elitperson (vem är inte det?), bäst av 100, alltså den bäst presterande procenten. Ju fler vi testar desto större är chansen att det finns minst en sådan person i den testade gruppen, sr tabellen nedan. Tabellen visar också sannolikheten för att det i gruppen av testade finns minst en person i 98:e percentilen och en i 90:e.

Sannolikheten att få minst en jobbsökande som tillhör 99:e, 98:e eller 90:e percentilen vi testning av 5-75 personer
Antal testade personer	99:e percentilen	98:e percentilen	90:e percentilen
5	0.049	0.096	0.410
10	0.096	0.183	0.651
15	0.140	0.261	0.794
20	0.182	0.332	0.878
25	0.222	0.397	0.928
30	0.260	0.455	0.958
35	0.267	0.507	0.975
40	0.331	0.554	0.985
45	0.364	0.597	0.991
50	0.395	0.636	0.995
55	0.425	0.671	0.997
60	0.453	0.702	0.998
65	0.480	0.731	0.999
70	0.505	0.757	0.999
75	0.529	0.780	1.000

Tabellen visar att testning av 75 personer ger höga sannolikheter för att hitta minst en person med mycket hög kapacitet, och att chansen är mycket god redan vid 25 testade om vi nöjer oss med kapacitet vid 90:e percentilen, även det ett mycket gott resultat.

Knepet är alltså att utgå från ett så stort underlag som möjligt. Det är dyrbart och tidsödande att göra det om man inte använder enkla, valida och billiga screeningtest, se referens nedan. Det ger dessutom en konkurrensfördel eftersom screeningstestningens effektivitet inte är känd av flera än ett fåtal. Man kan förstås gå på intuition och "magkänsla" men påverkas då av irrelevanta faktorer som utseende, kroppsspråk, dialekt, klädsel etc, se vår monografi om personkemi här.I en studie av anställningsintervjuer (Higgins & Judge, 2004) fann man att det som avgjorde varken var erfarenhet eller förmåga - det var om man tyckte bra eller illa om den jobbsökande, vilket i sin tur berodde på om han eller hon lyckades med "ingratiation". Med den termen menas ett strategiskt försök att göra ett gott intryck, t ex genom smicker, framhålla likhet i värderingar eller allmänt sett att framhålla sina goda egenskaper på ett trovärdigt sätt, se denna länk.

I min egen erfarenhet har jag gjort extremt goda rekryteringar genom screening av 40-60 jobbsökande. Och faktiskt varit en medioker rekryterare i många övriga fall. Det är intressant att fundera över vilka rekryteringsprinciper som kommer till användning för viktiga chefsjobb i samhället. Hur många övervägde man innan ministrar anställdes i Alliansregeringen? (Alla tycks inte ha tillhört eliten, med tanke på vad som sedan hänt). Hur bred är urvalsbasen för VD-jobben och styrelseposterna för de stora företagen? Ju smalare den är desto större är chansen att missa verkliga superstars ty de tillhör bara i undantagsfall "old boys' network"

Referenser

Higgins, C. A., & Judge, T. A. (2004). The Effect of Applicant Influence Tactics on Recruiter Perceptions of Fit and Hiring Recommendations: A Field Study. [doi:10.1037/0021-9010.89.4.622]. Journal of Applied Psychology, 89(4), 622-632.

Sjöberg, L., & Tollgerdt-Andersson, I. (1985). Vad är personkemi? Socialpsykologisk forskning om attraktivitet. Stockholm: Scandinavian Executive Search. Klicka här.

Sjöberg, L. (2010). UPP/Screen: Ett screeningtest av personlighet och begåvning. Forskningsrapport 2010:7. Stockholm: Psykologisk Metod AB. Klicka här.

Percentiler eller normalfördelade testpoäng

2010-07-05T08:08:00.000-07:00

Testpoäng måste anges i förhållande till en normgrupp; annars kan de inte tolkas. Det är åtminstone den dominerande uppfattningen. (Det finns ett alternativ som jag ska återkomma till senare, men här är det normgruppstolkningen som gäller.)

Ett vanligt sätt att beräkna normerade testpoäng är stanine. Denna metod anpassar data till en normalfördelning och delar upp data i nio lika stora steg. Man antar att man på det sättet får en intervallskala för den underliggande testdimensionen. Möjligen kan det anses att det är ett antagande som är osannolikt, men eftersom normalfördelningar ofta är goda approximationer till psykologiska data är det ett rimligt antagande. Dessutom är testpoängen medelvärden av många observationer vilket gör det ännu troligare att en normalfördelning passar data bra. Stanine är antagligen lätta att förstå och nio steg är inte fler än att man kan hålla reda på dem. Människors kognitiva system klarar sällan mer än 7-9 steg om man inte har särskilda hjälpmedel.

Percentiler är emellertid populära inom testområdet. Percentilpoängen säger hur stor andel av normgruppen som ligger under en viss persons testresultat. Det är ett begrepp som är ganska svårt att förstå. Variationen i 99 steg, från 1 till 99 är dessutom alldeles för fingraderad. Vidare är percentilpoängen rektangulärt fördelad; sådana fördelningar är mycket ovanliga i psykologiska data (om man inte tvingar in dem i den kostymen).

Relationen mellan normalfördelad testpoäng och percentilpoäng visas i bilden. Som synes är den inte linjär i extremerna. Det betyder att vikten av en skillnad i området för låga eller höga percentilvärden underskattas, om vi antar att normalfördelning är rimligare än rektangulär fördelning som beskrivning av den underliggande psykologiska dimensionen.

Det finns alltså minst fyra skäl till att välja stanine framför percentiler vid beskrivning av normerade testresultat:

1. Normalfördelning är en rimligare approximation än rektangulär fördelning.

2. Stanine är mera realistisk beskivning av data än percentiler med tanke på människors förmåga att hantera antalet skalsteg (9 i stället för 99).

3. Percentilbegreppet är svårt att förstå för dem som inte har specialkunskaper i statistik och psykometrik.

4. Percentiler gör att man fäster alldeles för liten vikt vid skillnader i områdena med låga och höga värden.

Stickprovets storlek vid testvalidering

2010-07-04T01:25:00.000-07:00

Stiftelsen för tillämpad psykologi (STP), som har en halvofficiell status i vårt land vid granskningar av psykologiska tester, ”kräver” ett stickprov på minst 100 personer, annars förklaras valideringen enbart på den grunden vara baserad på en ”inadekvat” studie. Se STP:s ”Kvalitetskriterier för testinstrument – personlighetsbedömning”, 2002. (Senare upplaga tycks inte finnas). Detta krav är i sin tur baserat på europeiska psykologförbundens (EFPA:s) kriterier (Lindley, Bartram, & Kennedy, 2008), men dessa innebär endast en rekommendation om N=100 eller större, inte ett krav. Se min korrespondens med professor David Bartram, 2010-06-09 på denna länk. Bertram är ordförande i EFPA:s grupp för testkriterier, och medförfattare till det centrala dokument som översatts och används av STP (Lindley et al., 2008).

Bakom EFPA:s rekommendation ligger i sin tur en ”power-analys”, där man laborerar med följande parametrar:

• Det är önskvärt att kunna belägga ett samband mellan test och kriterium som statistiskt signifikant på nivån 0,05 eller bättre
• Det är önskvärt att kunna belägga samband på den nivån om korrelationen i populationen är minst 0,30
• Det är önskvärt att kunna belägga sambandet enligt ovanstående med minst 90 % chans

Analyser av den här typen kan göras med hjälp av tabeller (Cohen, 1988). De tre kraven ledder till N=100 (som ger chansen att belägga sambandet = 0,86, för att vara mera exakt). Men antag att vi ansätter andra lika rimliga eller lika godtyckliga värden på parametrarna. Om vi vill belägga ett samband utifrån konventionell signifikans med en korrelation på 0,40 i populationen med t ex minst 50 % chans att upptäcka den, vad händer då? Rekommendationen blir N=30 (som ger 61 % chans för att vara exakt). Om jag alltså vill pröva hypotesen om en något större korrelation mellan test och kriterium (0,40 i stället för 0,30), och nöjer mig med en mindre men ändå hyfsat stor chans att upptäcka ett samband, sjunker kravet på stickprovets storlek dramatiskt: från 100 till 30.

STP har tolkat en rekommendation som ett krav, med mycket negativa konsekvenser för testbranschen. Det är nämligen i allmänhet mycket svårt, dyrbart och tidsödande att samla in så stora stickprov som N=100 för testvalidering. Detta torde göra att man hellre avstår. I arbetet med UPP-testet har vi samlat in data som i några fall uppfyller kravet N=100, i andra inte. Vad dessa data säger om testet beror inte på stickprovets storlek utan på hur starka sambanden är, vilken tilltro man kan ha till att sambanden kan replikeras i nya stickprov, och givetvis på om andra krav på studierna uppfylls. Vi är i gott sällskap. SHL har validerat sitt test OPQ mot säljares arbetsresultat i 9 studier varav bara 2 uppfyller kravet N=100 eller större. Jag återkommer till dessa data i ett senare blogginlägg.

Syftet med en power-analys är att ge en rationellt grundad uppfattning om hur stort stickprov man bör arbeta med, inte att bedöma i efterhand, när resultaten föreligger, om studien kan läggas till grund för slutsatser. Anta att vi gör en studie med N=20 och får en validitet på r=0.7. Är detta resultat helt irrelevant för bedömning av testet?

Den som läser Bartrams svar på mina frågor kan knappast undgå att dra den slutsatsen att STP har missförstått EFPA:s riktlinjer på denna centrala punkt. Det är en förståelig missuppfattning, men den är inte desto mindre ödesdiger för testbranschen. Få valideringar kan leva upp till kravet på 100 personer i stickprovet. Resultatet blir intrycket att "det finns många dåliga test". Det kan man påstå av flera skäl, men ett viktigt skäl är nog att valideringar inte godkänns eller uppmuntras.

Det kan tilläggas att den internationella standarden vid testvalidering ligger vid ett medelvärde på N något under 100 (Aguinis et al., 2010). Det betyder att hundratals valideringsstudier publicerade i ledande tidskrifter skulle ha ansetts "inadekvata" om STP fått råda.

Referenser

Aguinis, H., Culpepper, S. A., & Pierce, C. A. (2010). Revival of test bias research in preemployment testing. [doi:10.1037/a0018714]. Journal of Applied Psychology, 95(4), 648-680.

Cohen, J. (1988). Statistical power analysis for behavioral sciences (2nd ed.). Hillsdale, NJ: Erlbaum.

Lindley, P., Bartram, D., & Kennedy, N. (2008). EFPA review model for the description and evaluation of psychological tests. Test review form and notes for reviewers. Version 3.42: European Federation of Psychological Associations.

Validering av NEO-PI-R

2010-07-03T04:46:00.000-07:00

NEO-PI-R är ett välkänt test för att mäta "Big Five", eller femfaktormodellen för personlighet. Testet mäter dels de övergripande "fem stora", dels underskalor som kallas facetter. I en aktuell studie från Kanada undersöktes sex facetter för var och en av de fem stora dimensionerna i relation till arbetsprestation. (N=141). Se referens nedan.

Visserligen erhölls en del signifikanta samband, men de var inte imponerande. Korrelationerna mellan ett kriterium på "job performance" och sex facetter för varje övergripande dimension var i en av deras studier:

VÄNLIGHET: .30,.15,.07,-.08,-.03,.15
NOGGRANNHET: .17,.08,-.06,-.08.-.11,-,02
NEUROTICISM: .19,-.05,.01,.22,-.12,.07
EXTRAVERSION: .00,.04,.05,.08,-.13,-.17
ÖPPENHET: .02,.04,.06,-.12,.02,.04

En grov första sammanfattning av testets validitet i denna studie kan vi få genom att beräkna medianen av dessa korrelationer. När serien av korrelationer gör ett slumpmässigt intryck - som i detta fall - kan detta vara rimligt. Medianen av de 30 korrelationerna var 0.04. I en andra, något mindre studie, fick författarna troligen liknande resultat, men rapporterar inte enskilda korrelationer.

Detta är givetvis bara en av många studier men den är den mest aktuella. Om testet har en robust validitet bör den komma fram i olika sammanhang. NEO-PI-R används även i Sverige i arbetspsykologiska sammanhang - det finns nog aneldning att fundera på hur stor validitet testet egentligen har. Även mycket svaga samband kan ibland räcka för att argumentera för att ett test är användbart, främst vid urval och med liten urvalskvot, men nyttan för att bedöma enskilda personers testresultat är begränsad.

Referens

Pascale, L. D., Denis, M., & Claude, G. (2010).Exploring the Capacity of NEO PI-R Facets to Predict Job Performance in Two French-Canadian Samples,International Journal of Selection and Assessment,18,201-207).

Program

2010-07-03T02:43:00.000-07:00

Denna bloggs syfte är att diskutera forskning och intressanta problem inom området psykologisk testning och även psykometrik mera i stort. Bloggen vänder sig till alla med intresse för frågorna, inte minst praktiker och forskare inom området. Min mera allmänna psykologi-blogg kommer i fortsättningen bara i undantagsfall att ta upp dess specialiserade frågor, se denna länk.