Stor genomgång av problematiken med skönmålning

Min tidigare EFI-rapport är nu kraftigt utökad och tar upp den senaste forskningen och diskussionerna på området, klicka här..

I denna rapport finns nu också en s k Executive Summary för den som snabbt vill bilda sig en uppfattning, klicka här.

Rapportens slutsatser:

1. Förekommer skönmålning, är den vanlig och stark? Svaret är ett entydigt ja.
2. Har skönmålning effekter på beslutsfattandet på grundval av testning, t ex vid urval? Svaret är ja.
3. Här skönmålning betydelse för normdata? Svaret är ja, om testet ska användas i skarpt läge måste normdata vara insamlade i skarpt läge.
4. Kan skönmålning undvikas, åtminstone till betydande del, med hjälp av
1. Varningar
2. Omformulering av item till at bli mera neutrala
3. Särskilda mätningar av tendensen att tillskriva sig mera kunskaper än man har
4. Anpassning av matematiska modeller till testdata och mätning av i vilken mån testpersoner avviker från dessa modeller

            Svaret för alla dessa ansatser är nej, de löser inte problemet

5. Ett ganska vanligt sätt att hantera skönmålning tycks vara att utesluta de testpersoner som har högst värde i en sådan skala, t ex de 25 % som ligger högst. Detta har en svag och otillräcklig effekt, se Reeder och Ryan (Reeder & Ryan, 2012).

Ännu tycks det inte finnas någon ny metodik för att upptäcka och korrigera för skönmålning som är tillräckligt lovande för att leva upp till kraven att den ska vara teoretiskt och empiriskt väl underbyggd, och praktiskt användbar. Korrektion med en särskild skala som mäter skönmålning fungerar, även om inte heller denna metod helt eliminerar effekterna.

Skönmålning - finns det?

Ett populärt argument bland testleverantörer som arbetar med test som är helt eller till största delen oskyddade mot skönmålning är att sådan inte förekommer. Det går på tvären mot sunt förnuft och berg av forskning. Om den ignoreras kommer man att prioritera bluffare i den mån man bryr sig om resultatet av personlighetstest.

En aktuell artikel av Griffith och Converse (2012) ger en sammanställning av uppskattningar av hur många som skönmålade i olika undersökningar, se tabell nedan.

 

      Det handlar alltså om ca 30 % i genomsnitt.  Det är en hög siffra, men troligen är den mycket högre om man tittar enbart på dem som rankas högst på testet. Det är uppenbart att här finns ett gigantiskt problem för testindustrin, ett problem som inte försvinner för att man blundar för det eller förnekar det. För den som letar efter en lösning, ty en sådan finns, se min rapport om skönmålning (Sjöberg, 2012).

Referens

Griffith, R. L., & Converse, P. D. (2012). The rules of evidence and the prevalence of applicant faking. In M. Ziegler, C. Maccann & R. D. Roberts (Eds.), New perspectives on faking in personality assessment. Oxford: Oxford University Press.

 Sjöberg, L. (2012). Skönmålning i personlighetstest. Handelshögskolan i Stockholm, Rapport    2012:2. Klicka här.

Skönmålning i personlighetstest

SSE/EFI Working Paper Series in Business Administration

No 2012:2:
Skönmålning i personlighetstest

Lennart Sjöberg (lennartsjoberg@gmail.com) Abstract: Skönmålning är ett stort problem vid användning av personlighetstest av självrapporttyp. Det är ofta lätt att genomskåda vad olika testfrågor syftar till att mäta och vill man bluffa är det lätt att göra det. Trots det är denna typ av test vanliga och de tycks få en ökande användning i näringslivet. Det kan delvis bero på att vissa test använder ett format (ipsativt) där den testade är instruerad att välja mellan alternativ som man har försökt matcha i social önskvärdhet. Sådana test har troligen en viss trovärdighet, men forskningen visar att de inte lyckas särskilt väl med att eliminera effekterna av skönmålning. Dessutom samvarierar de med intelligens, och den validitet de eventuellt kan ha beror troligen till stor del på detta. Ett annat skäl till den omfattande användningen av personlighetstest är det vanliga påståendet att dessa test, även om de är helt oskyddade mot skönmålning, har högt prognosvärde i arbetslivet. Men detta påstående är felaktigt om man ser till den omfattande forskningen om "Big Five" som visat att dessa dimensioner, bara har en marginell prognosförmåga i förhållande till arbetsresultat. Ett test som är oskyddat mot skönmålning, eller bara mycket ineffektivt skyddat, ger regelmässigt kraftiga överskattningar av testvärden hos dem som utnyttjar chansen att svara taktiskt. Andra, ofta kvinnor och invandrare, skönmålar mindre och missgynnas därför av testen. I denna rapport, klicka här beskrivs en alternativ metodik som bygger på användning av särskilda skalor för att mäta tendensen till skönmålning. Modeller som anpassas på grundval av empiriska data och som är olika för olika testskalor påvisas eliminera ca 95 % av effekterna av skönmålning. Metodiken har validerats i en rad empiriska studier som kortfattat beskrivs i rapporten. Korrektion för skönmålning är av mycket stor betydelse vid tolkning av testdata, och för etablering av en fungerande normdatabas.
Keywords: faking; personality tests; (follow links to similar papers)
40 pages, December 17, 2012

Testgranskning leder till fel slutsatser

STP (Stiftelsen för Tillämpad Psykologi) genomför testgranskningar, och dess företrädare uttalar sig ofta i media. De omdömen de ger om test (nästan alltid personlighetstest) brukar vara mycket kritiska, men tycks inte påverka marknaden. Det senare kan ju bero på att STP:s rapporter sprids mycket ineffektivt (för dyra), men det kan också bero på att trovärdigheten är låg. I så fall, varför? Jag hade anledning att intressera mig för frågan för en tid sedan och fann att verksamheten sköttes mycket ineffektivt, men också med tveksam kompetens. Man har övertagit ett europeiskt system men utan att riktigt förstå det. Jag ger en detaljerad kritik här. Slutsatsen är att STP missförstått hur testen ska bedömas, och att de genomgående gjort alldeles för negativa bedömningar av det skälet.

Testen ignoreras?

I en intervju i tidskriften Personal och Ledarskap läser jag att testresultat till allra största delen ignoreras vid anställningsbeslut. Det är förvånande och stämmer inte alls med mina erfarenheter med UPP-testet. Men kanske kan det vara sant i en del fall, beroende på vilket test det rör sig om. En del test bygger på svårförståeliga teorier som inte har någon tydlig relation till arbetslivet. Det gäller t ex Myers-Briggs och vissa andra test som baseras på Jungs typteori. Andra test ger en komplex bild av testpersonen som man medvetet kopplat bort från arbetsprestation med resonemang av typen "alla resultat är bra" eller "alla behövs". Kanske det, men om man tror det, varför testa - då borde ju slumpen vara lika bra eller bättre, eftersom ett lotteri inte kostar något.

Norms - a crucial issuse in testing

Test norms need to be specific to the user and the test context. This should be obvious, still is often ignored, perhaps due to the expenses involved. What happens if norms are not specific?

1. A very important aspect is that of faking. Faking is abundant in job applicants. If norms are collected from incumbents or, even worse, the population at large, test scores can be grossly misleading. The reason is that many applicants fake and the distribution of their test scores is shifted towards a higher mean than for incumbents who fake very little or not at all. As a consequence, test scores for applicants will be systematically overestimated. In a stanine scale, the error could easily be 2 or 3 steps. This problem could be greatly mitigated by using a correction procedure using one or several scales for measuring the tendency to respond in a socially desirable manner. In our data, about 95 % of the effect is eliminated this way. Note, however, that the correction model must be scale specific since scales are usually not equally vulnerable to distortion.

2. Test scores may be strongly dependent on the organizational context. In some contexts, independences is not a desired trait and people will on the average have low scores on this trait. Another example is perseverance in the face of failure. If failure is rarely obvious, test takers will report low perseverance. For reasons such as these, norms need to be specific to the organizations.

It is not excessively demanding to construct specific norms, given modern IT technology, and the sample size need to be only as small as 300, or even in some cases 120. The first step is to realize the importance of specific norms, of norms corrected for impression management if they are based on incumbents or the population at large, and the fact that the sample size can be fairly small. In our practice we work with such norms, but many Swedish test providers seem unaware of the issue and that the problems can be solved with relatively modest resources.

Successfully dealing with faking on a self-report personality test

Faking on self-report personality tests is common and a strong drawback of such tests. Many approaches have been tried to counteract this serious source of error, see e.g. a recent papers in the Journal of Applied Psychology (Bangerter, Roulin, & König, 2012; Fan, et al., 2012).

The UPP test (Sjöberg, 2010/2012) is a self-report personality test and as such it is vulnerable to faking in high-stakes testing situations. However, this test uses a simple but powerful methodology for correcting test scores for faking. It measures separately two social desirability (SD) dimensions, one overt (similar to the classical Crowne-Marlowe scale (Crowne & Marlowe, 1960)) and one covert. The covert scale uses items similar to conventional personality items but selected for their strong correlation with the overt scale. The two scales are highly correlated and give similar results when used to correct test scales for faking.

The correction procedure uses regression models where each test scale in turn is the dependent variable and the SD scales are independent variables. It is necessary to fit a new model for each test scale because the different scales are related to SD in different ways, correlations varying widely. The corrected test scales are the residuals in these regression models.

This procedure gives corrected test scales which correlate zero with SD. So far, so good, but does it also work? In other words, can it be validated on empirical data? One way to validated it is to study groups tested under different levels of involvement, from incumbents where test results have no consequences, to applicants where they do, and consequences are very important. In a recent study of applicants to the officers' training program in the Swedish Army, I had a chance to study this question, using the UPP test and its SD scales. (Previous studies had given similar results). Data were available for 5 groups:

A. Norm

B. Incumbents

C. Applicants (low consequences of test results)

D. Applicants (moderate consequences)

E. Applicants (high-stakes testing)

I expected increasing SD scale values in the order A - E. I also expected test scales to have the same rank order, if they were sensitive to SD, such as emotional stability. Finally, I expected the group differences in emotional stability to vanish if the test data were corrected for faking using the two SD scales (and a multiple regression model). For the results, see Figs. 1 and 2 below, and Table 1. 

Fig. 1. Means of SD scales

Fig. 2. Means of emotional stability before and after SD correction

Tabell 1. Mean values of emotional stability (standardized scales), uncorrected and corrected data, effect size and one-way ANOVA of group differences.
Grupp	Before correction	Corrected for SD
A. Norm	-0.25	-0.05
B. Incumbents	0.05	0.07
C. Applicants (low consequences of test results)	0.43	0.28
D. Applicants (moderate consequences)	0.56	0.06
E. Applicants (high-stakes testing)	0.73	0.11
Effect size (eta2)	0.147	0.006
One-way ANOVA	F(4,1638) = 70.693, p < 0.0005	F(4,1828) = 2.763, p = 0.026

Note that the effect size decreased to about 5 %.

In other work on leader effectiveness, using 360 degrees feedback as criterion, I found that the validities of the test scales increased after correction for SD according to the same method (Sjöberg, Bergman, Lornudd, & Sandahl, 2011), see Fig. 3. 

Fig. 3. Validities of uncorrected and corrected persnality scales

In conclusion, a simple method for correction for faking has been found to successfully remove about 95 % of the variance due to SD in test responses, and such a method increased the validity of the test scores against an external criterion. 

It is often argued that SD scales really measure "personality", such as need for approval, and not a tendency to distort responses. However, the present results strongly refute this view. It is very plausible that different levels of consequences of testing should lead to different levels of motivation for impression management, but unlikely that they should result in different levels of some personality dimension such as need for approval.

References

Bangerter, A., Roulin, N., & König, C. J. (2012). Personnel selection as a signaling game. [doi:10.1037/a0026078]. Journal of Applied Psychology, 97, 719-738.

Crowne, D. P., & Marlowe, D. (1960). A new scale of social desirability independent of psychopathology. Journal of Consulting and Clinical Psychology, 24, 349-354.

Fan, J., Gao, D., Carroll, S. A., Lopez, F. J., Tian, T. S., & Meng, H. (2012). Testing the efficacy of a new procedure for reducing faking on personality tests within selection contexts. [doi:10.1037/a0026655]. Journal of Applied Psychology, 97, 866-880.

Sjöberg, L. (2010/2012). A third generation personality test (SSE/EFI Working Paper Series in Business Administration No. 2010:3). Stockholm: Stockholm School of Economics.

Sjöberg, L., Bergman, D., Lornudd, C., & Sandahl, C. (2011). Sambandet mellan ett personlighetstest och 360-graders bedömningar av chefer i hälso- och sjukvården. (Relationship between a personality test and 360 degrees judgments of health care managers). Stockholm: Karolinska Institute, Institutionen för lärande, informatik, management och etik (LIME).