Tuesday, January 24, 2012
Gick det att lura UPP-testet?
I höstas inbjöds läsarna av denna blogg att försöka lura UPP-testet. Gick det? Svaret finns här.
Saturday, January 21, 2012
Nytt om faking
O'Connell et al. (2011) har publicerat en intressant studie om faking på personlighetstest.Förutom en vanlig skala på social önskvärdhet (SD-skala) mätte de skönmålning med två andra metoder: CVI (bygger på att skönmålning skapar tillskott till korrelation mellan annars orelaterade skalor), samt en skala som frågar om man haft erfarenhet av ej existerande verksamheter (ren lögnskala,. alltså). Resultaten är något komplexa men SD-skalan fungerade bäst.
Författarna är bekymrade över kritiken av SD-skalor och försökte därför hitta alternativ, med begränsad framgång. Att faking förekom och var både stark och vanlig bland jobbsökande var emellertid glasklart. Något måste uppenbarligen göras och fortsatt metodutveckling efterfrågas. Att bara förneka att problemet förekommer är enfaldigt, och sannerligen ingen lösning.
SD-skalor kan eventuellt fungera mot kriterier av objektiv typ, eller bedömningar av hur bra man skött själva kärnuppgifterna i jobbet. När det gäller socialt stödjande insatser i jobbet kanske SD-skalor korrelerar positivt med kriteriet och därför sänker validiteten hos personlighetstest om de används för någon form av korrektion. I jobb av typ kundservice där det sociala inslaget är mycket stort kan det fungera på att liknande sätt.
Idén att mäta faking med en ren lögnskala är inressant men kräver ju speciell anpassning för varje typ av jobb. Kanske kan man använda item av den typ som ibland har används för att mäta icke existerande attityder.
Referens
O'Connell, M. S., Kung, M.-C., & Tristan, E. (2011). Beyond Impression Management: Evaluating three measures of response distortion and their relationship to job performance. International Journal of Selection and Assessment, 19, Issue 4 (December), pages 340–351, 340-351.
Författarna är bekymrade över kritiken av SD-skalor och försökte därför hitta alternativ, med begränsad framgång. Att faking förekom och var både stark och vanlig bland jobbsökande var emellertid glasklart. Något måste uppenbarligen göras och fortsatt metodutveckling efterfrågas. Att bara förneka att problemet förekommer är enfaldigt, och sannerligen ingen lösning.
SD-skalor kan eventuellt fungera mot kriterier av objektiv typ, eller bedömningar av hur bra man skött själva kärnuppgifterna i jobbet. När det gäller socialt stödjande insatser i jobbet kanske SD-skalor korrelerar positivt med kriteriet och därför sänker validiteten hos personlighetstest om de används för någon form av korrektion. I jobb av typ kundservice där det sociala inslaget är mycket stort kan det fungera på att liknande sätt.
Idén att mäta faking med en ren lögnskala är inressant men kräver ju speciell anpassning för varje typ av jobb. Kanske kan man använda item av den typ som ibland har används för att mäta icke existerande attityder.
Referens
O'Connell, M. S., Kung, M.-C., & Tristan, E. (2011). Beyond Impression Management: Evaluating three measures of response distortion and their relationship to job performance. International Journal of Selection and Assessment, 19, Issue 4 (December), pages 340–351, 340-351.
Monday, January 9, 2012
Mera om OPQ och validitet
Ju mera man studerar det brittiska OPQ-testet, detta i Sverige mycket populära test, och dess validitet desto mera förbryllad blir man. En mycket ambitiös sammanställning av massor av data, publicerad av Bartram (1995) tyder snarast på värden omkring 0,05 mot olika kriterier. Enda undantaget är s k kanoniska korrelationer mellan uppsättningar av personlighetsskalor och uppsättningar av kriteriemått, där han når nivån 0.5. Men det är väl känt att denna typ av korrelationsberäkning är extremt känslig för slumpvariationer i data, numera sällan använd och betraktad med stor skepsis (Saville, 2008). Mysteriet tätnar: vad är egentligen vitsen om OPQ?
Referenser
Bartram, D. (2005). The Great Eight Competencies: A Criterion-Centric Approach to Validation. [doi:10.1037/0021-9010.90.6.1185]. Journal of Applied Psychology, 90, 1185-1203.
Saville, P. (2008, January). Project Epsom: How Valid Is Your Questionnaire? Phase 1: Saville Consulting Wave®, OPQ®, Hogan Personality Inventory & Development Survey, 16PF5, NEO, Thomas International DISC, MBTI and Saville Personality Questionnaire Compared in Predicting Job Performance. Paper presented at the The British Psychological Society Division of Occupational Psychology Conference: “Personality Questionnaires – Valid Inferences, False Prophecies”. Klicka här.
Referenser
Bartram, D. (2005). The Great Eight Competencies: A Criterion-Centric Approach to Validation. [doi:10.1037/0021-9010.90.6.1185]. Journal of Applied Psychology, 90, 1185-1203.
Saville, P. (2008, January). Project Epsom: How Valid Is Your Questionnaire? Phase 1: Saville Consulting Wave®, OPQ®, Hogan Personality Inventory & Development Survey, 16PF5, NEO, Thomas International DISC, MBTI and Saville Personality Questionnaire Compared in Predicting Job Performance. Paper presented at the The British Psychological Society Division of Occupational Psychology Conference: “Personality Questionnaires – Valid Inferences, False Prophecies”. Klicka här.
Subscribe to:
Posts (Atom)
