tag:blogger.com,1999:blog-15032666561253397612023-11-16T05:01:55.109-08:00Psychological testing and psychometricsRecent research and practice in testing and psychometrics, with an emphasis on scientific and critical discussions.Lennart Sjöberghttp://www.blogger.com/profile/16238631297369469848noreply@blogger.comBlogger86125tag:blogger.com,1999:blog-1503266656125339761.post-33896195429226084132015-05-27T00:06:00.004-07:002015-05-27T04:01:16.519-07:00Artikel om psykologiska testerKlicka här för en intressant artikel om psykologsiska tester!<br />
<br />
http://www.lag-avtal.se/tidningen/article3908139.ece<br />
<br />
<br />
Någar av de tester som särskilt tas upp vill jag kommentera.<br />
<br />
Intressanta detaljer: att <b>Myers-Briggs </b>används för urval, vilket ju inte stämmer med forskningen och såvitt jag kan förstå inte heller med leverantörens intentioner. Se http://www.vox.com/2014/7/15/5881947/myers-briggs-personality-test-meaningless<br />
<br />
Intressant är också kommentaren om <b>OPQ</b> ("upprepade frågor"). Efter att ha använts många år i stor skala i vårt land kan man misstänka uttröttning och också ökad skönmålning - man lära sig vilka svar som är opportuna. För ett exempel, se aktuella resultat med
OPQ-testet som snarast ligger under den traditionella testvaliditeten från
1960-talet (Brown & Bartram, 2009).Om upprepade testningar, se också http://digitalcommons.ilr.cornell.edu/cgi/viewcontent.cgi?article=1328&context=articles&sei-redir=1#search=%22effects%20repeated%20testings%20personality%20tests%22<br />
<br />
<!--[if gte mso 9]><xml>
<w:WordDocument>
<w:View>Normal</w:View>
<w:Zoom>0</w:Zoom>
<w:HyphenationZone>21</w:HyphenationZone>
<w:PunctuationKerning/>
<w:ValidateAgainstSchemas/>
<w:SaveIfXMLInvalid>false</w:SaveIfXMLInvalid>
<w:IgnoreMixedContent>false</w:IgnoreMixedContent>
<w:AlwaysShowPlaceholderText>false</w:AlwaysShowPlaceholderText>
<w:Compatibility>
<w:BreakWrappedTables/>
<w:SnapToGridInCell/>
<w:WrapTextWithPunct/>
<w:UseAsianBreakRules/>
<w:DontGrowAutofit/>
</w:Compatibility>
<w:BrowserLevel>MicrosoftInternetExplorer4</w:BrowserLevel>
</w:WordDocument>
</xml><![endif]--><br />
<!--[if gte mso 9]><xml>
<w:LatentStyles DefLockedState="false" LatentStyleCount="156">
</w:LatentStyles>
</xml><![endif]--><!--[if gte mso 10]>
<style>
/* Style Definitions */
table.MsoNormalTable
{mso-style-name:"Normal tabell";
mso-tstyle-rowband-size:0;
mso-tstyle-colband-size:0;
mso-style-noshow:yes;
mso-style-parent:"";
mso-padding-alt:0cm 5.4pt 0cm 5.4pt;
mso-para-margin:0cm;
mso-para-margin-bottom:.0001pt;
mso-pagination:widow-orphan;
font-size:10.0pt;
font-family:"Times New Roman";
mso-ansi-language:#0400;
mso-fareast-language:#0400;
mso-bidi-language:#0400;}
</style>
<![endif]-->
<br />
<div class="MsoNormal">
<b>FFM-modellen</b> har inte gett uppmuntrande resultat när det
gäller validitet i arbetslivet.Meta-analyser av FFM-test har gett
mycket svaga resultat (Morgeson et al., 2007a, 2007b), med validiteter
(korrelation med arbetsresultat) högst på nivån 0.25, i de flesta fall betydligt
lägre. </div>
<br />
<span style="font-family: "Times New Roman"; font-size: 12.0pt; mso-ansi-language: SV; mso-bidi-language: AR-SA; mso-fareast-font-family: "Times New Roman"; mso-fareast-language: SV;"><b>Referenser</b><br clear="all" style="mso-special-character: line-break; page-break-before: always;" />
</span>
<br />
<div class="MsoNormal">
</div>
<div class="MsoNormal">
<span lang="EN-GB" style="mso-ansi-language: EN-GB;">Brown, A.,
& Bartram, D. (2009). <i style="mso-bidi-font-style: normal;">Development and
psychometric propertioes of the opq32r. Supplement to the opq 32 technical
manual</i>: SHL.</span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal">
<span lang="EN-GB" style="mso-ansi-language: EN-GB;">Morgeson,
F. P., Campion, M. A., Dipboye, R. L., Hollenbeck, J. R., Murphy, K., &
Schmitt, N. (2007a). Are we getting fooled again? Coming to terms with
limitations in the use of personality tests for personnel selection. <i style="mso-bidi-font-style: normal;">Personnel Psychology, 60</i>, 1029-1049.</span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal">
<span lang="EN-GB" style="mso-ansi-language: EN-GB;">Morgeson,
F. P., Campion, M. A., Dipboye, R. L., Hollenbeck, J. R., Murphy, K., &
Schmitt, N. (2007b). Reconsidering the use of personality tests in personnel
selection contexts. </span><i style="mso-bidi-font-style: normal;">Personnel
Psychology, 60</i>, 683-729.</div>
Lennart Sjöberghttp://www.blogger.com/profile/16238631297369469848noreply@blogger.com0tag:blogger.com,1999:blog-1503266656125339761.post-91525529946562300542014-08-28T07:59:00.000-07:002014-08-28T07:59:13.874-07:00TestforskningDet görs ytterst lite forskning om test i vårt land. Det beror säkert inte på att det inte behövs. Skälet är nog snarast att aktörerna som säljer test nöjer sig med vad de har eller importerar produkter från, i första hand, USA. Den forskning som görs möts också med skepsis, enligt min erfarenhet. Det krävs publicering.<br />
<br />Publicering är mycket
sällsynt i branschen i vårt land. Det kan finnas flera skäl som brist på
resurser och kompetens, men även mycket stora aktörer arbetar inte med
publicering i nämnvärd grad. Ännu ett skäl kan vara att det kan vara
svårt att få ett säljande format för vetenskapliga tidskrifter om man
bara redovisar utvecklingsarbete. Kanske har det också bedömts att kunderna är svalt intresserade av publiceringsaspekten.<br />
<br />
Det är beklagligt att jakten på någon form av vetenskaplig legitimering numera hamnar i att man hävdar att man har ett "Big Five"-test, och man verkar betrakta Big Five som det slutliga svaret på personlighetens struktur. Men sanningen är att det inte finns någon teori värd namnet bakom Big Five och att i praktiken ger Big Five-test mycket svaga resultat med låg validitet och låg prognostisk effektivitet. <br />
<br />
<br />
<br />
<br /><br />Lennart Sjöberghttp://www.blogger.com/profile/16238631297369469848noreply@blogger.com1tag:blogger.com,1999:blog-1503266656125339761.post-75799415193526408842014-08-25T07:06:00.000-07:002014-08-25T07:06:10.502-07:00Marknadsföring av testinstrumentPsykologer vet att mänskligt beteende inte går att förutsäga annat än till en viss, oftast ganska blygsam, del. Om förutsägelsen ska baseras på test blir den sämre än om man tar hänsyn också till annan information. Dessa enkla och väl dokumenterade principer bryter aktörer inom testbranschen mot när de påstår att de kan gör "absolut säkra" prognoser. Frågan är om de har någon trovärdighet. När de dessutom lägger till att de har "världens bästa test" - inte lätt att bevisa - torde de bryta mot regler och lagar för marknadsföring som säger att man inte får ge felaktig och vilseledande information. Lennart Sjöberghttp://www.blogger.com/profile/16238631297369469848noreply@blogger.com0tag:blogger.com,1999:blog-1503266656125339761.post-66296894738577246432014-03-31T01:00:00.001-07:002014-03-31T01:00:56.866-07:00Hurdan är en bra säljare?Jag hade nyligen nöjet att träffa en mycket duktig säljare. Han var/hade<br />
<br />
socialt säker <br />
kunnig på ämnesområdet<br />lyhörd inför vad människor säger<br />villig att ta till sig kritik och alternativa uppfattningar utan att försvara sig med näbbar och klor<br />
inriktad på vilka kundens behov är<br />snabb på att svara på frågor, e-post eller annat sätt<br />tillgänglig<br />trevlig men absolut inte inställsam<br />måttligt hög narcissism<br />
<br />
Självklart? Inte alls. Tänk på alla misslyckade telefonförsäljare...<br />
<br />
Tänk också på alla test som bygger på indirekta, "subtila" dimensioner, om Thomastestet, Service First och MBTI. <i>UPP</i>-testet klarar det här.<br />
<br />
Lennart Sjöberghttp://www.blogger.com/profile/16238631297369469848noreply@blogger.com0tag:blogger.com,1999:blog-1503266656125339761.post-75890631110006633862014-02-10T06:44:00.000-08:002014-02-10T06:44:43.590-08:00Vi har de test vi vill ha...Ibland har jag undrat över varför så många användare fortsätter att använda test med en validitet som är okänd, eller vars validitet är känd att ligga omkring noll. Det är en gåta. Ett skäl kan vara att användare helt enkelt inte känner till att man ska ställa krav på validitet, inte vet vad det är, och inte ens förstår vad en korrelationskoefficient är. Ett annat och lite intressantare skäl är <i>att man vill ha test som ger diffusa resultat</i>. Testet ger information som kan tolkas lite som man vill, så man är helt fri att dra de slutsatser man önskar. Ett exempel är MBTI, som bygger på Jungs luftiga spekulationer och mäter dimensioner vars betydelse för arbetslivet ingen har kunnat dokumentera. Men det verkar spännande! Alla har vi en liten amatörpsykolog i oss, och vi smickrar oss själva genom att tro att vi kan förstå människor, skåda in i själens djup, och gör träffsäkra prognoser. Ju mera information vi får, desto säkrare känner vi oss på vår sak - det får gärna vara 30-40 personlighetsskalor. Ingen kan dra vettiga slutsatser utifrån sådan information, särskilt som testkonstruktören säger: "Inget är bra eller dåligt, allt måste tolkas av testanvändaren". Populärt nonsens!Lennart Sjöberghttp://www.blogger.com/profile/16238631297369469848noreply@blogger.com0tag:blogger.com,1999:blog-1503266656125339761.post-41886756378311263342014-02-02T01:21:00.000-08:002014-02-02T17:01:40.834-08:00Big Five, skönmålning mmDN har den 2 februari en sida om personlighetstestning. Störst utrymme får Anders Knutsson, psykolog vid Assessio. Han anser att det "finns fem egenskaper som avgör vilka förutsättningar du har för att lyckas bra på arbetsmarknaden". Dessa är de gamla vanliga "Big Five"; för Agreeableness använder han den missvisande översättningen Vänlighet. (Det är följsamhet det handlar om, något helt annat). Det är helt fel och många gånger motbevisat i forskningen att "Big Five" skulle vara valida prediktorer av arbetsresultat. Omfattande meta-analyser har visat att validiteten för 4 av de 5 dimensionerna ligger på 0.2 eller lägre; mycket låga samband. För den femte, samvetsgrannhet, ligger den omkring 0.25, också det ett mycket lågt värde och ingen förbättring sedan personlighetstest började användas omkring 1920. Inom vilken annan verksamhet skulle man acceptera avsaknad av förbättring på nästan 100 år? I vår forskning har vi med andra dimensioner än "Big Five" nått validiteter omkring 0.5. <br />
<br />
Och så till frågan om man kan "fuska", vilket alla som använder sitt sunda förnuft genast inser. (Forskningen har visat detsamma, i mycket omfattande studier). Enligt Knutsson: ... "vi kan se att det svar som känns naturligt tror man är naturligt för andra också". Följer därav att man inte skönmålar om det är en viktigt testsituation? För det gör man! Knutsson lägger till: "Människor är dessutom väldigt ärliga vid direkta frågor". Hur trovärdigt är det? <br />
<br />
<br />Lennart Sjöberghttp://www.blogger.com/profile/16238631297369469848noreply@blogger.com2tag:blogger.com,1999:blog-1503266656125339761.post-45800049337303796822013-08-31T03:02:00.000-07:002013-08-31T03:02:32.941-07:00Frekventa misslyckanden bland toppcheferEn ny rapport, klicka <a href="http://www.prwatch.org/news/2013/08/12227/executive-excess-2013-bailed-out-booted-and-busted">här</a>, om toppchefer i USA visar att 40% misslyckas, trots enorma löner (350 gånger högre än vanliga anställda) och gyllene fallskärmar (i snitt 48 miljoner dollar till dem som avskedats). De skriver:<br />
<br />
"The lavishly compensated CEOs we spotlight here should be exemplars
of value-added performance. After all, sky-high CEO pay purportedly
reflects the superior value that elite chief executives add to their
enterprises and the broader U.S. economy.<br />
But our analysis reveals widespread poor performance within America’s
elite CEO circles. Chief executives performing poorly — and blatantly
so — have consistently populated the ranks of our nation’s top-paid CEOs
over the last two decades."<br />
<br />
En del av problemen torde bero på rekryteringsmetoderna, som nästan aldrig inbegriper psykologiska test. Bra test är objektiva och har dokumenterad validitet. Referenser är notoriskt opålitliga (särskilt om de är positiva), "magkänslan" efter informella och ostrukturerade intervjuer likaså. Kontakter, gammal vänskap och liknande värderingar kan leda spikrakt åt skogen. Många är skickliga på att manipulera, att styra det intryck de ger. Se Babiak och Hare, nedan, en utmärkt bok om subkliniska psykopater i näringslivet. <br />
<br />
Ett mysterium är varför företagen dels inte rekryterar på att professionellt optimalt sätt till topptjänster, dels är beredda att betala löjligt höga löner. De tycks tro att det handlar om exceptionellt kompetenta, sällsynt kompetenta, personer - och att de lyckas hitta dem. Risken är stor att de låter sig luras av extrema narcissister eller subkliniska psykopater, eller manipuleras av cyniker. För dessa personlighetsdrag ("The dark triad"), som alla kan testas med bra personlighetstest, se O´Boyle et al. (2011). <br />
<br />
I Sverige är förhållandena nog ganska lika dem i USA, både i privat och offentlig sektor. Carolina Neurath ger bra synpunkter på regeringens misslyckanden med topprekryteringar, se <a href="http://blog.svd.se/neurathsbors/2013/08/27/chefsrekrytering-inte-regeringens-paradgren/">här</a>. Om AB igår kan en sann bild av hur chefen för Arbetsförmedlingen rekryterades blir man mörkrädd, se deras artikel <a href="http://www.aftonbladet.se/nyheter/kolumnister/peterkadhammar/article17364175.ab">här.</a> <br />
<br />
<i>Referenser</i><br />
<br />
Babiak, P., & Hare, R. D. (2006). S<i>nakes in suits. When psychopaths go to work</i>. New York: Harper.<br />
<br />
O'Boyle Jr, E. H., Forsyth, D. R., Banks, G. C., & McDaniel, M. A. (2011). A meta-analysis of the dark triad and work behavior: A social exchange perspective. [doi:10.1037/a0025679]. <i>Journal of Applied Psychology, </i>97(3), 557-579.<br />
<br />
<br />
<br />
<br />
<br />
<br />Lennart Sjöberghttp://www.blogger.com/profile/16238631297369469848noreply@blogger.com0tag:blogger.com,1999:blog-1503266656125339761.post-91752502412856777332013-06-28T02:49:00.001-07:002013-06-28T02:52:11.312-07:00Stor genomgång av problematiken med skönmålningMin tidigare EFI-rapport är nu kraftigt utökad och tar upp den senaste forskningen och diskussionerna på området, <a href="http://bit.ly/17nV6jk">klicka här.</a>.<br />
<br />
I denna rapport finns nu också en s k Executive Summary för den som snabbt vill bilda sig en uppfattning, <a href="https://www.dropbox.com/s/fjvj6ja35to8bmr/Sk%C3%B6nm%C3%A5lning%20i%20personlighetstes1%20noc%20ex%20summary.pdf">klicka här</a>. <br />
<br />
<!--[if gte mso 9]><xml>
<w:WordDocument>
<w:View>Normal</w:View>
<w:Zoom>0</w:Zoom>
<w:HyphenationZone>21</w:HyphenationZone>
<w:PunctuationKerning/>
<w:ValidateAgainstSchemas/>
<w:SaveIfXMLInvalid>false</w:SaveIfXMLInvalid>
<w:IgnoreMixedContent>false</w:IgnoreMixedContent>
<w:AlwaysShowPlaceholderText>false</w:AlwaysShowPlaceholderText>
<w:Compatibility>
<w:BreakWrappedTables/>
<w:SnapToGridInCell/>
<w:WrapTextWithPunct/>
<w:UseAsianBreakRules/>
<w:DontGrowAutofit/>
</w:Compatibility>
<w:BrowserLevel>MicrosoftInternetExplorer4</w:BrowserLevel>
</w:WordDocument>
</xml><![endif]--><br />
<!--[if gte mso 9]><xml>
<w:LatentStyles DefLockedState="false" LatentStyleCount="156">
</w:LatentStyles>
</xml><![endif]--><!--[if gte mso 10]>
<style>
/* Style Definitions */
table.MsoNormalTable
{mso-style-name:"Normal tabell";
mso-tstyle-rowband-size:0;
mso-tstyle-colband-size:0;
mso-style-noshow:yes;
mso-style-parent:"";
mso-padding-alt:0pt 5.4pt 0pt 5.4pt;
mso-para-margin:0pt;
mso-para-margin-bottom:.0001pt;
mso-pagination:widow-orphan;
font-size:10.0pt;
font-family:"Times New Roman";
mso-ansi-language:#0400;
mso-fareast-language:#0400;
mso-bidi-language:#0400;}
</style>
<![endif]-->
<br />
<div class="MsoNormal">
Rapportens slutsatser:</div>
<div class="MsoNormal">
<br /></div>
<ol start="1" style="margin-top: 0pt;" type="1">
<li class="MsoNormal" style="mso-list: l0 level1 lfo1; tab-stops: list 36.0pt;">Förekommer
skönmålning, är den vanlig och stark? Svaret är ett entydigt ja. </li>
<li class="MsoNormal" style="mso-list: l0 level1 lfo1; tab-stops: list 36.0pt;">Har
skönmålning effekter på beslutsfattandet på grundval av testning, t ex vid
urval? Svaret är ja. </li>
<li class="MsoNormal" style="mso-list: l0 level1 lfo1; tab-stops: list 36.0pt;">Här
skönmålning betydelse för normdata? Svaret är ja, om testet ska användas i
skarpt läge måste normdata vara insamlade i skarpt läge. </li>
<li class="MsoNormal" style="mso-list: l0 level1 lfo1; tab-stops: list 36.0pt;">Kan
skönmålning undvikas, åtminstone till betydande del, med hjälp av</li>
<ol start="1" style="margin-top: 0pt;" type="a">
<li class="MsoNormal" style="mso-list: l0 level2 lfo1; tab-stops: list 72.0pt;">Varningar</li>
<li class="MsoNormal" style="mso-list: l0 level2 lfo1; tab-stops: list 72.0pt;">Omformulering
av item till at bli mera neutrala</li>
<li class="MsoNormal" style="mso-list: l0 level2 lfo1; tab-stops: list 72.0pt;">Särskilda
mätningar av tendensen att tillskriva sig mera kunskaper än man har</li>
<li class="MsoNormal" style="mso-list: l0 level2 lfo1; tab-stops: list 72.0pt;">Anpassning
av matematiska modeller till testdata och mätning av i vilken mån testpersoner
avviker från dessa modeller</li>
</ol>
</ol>
<div class="MsoNormal">
<span style="mso-spacerun: yes;"> </span>Svaret för
alla dessa ansatser är nej, de löser inte problemet</div>
<ol start="5" style="margin-top: 0pt;" type="1">
<li class="MsoNormal" style="mso-list: l0 level1 lfo1; tab-stops: list 36.0pt;">Ett
ganska vanligt sätt att hantera skönmålning tycks vara att utesluta de
testpersoner som har högst värde i en sådan skala, t ex de 25 % som ligger
högst. Detta har en svag och otillräcklig effekt, se Reeder och Ryan <span style="mso-no-proof: yes;">(Reeder & Ryan, 2012)</span>. </li>
</ol>
<div class="MsoNormal" style="margin-left: 18.0pt;">
<br /></div>
<div class="MsoNormal">
Ännu tycks det inte finnas någon ny metodik för att upptäcka
och korrigera för skönmålning som är tillräckligt lovande för att leva upp till
kraven att den ska vara teoretiskt och empiriskt väl underbyggd, och praktiskt
användbar. Korrektion med en särskild skala som mäter skönmålning fungerar,
även om inte heller denna metod helt eliminerar effekterna. </div>
<div class="MsoNormal">
<br /></div>
Lennart Sjöberghttp://www.blogger.com/profile/16238631297369469848noreply@blogger.com0tag:blogger.com,1999:blog-1503266656125339761.post-72861448862304320382013-05-06T02:10:00.001-07:002013-05-06T02:10:49.184-07:00Skönmålning - finns det?Ett populärt argument bland testleverantörer som arbetar med test som är helt eller till största delen oskyddade mot skönmålning är att <i>sådan inte förekommer. </i>Det går på tvären mot sunt förnuft och berg av forskning. Om den ignoreras kommer man att prioritera bluffare i den mån man bryr sig om resultatet av personlighetstest. <br />
<br />
En aktuell artikel av Griffith och Converse (2012) ger en sammanställning av uppskattningar av hur många som skönmålade i olika undersökningar, se tabell nedan. <br />
<br />
<div class="separator" style="clear: both; text-align: center;">
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiLB9olFbzNTIh1zsSf-ewrCfVhawuHgCV7xuQhythj0_vdezRjZ_sKdDyIGjN_YT0c5wDF_uLf1JVG6yDt-MXEIiInylHSZYXCz-plk9cfeorea91P2PjNYgA4sX8yoD291sDn9utUkww/s1600/skonm2+001.jpg" imageanchor="1" style="margin-left: 1em; margin-right: 1em;"><img border="0" height="640" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiLB9olFbzNTIh1zsSf-ewrCfVhawuHgCV7xuQhythj0_vdezRjZ_sKdDyIGjN_YT0c5wDF_uLf1JVG6yDt-MXEIiInylHSZYXCz-plk9cfeorea91P2PjNYgA4sX8yoD291sDn9utUkww/s640/skonm2+001.jpg" width="606" /> </a></div>
<div class="separator" style="clear: both; text-align: left;">
Det handlar alltså om ca 30 % i genomsnitt. Det är en hög siffra,<i> men troligen är den mycket högre om man tittar enbart på dem som rankas högst på testet. </i>Det är uppenbart att här finns ett gigantiskt problem för testindustrin, ett problem som inte försvinner för att man blundar för det eller förnekar det. För den som letar efter en lösning, ty en sådan finns, se min rapport om skönmålning (Sjöberg, 2012). </div>
<div class="separator" style="clear: both; text-align: left;">
<br /></div>
<div class="separator" style="clear: both; text-align: left;">
<i>Referens</i></div>
<div class="separator" style="clear: both; text-align: left;">
<br /></div>
<div class="separator" style="clear: both; text-align: left;">
Griffith, R. L., & Converse, P. D. (2012). The rules of evidence and the prevalence of applicant faking. In M. Ziegler, C. Maccann & R. D. Roberts (Eds.), New perspectives on faking in personality assessment. Oxford: Oxford University Press.</div>
<div class="separator" style="clear: both; text-align: left;">
<br /></div>
<div class="separator" style="clear: both; text-align: left;">
</div>
<div class="separator" style="clear: both; text-align: left;">
Sjöberg, L. (2012). Skönmålning i personlighetstest. Handelshögskolan i Stockholm, Rapport 2012:2. <a href="http://swoba.hhs.se/hastba/abs/hastba2012_002.htm">Klicka här.</a></div>
<div class="separator" style="clear: both; text-align: left;">
<br /></div>
Lennart Sjöberghttp://www.blogger.com/profile/16238631297369469848noreply@blogger.com0tag:blogger.com,1999:blog-1503266656125339761.post-73909069906656118812013-04-27T02:18:00.000-07:002013-04-27T02:18:34.589-07:00Skönmålning i personlighetstest<b>SSE/EFI Working Paper Series in Business Administration</b>
<br />
<h1 class="wptitle">
No 2012:2: <br />Skönmålning i personlighetstest</h1>
<i><a href="http://www.dynam-it.com/lennart/">Lennart Sjöberg</a> </i>(<a href="mailto:lennartsjoberg@gmail.com">lennartsjoberg@gmail.com</a>)
<b>Abstract:</b> Skönmålning är ett stort problem vid användning av
personlighetstest av självrapporttyp. Det är ofta lätt att genomskåda vad
olika testfrågor syftar till att mäta och vill man bluffa är det lätt att
göra det. Trots det är denna typ av test vanliga och de tycks få en ökande
användning i näringslivet. Det kan delvis bero på att vissa test använder
ett format (ipsativt) där den testade är instruerad att välja mellan
alternativ som man har försökt matcha i social önskvärdhet. Sådana test har
troligen en viss trovärdighet, men forskningen visar att de inte lyckas
särskilt väl med att eliminera effekterna av skönmålning. Dessutom
samvarierar de med intelligens, och den validitet de eventuellt kan ha
beror troligen till stor del på detta. Ett annat skäl till den omfattande
användningen av personlighetstest är det vanliga påståendet att dessa test,
även om de är helt oskyddade mot skönmålning, har högt prognosvärde i
arbetslivet. Men detta påstående är felaktigt om man ser till den
omfattande forskningen om "Big Five" som visat att dessa dimensioner, bara
har en marginell prognosförmåga i förhållande till arbetsresultat. Ett test
som är oskyddat mot skönmålning, eller bara mycket ineffektivt skyddat, ger
regelmässigt kraftiga överskattningar av testvärden hos dem som utnyttjar
chansen att svara taktiskt. Andra, ofta kvinnor och invandrare, skönmålar
mindre och missgynnas därför av testen. I denna rapport, <a href="http://swoba.hhs.se/hastba/abs/hastba2012_002.htm">klicka här</a> beskrivs en
alternativ metodik som bygger på användning av särskilda skalor för att
mäta tendensen till skönmålning. Modeller som anpassas på grundval av
empiriska data och som är olika för olika testskalor påvisas eliminera ca
95 % av effekterna av skönmålning. Metodiken har validerats i en rad
empiriska studier som kortfattat beskrivs i rapporten. Korrektion för
skönmålning är av mycket stor betydelse vid tolkning av testdata, och för
etablering av en fungerande normdatabas.<br />
<b>Keywords:</b> <a href="http://swoba.hhs.se/scripts/search/search.asp?SubSet=all&kw=faking">faking</a>; <a href="http://swoba.hhs.se/scripts/search/search.asp?SubSet=all&kw=personality+tests">personality tests</a>; (follow links to similar papers)<br />
40 pages, December 17, 2012Lennart Sjöberghttp://www.blogger.com/profile/16238631297369469848noreply@blogger.com0tag:blogger.com,1999:blog-1503266656125339761.post-89715115159081639392013-03-29T02:44:00.000-07:002013-03-29T02:44:43.313-07:00Testgranskning leder till fel slutsatserSTP (Stiftelsen för Tillämpad Psykologi) genomför testgranskningar, och dess företrädare uttalar sig ofta i media. De omdömen de ger om test (nästan alltid personlighetstest) brukar vara mycket kritiska, men tycks inte påverka marknaden. Det senare kan ju bero på att STP:s rapporter sprids mycket ineffektivt (för dyra), men det kan också bero på att trovärdigheten är låg. I så fall, varför? Jag hade anledning att intressera mig för frågan för en tid sedan och fann att verksamheten sköttes mycket ineffektivt, men också med tveksam kompetens. Man har övertagit ett europeiskt system men utan att riktigt förstå det. Jag ger en detaljerad kritik <a href="http://www.psykologisk-metod.se/files/Testgranskning.pdf">här</a>. Slutsatsen är att STP missförstått hur testen ska bedömas, och att de genomgående gjort alldeles för negativa bedömningar av det skälet. Lennart Sjöberghttp://www.blogger.com/profile/16238631297369469848noreply@blogger.com0tag:blogger.com,1999:blog-1503266656125339761.post-2855080638753110442013-03-28T09:04:00.000-07:002013-03-28T09:04:46.021-07:00Testen ignoreras?I en intervju i tidskriften Personal och Ledarskap läser jag att testresultat till allra största delen ignoreras vid anställningsbeslut. Det är förvånande och stämmer inte alls med mina erfarenheter med <i>UPP</i>-testet. Men kanske kan det vara sant i en del fall, beroende på vilket test det rör sig om. En del test bygger på svårförståeliga teorier som inte har någon tydlig relation till arbetslivet. Det gäller t ex Myers-Briggs och vissa andra test som baseras på Jungs typteori. Andra test ger en komplex bild av testpersonen som man medvetet kopplat bort från arbetsprestation med resonemang av typen "alla resultat är bra" eller "alla behövs". Kanske det, men om man tror det, varför testa - då borde ju slumpen vara lika bra eller bättre, eftersom ett lotteri inte kostar något. Lennart Sjöberghttp://www.blogger.com/profile/16238631297369469848noreply@blogger.com0tag:blogger.com,1999:blog-1503266656125339761.post-17474775183792800342012-12-21T08:19:00.000-08:002012-12-21T08:19:02.583-08:00Norms - a crucial issuse in testing<!--[if gte mso 9]><xml>
<w:WordDocument>
<w:View>Normal</w:View>
<w:Zoom>0</w:Zoom>
<w:HyphenationZone>21</w:HyphenationZone>
<w:PunctuationKerning/>
<w:ValidateAgainstSchemas/>
<w:SaveIfXMLInvalid>false</w:SaveIfXMLInvalid>
<w:IgnoreMixedContent>false</w:IgnoreMixedContent>
<w:AlwaysShowPlaceholderText>false</w:AlwaysShowPlaceholderText>
<w:Compatibility>
<w:BreakWrappedTables/>
<w:SnapToGridInCell/>
<w:WrapTextWithPunct/>
<w:UseAsianBreakRules/>
<w:DontGrowAutofit/>
</w:Compatibility>
<w:BrowserLevel>MicrosoftInternetExplorer4</w:BrowserLevel>
</w:WordDocument>
</xml><![endif]--><br />
<!--[if gte mso 9]><xml>
<w:LatentStyles DefLockedState="false" LatentStyleCount="156">
</w:LatentStyles>
</xml><![endif]--><!--[if !mso]><img src="//img2.blogblog.com/img/video_object.png" style="background-color: #b2b2b2; " class="BLOGGER-object-element tr_noresize tr_placeholder" id="ieooui" data-original-id="ieooui" />
<style>
st1\:*{behavior:url(#ieooui) }
</style>
<![endif]--><!--[if gte mso 10]>
<style>
/* Style Definitions */
table.MsoNormalTable
{mso-style-name:"Normal tabell";
mso-tstyle-rowband-size:0;
mso-tstyle-colband-size:0;
mso-style-noshow:yes;
mso-style-parent:"";
mso-padding-alt:0pt 5.4pt 0pt 5.4pt;
mso-para-margin:0pt;
mso-para-margin-bottom:.0001pt;
mso-pagination:widow-orphan;
font-size:10.0pt;
font-family:"Times New Roman";
mso-ansi-language:#0400;
mso-fareast-language:#0400;
mso-bidi-language:#0400;}
</style>
<![endif]-->
<br />
<div class="MsoNormal">
<span lang="EN-GB" style="mso-ansi-language: EN-GB;">Test norms
need to be specific to the user and the test context. This should be obvious,
still is often ignored, perhaps due to the expenses involved. What happens if
norms are not specific?</span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal">
<span lang="EN-GB" style="mso-ansi-language: EN-GB;">1. A</span><span lang="EN-GB" style="mso-ansi-language: EN-GB;"> very important aspect is that of faking.
Faking is abundant in job applicants. If norms are collected from incumbents
or, even worse, the population at large, test scores can be grossly misleading.
The reason is that many applicants fake and the distribution of their test
scores is shifted towards a higher mean than for incumbents who fake very
little or not at all. As a consequence, test scores for applicants will be systematically
overestimated. In a stanine scale, the error could easily be 2 or 3 steps. This
problem could be greatly mitigated by using a correction procedure using one or
several scales for measuring the tendency to respond in a socially desirable
manner. In our data, about 95 % of the effect is eliminated this way. Note,
however, that the correction model must be scale specific since scales are
usually not equally vulnerable to distortion. </span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal">
<span lang="EN-GB" style="mso-ansi-language: EN-GB;">2. Test
scores may be strongly dependent on the organizational context. In some contexts,
independences is not a desired trait and people will on the average have low
scores on this trait. Another example is perseverance in the face of failure. If
failure is rarely obvious, test takers will report low perseverance. For
reasons such as these, norms need to be specific to the organizations. </span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal">
<span lang="EN-GB" style="mso-ansi-language: EN-GB;">It is not
excessively demanding to construct specific norms, given modern IT technology,
and the sample size need to be only as small as 300, or even in some cases 120.
The first step is to realize the importance of specific norms, of norms
corrected for impression management if they are based on incumbents or the population
at large, and the fact that the sample size can be fairly small. In our practice
we work with such norms, but many Swedish test providers seem unaware of the
issue and that the problems can be solved with relatively modest resources. </span></div>
Lennart Sjöberghttp://www.blogger.com/profile/16238631297369469848noreply@blogger.com0tag:blogger.com,1999:blog-1503266656125339761.post-22803379324900650142012-08-22T08:20:00.001-07:002012-09-04T01:25:56.165-07:00Successfully dealing with faking on a self-report personality test<br />
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal">
<span lang="EN-GB" style="mso-ansi-language: EN-GB;">Faking on self-report
personality tests is common and a strong drawback of such tests. Many
approaches have been tried to counteract this serious source of error, see e.g.
a recent papers in the <i style="mso-bidi-font-style: normal;">Journal of Applied
Psychology </i><span style="mso-no-proof: yes;">(Bangerter, Roulin, & König,
2012; Fan, et al., 2012)</span>.</span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal">
<span lang="EN-GB" style="mso-ansi-language: EN-GB;">The UPP
test <span style="mso-no-proof: yes;">(Sjöberg, 2010/2012)</span> is a
self-report personality test and as such it is vulnerable to faking in
high-stakes testing situations. However, this test uses a simple but powerful
methodology for correcting test scores for faking. It measures separately two
social desirability (SD) dimensions, one overt (similar to the classical
Crowne-Marlowe scale <span style="mso-no-proof: yes;">(Crowne & Marlowe,
1960)</span>) and one covert. The covert scale uses items similar to conventional
personality items but selected for their strong correlation with the overt
scale. The two scales are highly correlated and give similar results when used
to correct test scales for faking. </span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal">
<span lang="EN-GB" style="mso-ansi-language: EN-GB;">The
correction procedure uses regression models where each test scale in turn is
the dependent variable and the SD scales are independent variables. It is
necessary to fit a new model for each test scale because the different scales
are related to SD in different ways, correlations varying widely. The corrected
test scales are the residuals in these regression models. </span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal">
<span lang="EN-GB" style="mso-ansi-language: EN-GB;">This procedure
gives corrected test scales which correlate zero with SD. So far, so good, but
does it also work? In other words, can it be validated on empirical data? One
way to validated it is to study groups tested under different levels of
involvement, from incumbents where test results have no consequences, to
applicants where they do, and consequences are very important. In a recent
study of applicants to the officers' training program in the Swedish Army, I
had a chance to study this question, using the UPP test and its SD scales. (Previous
studies had given similar results). Data were available for 5 groups:</span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal">
<span lang="EN-GB" style="mso-ansi-language: EN-GB;">A. Norm</span></div>
<div class="MsoNormal">
<span lang="EN-GB" style="mso-ansi-language: EN-GB;">B. Incumbents</span></div>
<div class="MsoNormal">
<span lang="EN-GB" style="mso-ansi-language: EN-GB;">C. Applicants
(low consequences of test results)</span></div>
<div class="MsoNormal">
<span lang="EN-GB" style="mso-ansi-language: EN-GB;">D. Applicants
(moderate consequences)</span></div>
<div class="MsoNormal">
<span lang="EN-GB" style="mso-ansi-language: EN-GB;">E. Applicants
(high-stakes testing)</span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal">
<span lang="EN-GB" style="mso-ansi-language: EN-GB;">I expected increasing
SD scale values in the order A - E. I also expected test scales to have the
same rank order, if they were sensitive to SD, such as emotional stability. Finally,
I expected the group differences in emotional stability to vanish if the test
data were corrected for faking using the two SD scales (and a multiple regression
model). For the results, see Figs. 1 and 2 below, and Table 1. </span></div>
<div class="MsoNormal">
<br /></div>
<div class="separator" style="clear: both; text-align: center;">
</div>
<br />
<div class="separator" style="clear: both; text-align: center;">
</div>
<div class="MsoNormal">
<table align="center" cellpadding="0" cellspacing="0" class="tr-caption-container" style="margin-left: auto; margin-right: auto; text-align: center;"><tbody>
<tr><td style="text-align: center;"><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgroiHnEM1xGdoQZ3uSyuxiTrPlGyGQ0Suz2RGcItrjW1R8kljZbNZtOp1apmhcKrjq0pOFHvOyi3u7xcNKBo_0mCOh_Hl8Fh9lAsUTz2MJtfP8ePzNsjIDRVobql5ffoqQxUkJApAqbWk/s1600/im+scales+fhs.JPG" imageanchor="1" style="margin-left: auto; margin-right: auto;"><img border="0" height="225" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgroiHnEM1xGdoQZ3uSyuxiTrPlGyGQ0Suz2RGcItrjW1R8kljZbNZtOp1apmhcKrjq0pOFHvOyi3u7xcNKBo_0mCOh_Hl8Fh9lAsUTz2MJtfP8ePzNsjIDRVobql5ffoqQxUkJApAqbWk/s320/im+scales+fhs.JPG" width="320" /></a></td></tr>
<tr><td class="tr-caption" style="text-align: center;">Fig. 1. Means of SD scales</td></tr>
</tbody></table>
</div>
<div class="MsoNormal">
<br />
<br />
<table align="center" cellpadding="0" cellspacing="0" class="tr-caption-container" style="margin-left: auto; margin-right: auto; text-align: center;"><tbody>
<tr><td style="text-align: center;"><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEi6DUx40WEbLU33rZ_NCcgDOetUx_bGlb08SYDlmswWaR44U07UYpSLuAwE3qOnVGzz11XnAsJFSyDz4dRRRWeMh9EtVewcy1Nnt-AZ3TN3AmcEL6VMt1aTpbg0-G2xNHCuFEjjryKwd30/s1600/emotstab+fhs.JPG" imageanchor="1" style="margin-left: auto; margin-right: auto;"><img border="0" height="228" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEi6DUx40WEbLU33rZ_NCcgDOetUx_bGlb08SYDlmswWaR44U07UYpSLuAwE3qOnVGzz11XnAsJFSyDz4dRRRWeMh9EtVewcy1Nnt-AZ3TN3AmcEL6VMt1aTpbg0-G2xNHCuFEjjryKwd30/s320/emotstab+fhs.JPG" width="320" /></a></td></tr>
<tr><td class="tr-caption" style="text-align: center;">Fig. 2. Means of emotional stability before and after SD correction</td></tr>
</tbody></table>
<br /></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal">
<br /></div>
<table border="0" cellpadding="0" cellspacing="0" class="MsoTableContemporary" style="border-collapse: collapse; mso-border-insideh: 2.25pt solid white; mso-border-insidev: 2.25pt solid white; mso-padding-alt: 0pt 5.4pt 0pt 5.4pt; mso-yfti-tbllook: 480;">
<tbody>
<tr style="mso-yfti-firstrow: yes; mso-yfti-irow: -1;">
<td colspan="3" style="background: #CCCCCC; border-bottom: solid white 2.25pt; border: none; mso-pattern: gray-20 black; mso-shading: white; padding: 0pt 5.4pt 0pt 5.4pt; width: 460.6pt;" valign="top" width="614"><div class="MsoNormal" style="mso-yfti-cnfc: 1;">
<b>Tabell 1. </b><b><span lang="EN-GB" style="mso-ansi-language: EN-GB;">Mean values of emotional stability
(standardized scales), uncorrected and corrected data, effect size and
one-way ANOVA of group differences. </span></b></div>
</td>
</tr>
<tr style="mso-yfti-irow: 0;">
<td style="background: #F2F2F2; border-bottom: solid white 2.25pt; border-left: none; border-right: solid white 2.25pt; border-top: none; mso-border-top-alt: solid white 2.25pt; mso-pattern: gray-5 black; mso-shading: white; padding: 0pt 5.4pt 0pt 5.4pt; width: 153.5pt;" valign="top" width="205"><div class="MsoNormal" style="mso-yfti-cnfc: 64;">
Grupp</div>
</td>
<td style="background: #F2F2F2; border-bottom: solid white 2.25pt; border-left: none; border-right: solid white 2.25pt; border-top: none; mso-border-left-alt: solid white 2.25pt; mso-border-top-alt: solid white 2.25pt; mso-pattern: gray-5 black; mso-shading: white; padding: 0pt 5.4pt 0pt 5.4pt; width: 153.55pt;" valign="top" width="205"><div align="center" class="MsoNormal" style="mso-yfti-cnfc: 64; text-align: center;">
Before
correction</div>
</td>
<td style="background: #F2F2F2; border-bottom: solid white 2.25pt; border: none; mso-border-left-alt: solid white 2.25pt; mso-border-top-alt: solid white 2.25pt; mso-pattern: gray-5 black; mso-shading: white; padding: 0pt 5.4pt 0pt 5.4pt; width: 153.55pt;" valign="top" width="205"><div align="center" class="MsoNormal" style="mso-yfti-cnfc: 64; text-align: center;">
Corrected
for SD</div>
</td>
</tr>
<tr style="mso-yfti-irow: 1;">
<td style="background: #CCCCCC; border-bottom: solid white 2.25pt; border-left: none; border-right: solid white 2.25pt; border-top: none; mso-border-top-alt: solid white 2.25pt; mso-pattern: gray-20 black; mso-shading: white; padding: 0pt 5.4pt 0pt 5.4pt; width: 153.5pt;" valign="top" width="205"><div class="MsoNormal" style="mso-yfti-cnfc: 128;">
<span lang="EN-GB" style="mso-ansi-language: EN-GB;">A. Norm</span></div>
</td>
<td style="background: #CCCCCC; border-bottom: solid white 2.25pt; border-left: none; border-right: solid white 2.25pt; border-top: none; mso-border-left-alt: solid white 2.25pt; mso-border-top-alt: solid white 2.25pt; mso-pattern: gray-20 black; mso-shading: white; padding: 0pt 5.4pt 0pt 5.4pt; width: 153.55pt;" width="205"><div class="MsoNormal" style="mso-yfti-cnfc: 128; tab-stops: decimal 70.0pt;">
<span lang="EN-GB" style="mso-ansi-language: EN-GB;">-0.25</span></div>
</td>
<td style="background: #CCCCCC; border-bottom: solid white 2.25pt; border: none; mso-border-left-alt: solid white 2.25pt; mso-border-top-alt: solid white 2.25pt; mso-pattern: gray-20 black; mso-shading: white; padding: 0pt 5.4pt 0pt 5.4pt; width: 153.55pt;" width="205"><div class="MsoNormal" style="mso-yfti-cnfc: 128; tab-stops: decimal 70.0pt;">
<span lang="EN-GB" style="mso-ansi-language: EN-GB;">-0.05</span></div>
</td>
</tr>
<tr style="mso-yfti-irow: 2;">
<td style="background: #F2F2F2; border-bottom: solid white 2.25pt; border-left: none; border-right: solid white 2.25pt; border-top: none; mso-border-top-alt: solid white 2.25pt; mso-pattern: gray-5 black; mso-shading: white; padding: 0pt 5.4pt 0pt 5.4pt; width: 153.5pt;" valign="top" width="205"><div class="MsoNormal" style="mso-yfti-cnfc: 64;">
<span lang="EN-GB" style="mso-ansi-language: EN-GB;">B. Incumbents</span></div>
</td>
<td style="background: #F2F2F2; border-bottom: solid white 2.25pt; border-left: none; border-right: solid white 2.25pt; border-top: none; mso-border-left-alt: solid white 2.25pt; mso-border-top-alt: solid white 2.25pt; mso-pattern: gray-5 black; mso-shading: white; padding: 0pt 5.4pt 0pt 5.4pt; width: 153.55pt;" width="205"><div class="MsoNormal" style="mso-yfti-cnfc: 64; tab-stops: decimal 70.0pt;">
<span lang="EN-GB" style="mso-ansi-language: EN-GB;">0.05</span></div>
</td>
<td style="background: #F2F2F2; border-bottom: solid white 2.25pt; border: none; mso-border-left-alt: solid white 2.25pt; mso-border-top-alt: solid white 2.25pt; mso-pattern: gray-5 black; mso-shading: white; padding: 0pt 5.4pt 0pt 5.4pt; width: 153.55pt;" width="205"><div class="MsoNormal" style="mso-yfti-cnfc: 64; tab-stops: decimal 70.0pt;">
<span lang="EN-GB" style="mso-ansi-language: EN-GB;">0.07</span></div>
</td>
</tr>
<tr style="mso-yfti-irow: 3;">
<td style="background: #CCCCCC; border-bottom: solid white 2.25pt; border-left: none; border-right: solid white 2.25pt; border-top: none; mso-border-top-alt: solid white 2.25pt; mso-pattern: gray-20 black; mso-shading: white; padding: 0pt 5.4pt 0pt 5.4pt; width: 153.5pt;" valign="top" width="205"><div class="MsoNormal" style="mso-yfti-cnfc: 128;">
<span lang="EN-GB" style="mso-ansi-language: EN-GB;">C. Applicants (low consequences of test
results)</span></div>
</td>
<td style="background: #CCCCCC; border-bottom: solid white 2.25pt; border-left: none; border-right: solid white 2.25pt; border-top: none; mso-border-left-alt: solid white 2.25pt; mso-border-top-alt: solid white 2.25pt; mso-pattern: gray-20 black; mso-shading: white; padding: 0pt 5.4pt 0pt 5.4pt; width: 153.55pt;" width="205"><div class="MsoNormal" style="mso-yfti-cnfc: 128; tab-stops: decimal 70.0pt;">
<span lang="EN-GB" style="mso-ansi-language: EN-GB;">0.43</span></div>
</td>
<td style="background: #CCCCCC; border-bottom: solid white 2.25pt; border: none; mso-border-left-alt: solid white 2.25pt; mso-border-top-alt: solid white 2.25pt; mso-pattern: gray-20 black; mso-shading: white; padding: 0pt 5.4pt 0pt 5.4pt; width: 153.55pt;" width="205"><div class="MsoNormal" style="mso-yfti-cnfc: 128; tab-stops: decimal 70.0pt;">
<span lang="EN-GB" style="mso-ansi-language: EN-GB;">0.28</span></div>
</td>
</tr>
<tr style="mso-yfti-irow: 4;">
<td style="background: #F2F2F2; border-bottom: solid white 2.25pt; border-left: none; border-right: solid white 2.25pt; border-top: none; mso-border-top-alt: solid white 2.25pt; mso-pattern: gray-5 black; mso-shading: white; padding: 0pt 5.4pt 0pt 5.4pt; width: 153.5pt;" valign="top" width="205"><div class="MsoNormal" style="mso-yfti-cnfc: 64;">
<span lang="EN-GB" style="mso-ansi-language: EN-GB;">D. Applicants (moderate consequences)</span></div>
</td>
<td style="background: #F2F2F2; border-bottom: solid white 2.25pt; border-left: none; border-right: solid white 2.25pt; border-top: none; mso-border-left-alt: solid white 2.25pt; mso-border-top-alt: solid white 2.25pt; mso-pattern: gray-5 black; mso-shading: white; padding: 0pt 5.4pt 0pt 5.4pt; width: 153.55pt;" width="205"><div class="MsoNormal" style="mso-yfti-cnfc: 64; tab-stops: decimal 70.0pt;">
0.56</div>
</td>
<td style="background: #F2F2F2; border-bottom: solid white 2.25pt; border: none; mso-border-left-alt: solid white 2.25pt; mso-border-top-alt: solid white 2.25pt; mso-pattern: gray-5 black; mso-shading: white; padding: 0pt 5.4pt 0pt 5.4pt; width: 153.55pt;" width="205"><div class="MsoNormal" style="mso-yfti-cnfc: 64; tab-stops: decimal 70.0pt;">
0.06</div>
</td>
</tr>
<tr style="mso-yfti-irow: 5;">
<td style="background: #CCCCCC; border-bottom: solid white 2.25pt; border-left: none; border-right: solid white 2.25pt; border-top: none; mso-border-top-alt: solid white 2.25pt; mso-pattern: gray-20 black; mso-shading: white; padding: 0pt 5.4pt 0pt 5.4pt; width: 153.5pt;" valign="top" width="205"><div class="MsoNormal" style="mso-yfti-cnfc: 128;">
<span lang="EN-GB" style="mso-ansi-language: EN-GB;">E. Applicants (high-stakes testing)</span></div>
</td>
<td style="background: #CCCCCC; border-bottom: solid white 2.25pt; border-left: none; border-right: solid white 2.25pt; border-top: none; mso-border-left-alt: solid white 2.25pt; mso-border-top-alt: solid white 2.25pt; mso-pattern: gray-20 black; mso-shading: white; padding: 0pt 5.4pt 0pt 5.4pt; width: 153.55pt;" width="205"><div class="MsoNormal" style="mso-yfti-cnfc: 128; tab-stops: decimal 70.0pt;">
0.73</div>
</td>
<td style="background: #CCCCCC; border-bottom: solid white 2.25pt; border: none; mso-border-left-alt: solid white 2.25pt; mso-border-top-alt: solid white 2.25pt; mso-pattern: gray-20 black; mso-shading: white; padding: 0pt 5.4pt 0pt 5.4pt; width: 153.55pt;" width="205"><div class="MsoNormal" style="mso-yfti-cnfc: 128; tab-stops: decimal 70.0pt;">
0.11</div>
</td>
</tr>
<tr style="mso-yfti-irow: 6;">
<td style="background: #F2F2F2; border-bottom: solid white 2.25pt; border-left: none; border-right: solid white 2.25pt; border-top: none; mso-border-top-alt: solid white 2.25pt; mso-pattern: gray-5 black; mso-shading: white; padding: 0pt 5.4pt 0pt 5.4pt; width: 153.5pt;" valign="top" width="205"><div class="MsoNormal" style="mso-yfti-cnfc: 64;">
Effect size (eta<sup>2</sup>)</div>
</td>
<td style="background: #F2F2F2; border-bottom: solid white 2.25pt; border-left: none; border-right: solid white 2.25pt; border-top: none; mso-border-left-alt: solid white 2.25pt; mso-border-top-alt: solid white 2.25pt; mso-pattern: gray-5 black; mso-shading: white; padding: 0pt 5.4pt 0pt 5.4pt; width: 153.55pt;" valign="top" width="205"><div class="MsoNormal" style="mso-yfti-cnfc: 64; tab-stops: decimal 70.0pt;">
0.147</div>
</td>
<td style="background: #F2F2F2; border-bottom: solid white 2.25pt; border: none; mso-border-left-alt: solid white 2.25pt; mso-border-top-alt: solid white 2.25pt; mso-pattern: gray-5 black; mso-shading: white; padding: 0pt 5.4pt 0pt 5.4pt; width: 153.55pt;" valign="top" width="205"><div class="MsoNormal" style="mso-yfti-cnfc: 64; tab-stops: decimal 70.0pt;">
0.006</div>
</td>
</tr>
<tr style="mso-yfti-irow: 7; mso-yfti-lastrow: yes;">
<td style="background: #CCCCCC; border-right: solid white 2.25pt; border: none; mso-border-top-alt: solid white 2.25pt; mso-pattern: gray-20 black; mso-shading: white; padding: 0pt 5.4pt 0pt 5.4pt; width: 153.5pt;" valign="top" width="205"><div class="MsoNormal" style="mso-yfti-cnfc: 128;">
One-way ANOVA</div>
</td>
<td style="background: #CCCCCC; border-right: solid white 2.25pt; border: none; mso-border-left-alt: solid white 2.25pt; mso-border-top-alt: solid white 2.25pt; mso-pattern: gray-20 black; mso-shading: white; padding: 0pt 5.4pt 0pt 5.4pt; width: 153.55pt;" valign="top" width="205"><div class="MsoNormal" style="mso-yfti-cnfc: 128; tab-stops: decimal 70.0pt;">
F(4,1638)
= 70.693,<i style="mso-bidi-font-style: normal;"> p</i> < 0.0005</div>
</td>
<td style="background: #CCCCCC; border: none; mso-border-left-alt: solid white 2.25pt; mso-border-top-alt: solid white 2.25pt; mso-pattern: gray-20 black; mso-shading: white; padding: 0pt 5.4pt 0pt 5.4pt; width: 153.55pt;" valign="top" width="205"><div class="MsoNormal" style="mso-yfti-cnfc: 128; tab-stops: decimal 70.0pt;">
F(4,1828)
= 2.763,<i style="mso-bidi-font-style: normal;"> p </i>= 0.026</div>
</td>
</tr>
</tbody></table>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal">
<span lang="EN-GB" style="mso-ansi-language: EN-GB;">Note that the effect size decreased to about 5 %. </span><br />
<br />
<span lang="EN-GB" style="mso-ansi-language: EN-GB;">In other
work on leader effectiveness, using 360 degrees feedback as criterion, I found
that the validities of the test scales increased after correction for SD according
to the same method <span style="mso-no-proof: yes;">(Sjöberg, Bergman, Lornudd,
& Sandahl, 2011)</span>, see Fig. 3. </span></div>
<div class="MsoNormal">
<br /></div>
<div class="separator" style="clear: both; text-align: center;">
</div>
<div class="MsoNormal">
<table align="center" cellpadding="0" cellspacing="0" class="tr-caption-container" style="margin-left: auto; margin-right: auto; text-align: center;"><tbody>
<tr><td style="text-align: center;"><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiFs93nufj5an0pwkBNcg4NxXlTqBtTgR9aRZ6yiFK6aBiFBZ3K6bBT89sJShWy2hvB9BQY59nvUUTqD5tp2Bxk1ehHyGN9rttcj9xsnh9M_C8TKPKeK5OcDgM4aZvhnYYF4tn1Smyt7IA/s1600/bef+after.JPG" imageanchor="1" style="margin-left: auto; margin-right: auto;"><img border="0" height="203" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiFs93nufj5an0pwkBNcg4NxXlTqBtTgR9aRZ6yiFK6aBiFBZ3K6bBT89sJShWy2hvB9BQY59nvUUTqD5tp2Bxk1ehHyGN9rttcj9xsnh9M_C8TKPKeK5OcDgM4aZvhnYYF4tn1Smyt7IA/s320/bef+after.JPG" width="320" /></a></td></tr>
<tr><td class="tr-caption" style="text-align: center;">Fig. 3. Validities of uncorrected and corrected persnality scales</td></tr>
</tbody></table>
<br /></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal">
<span lang="EN-GB" style="mso-ansi-language: EN-GB;">In
conclusion, a simple method for correction for faking has been found to
successfully remove about 95 % of the variance due to SD in test responses, and
such a method increased the validity of the test scores against an external
criterion. </span><br />
<br />
<span lang="EN-GB">It is often argued that SD scales really measure "personality", such as need for approval, and not a tendency to distort responses. However, the present results strongly refute this view. It is very plausible that different levels of consequences of testing should lead to different levels of motivation for impression management, but unlikely that they should result in different levels of some personality dimension such as need for approval. </span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal">
<i style="mso-bidi-font-style: normal;"><span lang="EN-GB" style="mso-ansi-language: EN-GB;">References</span></i></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB" style="mso-ansi-language: EN-GB; mso-no-proof: yes;">Bangerter, A.,
Roulin, N., & König, C. J. (2012). Personnel selection as a signaling game.
[doi:10.1037/a0026078]. <i style="mso-bidi-font-style: normal;">Journal of
Applied Psychology, 97</i>, 719-738.</span></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB" style="mso-ansi-language: EN-GB; mso-no-proof: yes;">Crowne, D. P.,
& Marlowe, D. (1960). A new scale of social desirability independent of
psychopathology. <i style="mso-bidi-font-style: normal;">Journal of Consulting
and Clinical Psychology, 24</i>, 349-354.</span></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB" style="mso-ansi-language: EN-GB; mso-no-proof: yes;">Fan, J., Gao, D.,
Carroll, S. A., Lopez, F. J., Tian, T. S., & Meng, H. (2012). Testing the
efficacy of a new procedure for reducing faking on personality tests within
selection contexts. [doi:10.1037/a0026655]. <i style="mso-bidi-font-style: normal;">Journal
of Applied Psychology, 97</i>, 866-880.</span></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB" style="mso-ansi-language: EN-GB; mso-no-proof: yes;">Sjöberg, L.
(2010/2012). <i style="mso-bidi-font-style: normal;">A third generation
personality test</i> (SSE/EFI Working Paper Series in Business Administration
No. 2010:3). Stockholm: Stockholm School of Economics.</span></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB" style="mso-ansi-language: EN-GB; mso-no-proof: yes;">Sjöberg, L., Bergman,
D., Lornudd, C., & Sandahl, C. (2011). <i style="mso-bidi-font-style: normal;">Sambandet
mellan ett personlighetstest och 360-graders bedömningar av chefer i hälso- och
sjukvården</i>. (Relationship between a personality test and 360 degrees judgments of health care managers). Stockholm: Karolinska Institute, Institutionen för lärande,
informatik, management och etik (LIME).</span></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<br /></div>
Lennart Sjöberghttp://www.blogger.com/profile/16238631297369469848noreply@blogger.com0tag:blogger.com,1999:blog-1503266656125339761.post-84332751515792590312012-08-14T02:58:00.002-07:002012-08-14T02:58:46.403-07:00Validity of integrity tests
<br />
<div class="MsoNormal">
<span lang="EN" style="mso-ansi-language: EN;">Traditionally the
view has been that integrity tests (actually honesty tests) have very high
validity, based on an early meta-analysis (Ones, Viswesvaran, & Schmidt,
1993). </span><span title="En del skeptiska kommentarer har pekat på att en stor del av de studier denna analys byggde på ej var publicerade utan kom direkt från rapporter från testleverantörerna.">Some
skeptical comments have pointed out that many of the studies in this
meta-analysis came directly from reports from test vendors. </span><span title="Ändå har det blivit en etablerad sanning, och en grundval för en hel industri som producerar integritetstestningar, utifrån Schmidt och Hunter (1998) som skrev att g-faktorn + integritet är den bästa grunden för prognos av arbetsresultat.">Yet
the high validity of integrity tests it has become an established truth, and a
basis for an entire industry producing integrity tests, based on Schmidt and
Hunter (1998) who wrote that the g-factor + integrity is the best basis for
prediction of work performance. </span><span title="Det är nog fel.">This is
probably wrong.<br />
<br />
</span><span title="En aktuell och uppdaterad meta-analys visar tydligt att validiteterna hos integritetstesten inte är högre än 0.2, kanske så låga som 0.1 (Van Iddekinge, Roth, Raymark, & Odle-Dusseau, 2012a, 2012b), tom om de är korrigerade för mätfel i">A
current and updated meta-analysis clearly shows that validities of integrity
tests are not higher than 0.2, perhaps as low as 0.1 (Van Iddekinge, Roth,
Raymark, & Odle-Dusseau, 2012a, 2012b), even if they are corrected for
measurement error in </span><span title="kriterierna och begränsad spridning i testen.">criteria and range
restriction in the test. </span><span title="De tidigare uppskattningarna låg på nivån 0.4, alltså högre än de vanliga personlighetstesten.">The
earlier estimates were at level 0.4, i.e. higher than the standard personality
test. </span><span title="Det tycks som om skeptikerna har haft rätt: de höga validiteterna kommer från testleverantörernas egen information, oberoende forskning bekräftar den inte.">It
appears now that the skeptics have been right: the high validities come from
test providers' own information, independent research does not confirm therm. </span><span title="Ett ganska högt värde på validiteten kan man få mot självskattningar av kontraproduktivt beteende i jobbet, men detta är ganska ointressant.">A
rather high value of validity can be obtained with self-ratings of
counterproductive behavior at work, but this is not very interesting. </span></div>
<span title="Skattningar av andra som kriterium ger validiteter om kring 0.1.">
<div class="MsoNormal">
<span lang="EN" style="mso-ansi-language: EN;"><br />
</span><span title="Detta är ett exempel på att tidiga meta-analyser kan leda fel.">This is
an example of how early meta-analysis can result in errors. </span><span title="Van Iddekinge et al.">Van Iddekinge et al. </span><span title="har gjort ett enormt ambitiöst arbete.">have published a very <span style="mso-spacerun: yes;"> </span>ambitious project. </span><span title="Resultatet är tydligt.">The result is clear. </span><span title="Integritetstest tycks inte ha nämnvärt praktiskt värde.">Integrity test
seems not to have significant practical value. </span><span title="Och då har vi inte ens diskuterat att sådana test, liksom alla, kan fejkas.">And
then we have not even discussed that such tests can easily be faked..<br />
<br />
</span><i style="mso-bidi-font-style: normal;"><span title="Referenser">References<br />
</span></i><br />
<span title="Ones, DS, Viswesvaran, C., & Schmidt, FL (1993).">One,
DS, Viswesvaran, C., & Schmidt,
FL (1993). </span><span title="Comprehensive meta-analysis of integrity test validities: findings and implications for personnel selection and theories of job performance.">Comprehensive
meta-analysis of integrity test validities: findings and implications for
personnel selection and theories of job performance. </span><i style="mso-bidi-font-style: normal;"><span title="Journal of Applied Psychology Monograph, 78, 679-703.">Journal of
Applied Psychology Monograph, 78</span></i>, 679-703.</div>
<div class="MsoNormal">
<span lang="EN" style="mso-ansi-language: EN;"><br />
</span><span title="Schmidt, F. L., & Hunter, J. E. (1998).">Schmidt, F. L.
& Hunter, J. E. (1998). </span><span title="The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings.">The
validity and utility of selection methods in personnel psychology: Practical
and theoretical implications of 85 years of research findings. </span><i style="mso-bidi-font-style: normal;"><span title="Psychological Bulletin, 124, 262-274.">Psychological Bulletin, 124,</span></i>
262-274.</div>
<div class="MsoNormal">
<span lang="EN" style="mso-ansi-language: EN;"><br />
</span><span title="Van Iddekinge, CH, Roth, PL, Raymark, PH, & Odle-Dusseau, HN (2012a).">Van
Iddekinge, CH, Roth, PL, Raymark, PH, & Odle-Dusseau, HN (2012a). </span><span title="The criterion-related validity of integrity tests: An updated meta-analysis.">The
criterion-related validity of integrity tests: An updated meta-analysis. </span><span title="[doi:10.1037/a0021196].">[Doi: 10.1037/a0021196].<i style="mso-bidi-font-style: normal;"> </i></span><i style="mso-bidi-font-style: normal;"><span title="Journal of Applied Psychology, 97(3), 499-530.">Journal
of Applied Psychology, 97</span></i> (3), 499-530.</div>
<div class="MsoNormal">
<span lang="EN" style="mso-ansi-language: EN;"><br />
</span><span title="Van Iddekinge, CH, Roth, PL, Raymark, PH, & Odle-Dusseau, HN (2012b).">Van
Iddekinge, CH, Roth, PL, Raymark, PH, & Odle-Dusseau, HN (2012b). </span><span title="The critical role of the research question, inclusion criteria, and transparency in meta-analyses of integrity test research: A reply to Harris et al.">The
critical role of the research question, inclusion criteria the, and
transparency in meta-Analyses of integrity test research: A reply to Harris et
al. </span><span title="(2012) and Ones, Viswesvaran, and Schmidt (2012).">(2012)
and Ones, Viswesvaran, and Schmidt (2012). </span><span title="[doi:10.1037/a0026551].">[Doi: 10.1037/a0026551]. </span><i style="mso-bidi-font-style: normal;"><span title="Journal of Applied Psychology, 97(3), 543-549.">Journal of Applied
Psychology, 97 </span></i>(3), 543-549.<span lang="EN-GB" style="mso-ansi-language: EN-GB;"></span></div>
</span>Lennart Sjöberghttp://www.blogger.com/profile/16238631297369469848noreply@blogger.com0tag:blogger.com,1999:blog-1503266656125339761.post-7859509765526142012012-08-10T07:50:00.000-07:002012-08-10T07:52:32.023-07:00Optimal combination of personality and intelligence<br />
<div class="MsoNormal">
<span lang="EN-GB" style="mso-ansi-language: EN-GB;">Personality
and intelligence are both related to job performance, but how should they be
weighted for optimal results? The most straightforward approach is a linear
combination, and indeed there is little evidence for other types of models.
Once this is decided the final question is what weights should be given to the
two types of information, in order to maximize predictive efficiency. It is
well-known that they tend to be uncorrelated, hence the crucial question is how
valid they are in relation to job performance criteria. Intelligence, or GMA
(the <i style="mso-bidi-font-style: normal;">g</i> factor) correlates around 0.6
with job performance <span style="mso-no-proof: yes;">(Schmidt &
Hunter, 1998)</span>. "Personality" is a less stringent term, and
could mean many things. However, I shall take personality as referring to an
optimal index of subscales, and such indices have been found to correlate
around 0.55 with job performance <span style="mso-no-proof: yes;">(de Colli,
2011; Sjöberg, 2010; Sjöberg, Bergman, Lornudd, & Sandahl, 2011)</span>, after
correction for measurement errors in criteria and range restriction in the
independent variable <span style="mso-no-proof: yes;">(Schmidt, Shaffer,
& Oh, 2008)</span>. <i style="mso-bidi-font-style: normal;">Hence,
intelligence and personality, in this sense, are equally efficient as
predictors and an evidence-based strategy is to treat them that way, with equal
weights. </i></span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal">
<span lang="EN-GB" style="mso-ansi-language: EN-GB;">It should
be noted that the usual Big Five dimensions are much weaker predictors of job
performance, as shown in a number of meta-analyses <span style="mso-no-proof: yes;">(Barrick, Mount, & Judge, 2001)</span>. To get an efficient
personality predictor it is necessary to form an index based on focused and
narrow scales <span style="mso-no-proof: yes;">(Bergner, Neubauer, &
Kreuzthaler, 2010; Christiansen & Robie, 2011; Sjöberg, 2010/2012)</span>.
Big Five personality tests are not sufficient for optimal prediction of job
performance. </span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal">
<i style="mso-bidi-font-style: normal;"><span lang="EN-GB" style="mso-ansi-language: EN-GB;">References</span></i></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB" style="mso-ansi-language: EN-GB; mso-no-proof: yes;">Barrick, M. R., Mount,
M. K., & Judge, T. A. (2001). Personality and performance at the beginning
of the new millennium: What do we know and where do we go next? <i style="mso-bidi-font-style: normal;">International Journal of Selection and
Assessment, 9</i>, 9-30.</span></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB" style="mso-ansi-language: EN-GB; mso-no-proof: yes;">Bergner, S.,
Neubauer, A. C., & Kreuzthaler, A. (2010). Broad and narrow personality
traits for predicting managerial success. [doi:10.1080/13594320902819728]. <i style="mso-bidi-font-style: normal;">European Journal of Work and Organizational
Psychology, 19</i>, 177-199.</span></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB" style="mso-ansi-language: EN-GB; mso-no-proof: yes;">Christiansen, N.
D., & Robie, C. (2011). Further consideration of the use of narrow trait
scales. [doi:10.1037/a0023069]. <i style="mso-bidi-font-style: normal;">Canadian
Journal of Behavioural Science/Revue canadienne des sciences du comportement,
43</i>, 183-194.</span></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB" style="mso-ansi-language: EN-GB; mso-no-proof: yes;">de Colli, D.
(2011). <i style="mso-bidi-font-style: normal;">Ett nytt svenskt
arbetspsykologiskt test och arbetsprestation inom polisen – samtidig validitet</i>:
Mälardalens högskola, Akademin för hållbar samhälls- och teknikutveckling.</span></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB" style="mso-ansi-language: EN-GB; mso-no-proof: yes;">Schmidt, F. L.,
& Hunter, J. E. (1998). The validity and utility of selection methods in
personnel psychology: Practical and theoretical implications of 85 years of
research findings. <i style="mso-bidi-font-style: normal;">Psychological
Bulletin, 124</i>, 262-274.</span></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB" style="mso-ansi-language: EN-GB; mso-no-proof: yes;">Schmidt, F. L.,
Shaffer, J. A., & Oh, I.-S. (2008). Increased accuracy for range
restriction corrections: Implications for the role of personality and general
mental ability in job and training performance. <i style="mso-bidi-font-style: normal;">Personnel Psychology, 61</i>, 827-868.</span></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB" style="mso-ansi-language: EN-GB; mso-no-proof: yes;">Sjöberg, L. (2010).
<i style="mso-bidi-font-style: normal;">Upp-testet och kundservice:
Kriteriestudie. Forskningsrapport 2010:6</i>. Stockholm: Psykologisk Metod AB.</span></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB" style="mso-ansi-language: EN-GB; mso-no-proof: yes;">Sjöberg, L.
(2010/2012). <i style="mso-bidi-font-style: normal;">A third generation
personality test</i> (SSE/EFI Working Paper Series in Business Administration
No. 2010:3). Stockholm: Stockholm School of Economics.</span></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB" style="mso-ansi-language: EN-GB; mso-no-proof: yes;">Sjöberg, L.,
Bergman, D., Lornudd, C., & Sandahl, C. (2011). <i style="mso-bidi-font-style: normal;">Sambandet mellan ett personlighetstest och 360-graders bedömningar av
chefer i hälso- och sjukvården</i>. Stockholm: Karolinska Institutet,
Institutionen för lärande, informatik, management och etik (LIME).</span></div>Lennart Sjöberghttp://www.blogger.com/profile/16238631297369469848noreply@blogger.com0tag:blogger.com,1999:blog-1503266656125339761.post-28684377295099863932012-07-21T02:40:00.002-07:002012-07-23T02:48:39.228-07:00Job interest and performance: a revised view<br />
<div class="MsoNormal">
<span lang="EN-GB"><br /></span></div>
<div class="MsoNormal">
<span lang="EN-GB">Is job
interest of any importance to job performance? It seems very likely that it
should be, but as pointed out by Nye et al. (Nye,
Su, Rounds, & Drasgow, 2012), "interest measures are generally
ignored in the employee selection literature" (p. 384). Part of the reason
seems to be that previous meta-analytic work reported a very low correlation
between interest and performance, only about 0.1 (Hunter & Hunter, 1984). However, Nye at al. criticized the
often cited meta-analysis published by Hunter and Hunter and conducted a very extensive
new analysis of the relation between interest and performance. They came up
with a different conclusion: for studies where the interest scales matched the
character of the jobs, the estimated correlation was 0.36, after correction for
measurement errors and indirect range restriction. They concluded that interest
should be considered in selection contexts. </span><br />
<br />
<span lang="EN-GB">This is not the only example showing that earlier meta analyses of the effectiveness of predictors of job performance may be quite misleading. A recent publication on integrity tests by van Iddekinge et al. (2012) showed that earlier meta analytic work (Ones et al., 1993), cited by Hunter and Hunter, grossly over-estimated the validity of integrity tests.</span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal">
<span lang="EN-GB">The recent Nye at al. work is
undoubtedly very important. However, even stronger results can probably be
obtained with <i style="mso-bidi-font-style: normal;">specific</i> interest
measures. Vocational interest does not measure interest in a specific job, but
in a class of jobs. In the <i style="mso-bidi-font-style: normal;">UPP</i> test,
we measure routinely interest in the specific job under consideration, either
in selection or in various types of follow-up. As an example, data from a study
of employees in customer service in a finance company (Sjöberg, 2010) was re-analyzed. The correlation between<i style="mso-bidi-font-style: normal;"> job</i> (not vocational) interest and
supervisor rated performance on core job tasks was 0.55, after correction for
measurement error and indirect range restriction. The specific interest measure
is proximal to job performance, while vocational interest is distal, hence it
should be expected to have a lower correlation. </span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal">
<span lang="EN-GB">What
creates interest (Sjöberg, 2006)? For a
given task content, optimal challenge may be the answer to the question.
Interests are also probably somewhat elastic, i.e. you may develop a new
interest under favorable circumstances (support, optimal challenge). Maybe one
should try measure not only interest but also potential for developing
interest. In a selection situation, it must be expected that interest scores
are contaminated with impression management, and there is a need to correct for
that factor. Alternatively, indirect measurement can be attempted, such as
knowledge of facts. People who are strongly interested inform themselves about
a job or area of study, hence know more. I tried this idea in the selection of
applicants to the Stockholm School of Economics, with some success. </span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal">
<i style="mso-bidi-font-style: normal;"><span lang="EN-GB">References</span></i></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB">Hunter, J. E.,
& Hunter, R. F. (1984). Validity and utility of alternative predictors of
job performance. <i style="mso-bidi-font-style: normal;">Psychological Bulletin,
96</i>, 72-98.</span></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB">Nye, C. D., Su, R.,
Rounds, J., & Drasgow, F. (2012). Vocational interests and performance: A
quantitative summary of over 60 years of research. <i style="mso-bidi-font-style: normal;">Perspectives on Psychological Science, 7</i>(4), 384-403.</span><br />
<span lang="EN-GB">Ones, D. S., Viswesvaran, C., & Schmidt, F. L. (1993). Comprehensive meta-analysis of integrity test validities: findings and implications for personnel selection and theories of job performance. <i>Journal of Applied Psychology Monograph, 78</i>, 679-703. </span><br />
<span lang="EN-GB">Van Iddekinge, C. H., Roth, P. L., Raymark, P. H., & Odle-Dusseau, H. N. (2012). The criterion-related validity of integrity tests: An updated meta-analysis. [doi:10.1037/a0021196]. <i>Journal of Applied Psychology, 97</i>(3), 499-530. </span></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB">Sjöberg, L. (2006).
What makes something interesting? (Review of the book, Exploring the psychology
of interest by Paul J. Silvia). <i style="mso-bidi-font-style: normal;">PsycCRITIQUES,
51 (46, Article 4)</i>, No Pagination Specified.</span></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB">Sjöberg, L. (2010).
<i style="mso-bidi-font-style: normal;">UPP-testet och kundservice:
Kriteriestudie. (The UPP test and customer service: A criterion study). Forskningsrapport 2010:6</i>. Stockholm: Psykologisk Metod AB. </span><br />
<span lang="EN-GB">Sjöberg, L. (2010/2012). A third generation personality test (SSE/EFI Working Paper Series in Business Administration No. 2010:3). Stockholm: Stockholm School of Economics.<br /><a href="http://www.psykologisk-metod.se/files/A_third_generation_personality_test_noc_Copy.pdf">Click here,</a> </span></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<br /></div>Lennart Sjöberghttp://www.blogger.com/profile/16238631297369469848noreply@blogger.com0tag:blogger.com,1999:blog-1503266656125339761.post-55701631687417332082012-07-19T09:10:00.000-07:002012-07-19T13:00:24.992-07:00Dealing with test complexity<br />
<h2>
<span lang="EN-GB"><br /></span></h2>
<span lang="EN-GB">People have a limited
ability to make complex judgments without the support of computers and explicit
decision rules. This fact has been well-known for many years. An often cited
classic is a paper by Miller </span><span lang="EN-GB"> [12] </span><span lang="EN-GB">. Expert judgments of many kinds,
including the assessment of job applicants, have confirmed this general
principle </span><span lang="EN-GB"> [3; 8] </span><span lang="EN-GB">. There are some interesting
exceptions in special cases, if the experts get fast and clear feedback based
on valid theory </span><span lang="EN-GB"> [9] </span><span lang="EN-GB">. These conditions are rarely present in the
assessment of job applicants. <br />
<br />
It is usual for judges to come to different conclusions if the information they
use is complex and extensive - a common situation. Furthermore, assessments
tend to vary over time. At the same time that we have these limitations in our
judgment capacity, we have a tendency to fall prey to an illusion. The more
information we get, the more confident we are - but beyond a modest limit,
judgments become worse as in formation increases. See Fig. 1. </span><br />
<div class="separator" style="clear: both; text-align: center;">
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEj_7yp6v8UFAoAxM6y4kozX8n2KNGBV_97J63Fv7Lpt3SuDfPAJUvPXfD9AUF54yxwg9ttST8BZaUX_gECate8OHiPHuppOinZ-ENHG9ibb3D9grof_feRzHnXmdcYqgvgudIZ__JZIix8/s1600/forer.JPG" imageanchor="1" style="clear: left; float: left; margin-bottom: 1em; margin-right: 1em;"><img border="0" height="300" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEj_7yp6v8UFAoAxM6y4kozX8n2KNGBV_97J63Fv7Lpt3SuDfPAJUvPXfD9AUF54yxwg9ttST8BZaUX_gECate8OHiPHuppOinZ-ENHG9ibb3D9grof_feRzHnXmdcYqgvgudIZ__JZIix8/s400/forer.JPG" width="400" /></a></div>
<div align="center" style="page-break-after: avoid; text-align: center;">
<br />
<span lang="EN-GB"></span></div>
<div align="center" class="MsoCaption" style="text-align: center;">
<span lang="EN-GB">Figure 1. Decision quality as a function of amount of
information. </span></div>
<div align="center" class="MsoCaption" style="text-align: center;">
<br /></div>
<span lang="EN-GB">Most personality tests give
a complicated picture of a person. This is reasonable since everyone "knows"
that people are complicated. Popular tests provide results for 30-40
dimensions. It is likely that such abundance of information is popular due to
the information illusion discussed above. More information makes us more confident. Research
has, however, shown that explicit rules for combining formation gives better
results. Such a rule can simply be based on the decision maker's own systematic
strategy, so-called boot-strapping </span><span lang="EN-GB"> [7] </span><span lang="EN-GB">, or explicitly judged importance
weights. The use of weights is an effective way of answering the question: "How
do I interpret this test result?" The alterative approach is use a
holistic evaluation based on the pattern of results. Holism has traditionally
had a strong position in the interpretation of test results, but it cannot be
justified on empirical and scientific grounds </span><span lang="EN-GB"> [14] </span><span lang="EN-GB">. </span><br />
<br />
<span lang="EN-GB">Subjective interpretation
typically results in narrative texts which may be very credible, due to a
number of psychological factors. Such factors have been discussed as enabling
"cold reading", i.e. credible inferences about a person, which lack
factual basis </span><span lang="EN-GB"> [13] </span><span lang="EN-GB">. Historical examples show how
credibility of the Rorschach test was established by "wizards" who could seemingly
produce surprisingly correct statements about a person on the basis of
responses to that test </span><span lang="EN-GB"> [18] </span><span lang="EN-GB">, in spite of the fact that this
test, as well as other projective techniques have been found to lack validity </span><span lang="EN-GB"> [6; 10] </span><span lang="EN-GB">. I give two examples of research,
which illustrate how illusory credibility may be established. </span><br />
<i style="mso-bidi-font-style: normal;"><span lang="EN-GB">The Forer effect.</span></i><span lang="EN-GB"> Flattering texts, which are full of statements which are generally
true and which say "both A and its
Opposite B" are perceived as very
accurate. Forer showed this in a classic study a long time ago </span><span lang="EN-GB"> [5] </span><span lang="EN-GB">; results which have been replicated
many times </span><span lang="EN-GB"> [4; 16] </span><span lang="EN-GB">. </span><br />
<br />
<div class="MsoNormal">
<span lang="EN-GB">Forer gave
a group of students a "test" which he said would reveal their
personalities. After some time a returned with narrative texts said to be based
on the responses to the test. Each students got his or her text, but they were
all the same. They were asked to judge how well the texts described their
personalities. About 90 % said that the texts fitted very well. Here is what
they got (typical astronomical texts): </span></div>
<div align="center" class="MsoNormal" style="margin-left: 18.0pt; text-align: center;">
<br /></div>
<div class="MsoNormal" style="margin-left: 18.0pt;">
<i style="mso-bidi-font-style: normal;"><span lang="EN-GB">"You have a need for other people to like and admire you, and yet
you tend to be critical of yourself. While you have some personality weaknesses
you are generally able to compensate for them. You have considerable unused
capacity that you have not turned to your advantage. Disciplined and
self-controlled on the outside, you tend to be worrisome and insecure on the
inside. At times you have serious doubts as to whether you have made the right
decision or done the right thing. You prefer a certain amount of change and
variety and become dissatisfied when hemmed in by restrictions and limitations.
You also pride yourself as an independent thinker; and do not accept others'
statements without satisfactory proof. But you have found it unwise to be too
frank in revealing yourself to others. At times you are extroverted, affable,
and sociable, while at other times you are introverted, wary, and reserved. Some
of your aspirations tend to be rather unrealistic.</span></i><i style="mso-bidi-font-style: normal;"><span lang="EN-GB"> "</span></i></div>
<div class="MsoNormal" style="margin-left: 18.0pt;">
<br /></div>
<div class="MsoNormal">
<span lang="EN-GB">MBTI and
PPA excel in using statements of this type , and they provide popular reading
for those who have taken the tests. They are perceived to be almost perfectly
accurate and to give self insights, but they simply flatter </span><span lang="EN-GB"> [15] </span><span lang="EN-GB"> and/or confirm already existing self beliefs. Once
credibility is established the tester can give important advice about selection,
team composition and personal development. No research exists, which shows such
advice to be useful, but since the test report is so persuasive the advice is
probably also believed. </span></div>
<div class="MsoNormal">
<span lang="EN-GB"><br />
The<i style="mso-bidi-font-style: normal;"> "Draw-a-man"-effect". </i>The
draw-a-man test is credible to many users although it has no demonstrated
validity </span><span lang="EN-GB"> [17] </span><span lang="EN-GB">. This is because of common-sense
thinking about what various aspect of a drawing could mean. Example: large
muscles mean problem with male self-image, large eyes imply paranoid
tendencies, etc. Inn addition, there is selective
memory of cases which supported these speculations, the others are forgotten or
explained away </span><span lang="EN-GB"> [1; 2] </span><span lang="EN-GB">. </span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal">
<span lang="EN-GB">The <i style="mso-bidi-font-style: normal;">UPP </i>test deals with complexity with
aggregate variables, which are linear composites of selected subscales.
Extensive research, over a period of 50 years,
has shown that this approach is superior to subjective integration of information
</span><span lang="EN-GB"> [8; 11] </span><span lang="EN-GB">. For a reveiew of work on <i>UPP</i>, click <a href="http://www.psykologisk-metod.se/files/A_third_generation_personality_test_noc_Copy.pdf">here.</a></span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal">
<b style="mso-bidi-font-weight: normal;"><i style="mso-bidi-font-style: normal;"><span lang="EN-GB">References</span></i></b></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB">[1]. Chapman, L. J., & Chapman, J. P.
(1967). Genesis of popular but erroneous psychodiagnostic observations. <i style="mso-bidi-font-style: normal;">Journal of Abormal Psychology, 73</i>,
193-204.</span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB">[2]. Chapman, L.
J., & Chapman, J. P. (1969). Illusory correlation as an obstacle to the use
of valid psychodiagnostic signs. <i style="mso-bidi-font-style: normal;">Journal
of Abnormal Psychology, 74</i>, 271-280.</span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB">[3]. Dawes, R. M.,
Faust, D., & Meehl, P. E. (1989). Clinical versus actuarial judgment. <i style="mso-bidi-font-style: normal;">Science, 243</i>, 1668-1674.</span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB">[4]. Dickson, D.
H., & Kelly, I. W. (1985). The 'Barnum Effect in Personality Assessment: A
Review of the Literature. <i style="mso-bidi-font-style: normal;">Psychological
Reports 57</i>, 367-382.</span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB">[5]. Forer, B. R.
(1949). The fallacy of personal validation: a classroom demonstration of
gullibility. <i style="mso-bidi-font-style: normal;">Journal of Abnormal &
Social Psychology, 44</i>, 118-123.</span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB">[6]. Garb, H. N.,
Lilienfeld, S. O., & Wood, J. M. (2004). Projective techniques and
behavioral assessment. In S. N. Haynes & E. M. Heiby (Eds.), <i style="mso-bidi-font-style: normal;">Comprehensive handbook of psychological
assessment, Vol. 3: Behavioral assessment</i> (pp. 453-469). Hoboken, NJ, US:
John Wiley & Sons Inc.</span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB">[7]. Goldberg, L.
R. (1970). Man versus model of man: A rationale plus some evidence for a method
of improving clinical inferences. <i style="mso-bidi-font-style: normal;">Psychological
Bulletin, 73</i>, 422-432.</span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB">[8]. Grove, W. M.,
& Meehl, P. E. (1996). Comparative efficiency of informal (subjective,
impressionistic) and formal (mechanical, algorithmic) prediction procedures:
The clinical-statistical controversy. <i style="mso-bidi-font-style: normal;">Psychology,
Public Policy, and Law, 2</i>, 293-323.</span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB">[9]. Kahneman, D.,
& Klein, G. (2009). Conditions for intuitive expertise: A failure to
disagree. [doi:10.1037/a0016755]. <i style="mso-bidi-font-style: normal;">American
Psychologist, 64</i>, 515-526.</span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB">[10]. Lilienfeld,
S. O., Wood, J. M., & Garb, H. N. (2000). The scientific status of
projective techniques. <i style="mso-bidi-font-style: normal;">Psychological
Science in the Public Interest, 1</i>, 27-66.</span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB">[11]. Meehl, P. E.
(1954). <i style="mso-bidi-font-style: normal;">Clinical versus statistical
prediction: A theoretical analysis and a review of the evidence</i>.
Minneapolis: University of Minnesota Press.</span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB">[12]. Miller, G. A.
(1956). The magical number seven, plus or minus two: Some limits on our capacity
for processing information. <i style="mso-bidi-font-style: normal;">Psychological
Review, 63</i>, 81-97.</span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB">[13]. Rowland, I.
(2005). <i style="mso-bidi-font-style: normal;">The full facts book of cold
reading, 4th edition</i>. London: Full Facts Books.</span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB">[14]. Ruscio, J.
(2002). The emptiness of holism. <i style="mso-bidi-font-style: normal;">Skeptical
Inquirer, 26</i>, 46-50.</span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB">[15]. Thiriart, P.
(1991). Acceptance of personality test results. <i style="mso-bidi-font-style: normal;">Skeptical Inquirer, 15</i>, 166-172.</span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB">[16]. Trankell, A.
(1961). <i style="mso-bidi-font-style: normal;">Magi och förnuft i
människobedömning</i>. Stockholm: Bonnier.</span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB">[17]. Willcock, E.,
Imuta, K., & Hayne, H. (2011). Children’s human figure drawings do not
measure intellectual ability. [doi:10.1016/j.jecp.2011.04.013]. <i style="mso-bidi-font-style: normal;">Journal of Experimental Child Psychology,
110</i>, 444-452.</span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<span lang="EN-GB">[18]. Wood, J. M.,
Nezworski, M. T., Lilienfeld, S. O., & Garb, H. N. (2003). <i style="mso-bidi-font-style: normal;">What's wrong with the Rorschach?: Science
confronts the controversial inkblot test.</i> San Francisco, CA, US:
Jossey-Bass.</span></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<br /></div>Lennart Sjöberghttp://www.blogger.com/profile/16238631297369469848noreply@blogger.com2tag:blogger.com,1999:blog-1503266656125339761.post-6823089396588347602012-06-26T22:53:00.002-07:002012-06-26T22:57:05.753-07:00Publiceras flera "signifikanta" resultat än vad forskarna faktiskt funnit?Det är en vanlig misstanke att ej signifikanta resultat inte publiceras och att därför den vetenskapliga litteraturen ger en felaktig bild av hur starka sambanden faktiskt är ("the file drawer problem"). En sådan felfaktor skulle snedvrida meta-analyser som normalt enbart bygger på publicerade arbeten. I en aktuell artikel har emellertid Dalton et al. (2012) gått igenom dels ett stort antal publicerade arbeten, dels många opublicerade doktorsavhandlingar. Resultaten är slående: Det är ungefär lika många signifikanta samband i båda fallen. På grundval av denna omfattande studie kan man dra den slutsatsen att problemet med "the file drawer" inte existerar eller åtminstone att det är betydligt mindre allvarligt än vad man hittills trott.<br />
<br />
<i>Referens</i><br />
<br />
Dalton, D. R., Agunis, H., Dalton, C. M., Bosco, F. A., & Pierce, C. A. (2012). Revisiting the file drawer problem in meta-analysis: Assessment of published and nonpublished correlation matrices. Personnel Psychology, 65(2), 221-249.Lennart Sjöberghttp://www.blogger.com/profile/16238631297369469848noreply@blogger.com0tag:blogger.com,1999:blog-1503266656125339761.post-62070845931909291112012-06-21T09:02:00.001-07:002012-06-22T01:21:53.133-07:00Integritetstestens validitet<br />
<div class="MsoNormal">
Traditionellt har det ansetts att integritetstest
(egentligen test på ärlighet) har mycket hög validitet, på grundval av en tidig
meta-analys (Ones, Viswesvaran, & Schmidt, 1993). En del skeptiska kommentarer
har pekat på att en stor del av de studier denna analys byggde på ej var
publicerade utan kom direkt från rapporter från testleverantörerna. Ändå har det blivit en etablerad sanning, och en grundval för en hel industri som producerar integritetstestningar, utifrån Schmidt och Hunter (1998) som skrev att<i> g</i>-faktorn + integritet är den bästa grunden för prognos av arbetsresultat. Det är nog fel. </div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal">
En aktuell och uppdaterad meta-analys visar tydligt att
validiteterna hos integritetstesten inte är högre än 0.2, kanske så låga som
0.1 (Van Iddekinge, Roth, Raymark, & Odle-Dusseau, 2012a, 2012b),
t o m om de är korrigerade för mätfel i kriterierna och begränsad spridning i
testen. De tidigare uppskattningarna låg på nivån 0.4, alltså högre än de
vanliga personlighetstesten. Det tycks som om skeptikerna har haft rätt: de
höga validiteterna kommer från testleverantörernas egen information, oberoende
forskning bekräftar den inte. Ett ganska högt värde på validiteten kan man få
mot <i style="mso-bidi-font-style: normal;">självskattningar</i> av kontraproduktivt
beteende i jobbet, men detta är ganska ointressant. <i>Skattningar av andra</i> som
kriterium ger validiteter om kring 0.1. Schmidt och Hunter uppskattade validiteten till 0.41, vilket nu framstår som starkt vilseledande. </div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal">
Detta är ett exempel på att tidiga meta-analyser kan leda
fel. Van Iddekinge et al. har gjort ett enormt ambitiöst arbete. Resultatet är
tydligt. Integritetstest tycks inte ha nämnvärt praktiskt värde. Och då har vi
inte ens diskuterat att sådana test, liksom alla, kan fejkas. </div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal">
<i>Referenser</i></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
Ones, D. S.,
Viswesvaran, C., & Schmidt, F. L. (1993). Comprehensive meta-analysis of
integrity test validities: findings and implications for personnel selection
and theories of job performance. <i style="mso-bidi-font-style: normal;">Journal
of Applied Psychology Monograph, 78</i>, 679-703.<br />
Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. <i>Psychological Bulletin, 124,</i> 262-274. </div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
Van Iddekinge, C. H., Roth, P. L., Raymark, P. H.,
& Odle-Dusseau, H. N. (2012a). The criterion-related validity of integrity
tests: An updated meta-analysis. [doi:10.1037/a0021196]. <i style="mso-bidi-font-style: normal;">Journal of Applied Psychology, 97</i>(3), 499-530.</div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
Van Iddekinge, C. H., Roth, P. L., Raymark, P. H.,
& Odle-Dusseau, H. N. (2012b). The critical role of the research question,
inclusion criteria, and transparency in meta-analyses of integrity test
research: A reply to Harris et al. (2012) and Ones, Viswesvaran, and Schmidt
(2012). [doi:10.1037/a0026551]. <i style="mso-bidi-font-style: normal;">Journal
of Applied Psychology, 97</i>(3), 543-549.</div>
<div class="MsoNormal" style="margin-left: 36.0pt; text-indent: -36.0pt;">
<br /></div>Lennart Sjöberghttp://www.blogger.com/profile/16238631297369469848noreply@blogger.com0tag:blogger.com,1999:blog-1503266656125339761.post-12587734678095819082012-06-03T08:42:00.001-07:002012-06-03T08:52:00.423-07:00Begåvningstest och studieresultat vid HHSBegåvningstest har ofta ett bra prognosvärde för studieresultat, ett exempel finns i en rapport jag gjorde på uppdrag av Handelshögskolan i Stockholm för ganska länge sedan, men resultaten står sig nog, se rapporten <a href="http://www.psykologisk-metod.se/files/BEGVNINGSTEST_vid_HHS_noc.pdf">här.</a> Rapporten återger de skilda perspektiv som gällde på 1980-talet och numera. Det är slående hur viktig <i>g</i>-faktorn var i dessa data, och hur en enkel sammanvägning av 7 test med lika vikter var jämförbar med en multipel regressionsmodell.<br />
<br />
<i>Referens</i><br />
<br />
Sjöberg, L. (2012). Begåvningstest vid urval av sökande till Handelshögskolan i Stockholm. Stockholm: Psykologisk Metod AB.<br />Lennart Sjöberghttp://www.blogger.com/profile/16238631297369469848noreply@blogger.com0tag:blogger.com,1999:blog-1503266656125339761.post-82313837234788003792012-06-03T02:55:00.002-07:002012-06-03T02:56:33.399-07:00Kontrollbehov ledde till avskedI Dagens Industri den 1 juni 2012 läser jag att "Ledarstilen fick
Södras VD på fall". Ordföranden citeras: "Det har funnits ett stort
kontrollbehov". <br />
<br />
Det är ett intressant fall, eftersom <i>UPP</i>-testet
är ett av de få personlighetstesten (det enda?) som mäter just
kontrollbehov, med en validerad och normerad skala. (Plus ett antal
andra relevanta egenskaper, allt kontrollerat för skönmålning. Se denna
artikel i Dagens Industri, <a href="http://www.psykologisk-metod.se/files/di%20artikel.pdf">här.) </a>Ett
stort antal chefskandidater har testats i skarpt läge och utgör en
lämplig norm, men även andra normer kan användas. Se vidare om testet <a href="http://www.psykologisk-metod.se/">här.</a><br />
<br />
Personlighet
är i hög grad avgörande för om högt uppsatta chefer lyckas eller
misslyckas, se en utmärkt översikt av Hogan m. fl. <a href="http://www.kaplandevries.com/images/uploads/ManagementDerailment_26March2009inpress.pdf">här.</a><br />
<br />
Alla
har inte den personlighet som krävs för ett ledarskap som måste fungera
både socialt och ekonomiskt. Man kan få värdefull information om en
kandidat med hjälp av test, även sådana aldrig ger ett slutgiltigt svar.
Vi vet dock att vissa test knappast har något samband alls med
arbetsresultat; detta gäller bl a de populära Big Five-testen, se en
översikt <a href="http://swoba.hhs.se/hastba/papers/hastba2010_006.pdf">här.</a>Lennart Sjöberghttp://www.blogger.com/profile/16238631297369469848noreply@blogger.com0tag:blogger.com,1999:blog-1503266656125339761.post-55941057795245912292012-05-28T17:29:00.000-07:002012-05-28T17:29:12.962-07:00Open access: Lärobok i forskningsmetodikMer och mer information blir gratis tillgänglig på nätet. Här är en ambitiös lärobok i forskningsmetodik som just har publicerats<br />
<br />
<a href="http://dl.dropbox.com/u/31779972/Social_Science_Research.pdf">klicka här.</a>Lennart Sjöberghttp://www.blogger.com/profile/16238631297369469848noreply@blogger.com0tag:blogger.com,1999:blog-1503266656125339761.post-77781318462776533182012-05-28T17:27:00.000-07:002012-05-28T17:28:12.968-07:00Information om skönmålning kan leda till förbättrad kvalitet i testdata<br />
Skalor för att mäta skönmålning har ofta ifrågasatts. Här är en studie som använts sådana skalor för att besluta om omtestning, som befanns ge mera rättvisande resultat.<br />
<br />
<br />
Self-report personality questionnaires often contain validity scales designed to flag individuals who intentionally distort their responses toward a more favorable characterization of themselves. Yet, there are no clear directives on how scores on these scales should be used by administrators when making high-stakes decisions about respondents. Two studies were conducted to investigate whether administrator-initiated retesting of flagged individuals represents a viable response to managing intentional distortion on personality questionnaires. We explored the effectiveness of retesting by considering whether retest responses are more accurate representations of a flagged individual's personality characteristics. A comparison of retest scores to a baseline measure of personality indicated that such scores were more accurate. Retesting should only work as a strategy for dealing with intentional distortion when individuals choose to respond more accurately the second time. Thus, we further explored the emotional reaction to being asked to retest as one possible explanation of why individuals who engage in intentional distortion respond more accurately upon retest.<br />
<br />
<br />
<i>Referens</i><br />
Ellingson, J. E., Heggestad, E. D., & Makarius, E. E. (2012). Personality retesting for managing intentional distortion. [doi:10.1037/a0027327]. <i>Journal of Personality and Social Psychology, 102</i>, 1063-1076.<br />
<div>
<br /></div>Lennart Sjöberghttp://www.blogger.com/profile/16238631297369469848noreply@blogger.com0tag:blogger.com,1999:blog-1503266656125339761.post-50354126265430982672012-04-13T18:03:00.009-07:002012-04-14T08:49:33.510-07:00Ledarskap och personlighetens mörka sidaHarms et al. (2011) har publicerat ett mycket ambitiöst försök att validera HDS-testet mot ledarskap i det militära. Det är ett av mycket få arbeten som har försökt validera HDS. Se den utmärkta litteraturgenomgången i artikeln.<br />
<br />
Officerskadetter följdes under 4 års utbildning där deras ledarförmåga bedömdes varje år. Data på HDS samlades in och relaterades (korrelationer) till ledarskap och utvecklingen av ledarskap. <br />
<br />
HDS är ett test som ofta används, även i Sverige, för att mäta den mörka sidan, dvs kliniska eller subkliniska syndrom av typ av passiv aggression. Det är alltså inte utpräglade kliniska problem som mäts, utan tendenser till sådana, som kan vara av varierande styrka. Det är definitivt dimensioner bortom Big Five som det handlar om, men tyvärr tog Harms et al. inte in data på Big Five, inte heller försökte de studera skönmålning, som givetvis är viktig i HDS, som i alla självrapporttest. <br />
<br />
De 11 HDS-skalorna bör alla vara negativt relaterade till ledarförmåga, om testet lyckas mäta det som det avser att mäta. Hur blev det?<br />
<br />
Enskilda skalor hade svaga samband med ledarskap. 7 av de 11 skalorna hade inga samband alls med kriterierna. I övriga 4 fall fanns en tendens till negativa samband men för vissa skalor blev sambanden positiva. Kanske berodde sådana resultat på att de negativa effekter kommer först på längre sikt, säger författarna, men det är ju bara en spekulation så länge inga sådana data finns. Det kan dock ligga något i denna misstanke eftersom en metaanalys fann tydliga samband mellan narcissism, Machiavellianism och kontraproduktivt beteende bland icke-ledare (O'Boyle et al., 2011). Mönstret av samband mellan subkliniska tendenser och ledarskap ger emellertid inget stöd åt att använda HDS för att mäta den mörka sidan som det var tänkt. Nedanstående tabell som bygger på deras publicerade resultat ger detaljer. <br />
<br />
<br />
<table border="1" cellpadding="0" cellspacing="0"><tbody>
<tr> <td colspan="3" valign="top">Korrelationer mellan HDS-skalor och ledarskap i amerikanska armén, Harms et al. (2011), 12 kriterier med likartade trender</td> </tr>
<tr> <td>Kliniskt begrepp (DSM-IV)</td> <td>Innehåll</td> <td valign="top">Korrelation i genomsnitt</td> </tr>
<tr> <td>Borderline</td> <td>Lynnig och socialt inkonsistent</td> <td>-0.03</td> </tr>
<tr> <td>Paranoid</td> <td>Skeptisk, misstänksam</td> <td>-0.18</td> </tr>
<tr> <td>Avoidant</td> <td>Negativ till förändringar</td> <td>0.08</td> </tr>
<tr> <td>Schizoid</td> <td>Tillbakadragen, förstår ej andra</td> <td>-0.03</td> </tr>
<tr> <td>Passive-aggressive</td> <td>Självgående, ignorerar andras krav</td> <td>-0.04</td> </tr>
<tr> <td>Narcissistic</td> <td>Har extrem självuppskattning, tål ej kritik</td> <td>0.06</td> </tr>
<tr> <td>Antisocial</td> <td>Tycker om att ta risker och testa gränser</td> <td>-0.08</td> </tr>
<tr> <td>Histrionic</td> <td>Dramatisk, vill bli uppmärksammad</td> <td>0.06</td> </tr>
<tr> <td>Schizotypal</td> <td>Visar ovanligt tänkande, ibland kreativ</td> <td>-0.23</td> </tr>
<tr> <td>Obsessive-compulsive</td> <td>Mycket noggrann och kritisk</td> <td>0.16</td> </tr>
<tr> <td>Dependent</td> <td>Vill vara till lags, beroende av andras uppskattning</td> <td>0.16</td> </tr>
</tbody> </table><br />
<br />
Harms et al. lyckades visa ganska höga samband mellan ledarskap och HDS i multipla regressionsanalyser, ca 15 % förklarad varians, motsvarande en multipel korrelation omkring 0.4. Detta är intressant men för praktikern tämligen lite användbart. Analysen tar ju fram vikter som kan vara negativa <i>eller</i> positiva och den prognos av ledarskap man tvingas göra måste grundas på en <i>ad</i> <i>hoc</i>-modell som inte stämmer med teorin och som är bara delvis psykologiskt begriplig. Vikterna är på ett komplicerat sätt beroende av hela mönstret av korrelationer. Fältet öppnas för spekulationer vilkas värde för prognoser är okänt och tveksamt. Vi ställs inför frågan om validiteten av subjektiva bedömningar utifrån testdata eller andra kvantitativa data och sådana bedömningar är väl studerade inom många områden, med svaga resultat.<br />
<br />
<br />
HDS är ett kreativt pionjärarbete men tycks ha kommit till utbredd praktisk användning alldeles för tidigt. Det behövs mera empirisk forskning och teoretisk analys av personlighetens mörka sida och ledarskap och andra arbetsrelevanta dimensioner. Som det ser ut nu tycks det praktiska värdet vara svagt. <br />
<br />
<i>Referenser</i><br />
<br />
<br />
Dawes, R. M., Faust, D., & Meehl, P. E. (1989). Clinical versus actuarial judgment. <i>Science</i>, <i>243</i>, 1668-1674.<br />
<br />
Grove, W. M., & Meehl, P. E. (1996). Comparative efficiency of informal (subjective, impressionistic) and formal (mechanical, algorithmic) prediction procedures: The clinical-statistical controversy. <i>Psychology, Public Policy, and Law, 2,</i> 293-323.<i> </i><br />
<i><br />
</i><br />
Harms, P. D., Spain, S. M., & Hannah, S. T. (2011). Leader development and the dark side of personality. [doi:10.1016/j.leaqua.2011.04.007]. <i>The Leadership Quarterly, 22</i>(3), 495-509.<br />
<br />
<br />
O'Boyle Jr, E. H., Forsyth, D. R., Banks, G. C., & McDaniel, M. A. (2011). A meta-analysis of the dark triad and work behavior: A social exchange perspective. [doi:10.1037/a0025679]. <i>Journal of Applied Psychology</i>, No Pagination Specified.Lennart Sjöberghttp://www.blogger.com/profile/16238631297369469848noreply@blogger.com0