Sidor

Sunday, July 25, 2010

Big Five-validitet

Femfaktormodellen (FFM) med sina fem dominerande och övergripande dimensioner har kommit att dominera arbetspsykologisk testning i vårt land med kända test som OPQ, HPI, MBTI och NEO-PI-R. (Tre amerikanska och ett brittiskt, översatta till svenska men knappast validerade i Sverige annat än med enstaka studier). Eftersom modellen tar så stor plats både i internationell forskning och i praktik är den trovärdig om man inte följer valideringsforskningen. Denna har nämligen tydligt visat att FFM ger mycket magra tillskott till testens validitet för prognos av arbetsprestation och utbildningsresultat.

En av de bästa meta-analyserna av FFM-validitet publicerades år 2008 av Schmidt et al. (2008). De har gjort ett ambitiöst försök att hitta all relevant valideringsforskning och dessutom korrigerat resultaten för mätfel i kriterierna och begränsad variation i FFM-dimensionerna. Mätfel i kriterierna sänker korrelationerna och detsamma gäller begränsad variation. Deras värden torde därför vara de mest rättvisande som publicerats. Särskilt intressant är deras nyskapande metodik för att korrigera för begränsad variation - tidigare använda metoder gav för små effekter (Schmidt et al., 2006).

Medianvärden av validitetskoefficienterna (korrelationer) återfinns i nedanstående tabell.

Validitetskoefficienter (medianer) hos FFM-dimensioner samt intelligens (g-faktorn) enligt meta-analys av Schmidt et al. (2008).
Dimension Arbetsprestation Utbildningsresultat
Noggrannhet 0.209 0.260
Emotionell stabilitet 0.131 0.159
Vänlighet/smidighet 0.080 0.120
Extraversion/utåtvändhet 0.090 0.170
Öppenhet 0.040 0.240
Intelligens 0.615 0.665

Det är alltså bara noggrannhet som ligger över 0.20, även det en bra bit under det normala för personlighetstest som snarare ligger omkring 0.3 (sällan mera för enstaka skalor). Medianen för alla skalorna ligger på 0.090 för prestation och 0.170 för utbildningsresultat. Om man tillämpar STP:s kriterier för testgranskning och deras sätt att räkna skulle hela FFM underkännas!

Varför fungerar FFM så dåligt? Ett skäl är troligen att dimensionerna är för allmänna. De fokuserar inte på viktiga dimensioner i arbetslivet. Ett annat skäl är deras kognitiva, beskrivande, karaktär. Emotionella funktioner är viktigare (Sjöberg, 2008, 2010). 

Bättre validitet än ovanstående kan man inte hoppas på för de övergripande FFM-dimensionerna och man ställer sig lite undrande till det stora genomslaget för FFM-test i svensk praktik. Bättre resultat kan emellertid erhållas med andra dimensioner och vissa av underskalorna ("fasetter") till FFM-modellerna, mera därom i ett kommande inlägg.

Onekligen är det intressant att se vilken överlägsen validitet som allmänbegåvning har. Länge var det tabu i vårt land att tala om och använda intelligenstest, så tycks inte riktigt vara fallet längre och det är som synes på goda grunder.

Referenser

Schmidt, F. L., Oh, I.-S., & Le, H. (2006). Increasing the accuracy of corrections for range restriction: Implications for selection procedure validities and other research results. Personnel Psychology, 59(2), 281-305.


Schmidt, F. L., Shaffer, J. A., & Oh, I.-S. (2008). Increased accuracy for range restriction corrections: Implications for the role of personality and general mental ability in job and training performance. [doi:10.1111/j.1744-6570.2008.00132.x]. Personnel Psychology, 61(4), 827-868.

Sjöberg, L. (2008). Bortom Big Five: Konstruktion och validering av ett personlighetstest. (SSE/EFI Working Paper Series in Business Administration No. 2008:7). Stockholm: Stockholm School of Economics.Klicka här.


Sjöberg, L. (2010). A third generation personality test (SSE/EFI Working Paper Series in Business Administration No. 2010:3). Stockholm: Stockholm School of Economics. Klicka här,

Friday, July 23, 2010

Skönmålning är stark, vanlig och viktig vid testning i skarpt läge

Det påstås ibland att skönmålning på personlighetstest knappast förekommer, åtminstone inte i hög grad. Jaså. Hur vet man det? Påståendet verkar gå helt emot vanligt sunt förnuft. Visst försöker väl testade i ett skarpt läge att framställa sig i så positiv dager som möjligt på självrapporttest - den absolut vanligaste formen av personlighetstest?

För att påstå att stark skönmålning inte förekommer måste man ha data också på icke skönmålade svar. Detta kan man få, approximativt givetvis, genom att ta fram testsvar som rensats från skönmålning med hjälp av validerad metodik för sådan rensning.

Jag arbetar med korrektion för skönmålning med hjälp av två skalor som mäter social önskvärdhet, en overt (genomskådlig, Hunter Mabons term) och en kovert (ogenomskådlig). De ger likartade resultat och har validerats både experimentellt och i skarpa testningar vid jobbansökning, se referens nedan. Vid testningar på rekryteringsplattformen Katapult används den koverta skalan och UPP-testets screeningmodul, se referens nedan. Modulen mäter extraversion, uthållighet, samarbetsvilja, positiv grundattityd och kreativitet.

De data som analyseras här baseras på testsvar från 4457 personer (Katapult) som tog screeningmodulen när de anmälde sig som sökande till olika jobb.  Det är alltså data från testning i skarpt läge som det gäller.Korrelationerna mellan personlighetsdimensionerna och skönmålning framgår av tabellen nedan, liksom korrelationerna mellan råvärden och korrigerade värden.




Korrelationer mellan personlighetsdimensioner och kovert skönmålning, samt okorrigerade och korrigerade data
Dimension Korrelation med skönmålning Korrelation rådata-korrigerade data
Extraversion 0.49 0.87
Uthållighet 0.63 0.77
Samarbetsvilja 0.66 0.75
Positiv grundattityd 0.64 0.77
Kreativitet 0.32 0.95

I fyra av de fem fallen var sambanden starka mellan skönmålning och personlighetsdimensionen.

Märk också att effekten av korrektion var ytterst liten i ett av fallen (kreativitet) men större i de övriga. Detta är ett vanligt resultat. Olika dimensioner är i olika hög grad påverkade av skönmålning.

Men hur viktiga, eller stora, är effekterna?

Jag skapade en sammansatt poäng genom att beräkna medelvärdet av alla fem dimensionerna, med lika vikter, före och efter korrektion. Båda dessa summapoäng rangordnades i hela materialet. (Tack gode Gud för datorer). Därefter lade jag in gränsvärden för de bästa 1%, 5%, 10% och 20% för råvärdena. Hur många av dem som nådde dessa topp-placeringar behöll sina platser efter korrektion? Svar, se nedanstående tabell:


Andel som behöll sin tätplats efter korrektion för skönmålning. Skarpt läge, N=4457. Data från Katapult.
Andel i tätgruppen Andel av tätgruppen som behöll sin position i tätgruppen efter korrektion för skönmålning
0.01 8.9%
0.05 11.7%
0.10 12.8%
0.20 17.7%


Detta betyder att bland dem i den bästa procenten före korrektion var det bara 8.9% som behöll den placeringen efter korrektion. Vid mindre krav för topp-plats var andelen som behöll sin plats större men vid 20% topp-plats var det fortfarande bara 17.7 % som behöll platsen.

Med andra ord: över 80% av dem som hamnar på "lilla listan" om rekrytering baseras på personlighetstestet har troligen hamnat där på grund av att de bluffat på testet! Eftersom dessa data baseras på korrektion med enbart en skala i stället för vår vanliga design med två skalor är dessutom effekterna troligen underskattade.

Ett annat och enklare svar på frågan om det förekommer stora effekter av skönmålning kan vi få genom att se närmare på hur stora förändringar i rangplats som de 45 bästa (bästa procenten, 99:e percentilen) fick efter korrektion och ny rangordning. Som visade ovan var det 91% av dem som inte lyckades behålla sin plats. Fördelningen av skillnaderna mellan de två rangordningarna för de 45 bästa enligt rådata framgår av nedanstående graf. Medianen för tappade rangplatser var 545, alltså ett fall, i genomsnitt, från 99:e till 88:e percentilen. Mycket mera dramatiska fall förekom också, upp till 1200 rangplatser. I ljuset av de data som presenterats här är det enligt min mening osakligt att fortsätta att påstå att stark skönmålning "knappast förekommer".



Ännu en kontroll är intressant. Antag att vi försöker värja oss mot effekterna av skönmålning genom att utesluta dem som har högst värde i detta avseende. Det är troligen ett vanligt sätt att arbeta, som jag sett på nära håll under min tid på Handelshögskolan. Jag lade därför in en cut-off vid 21% av stickprovet och uteslöt 922 personer. (Just denna gräns var lämplig på grund av klustring av data; omkring 20-25 % är troligen vanligt). De som nu återstod i 99:e percentilen i rådata kunde emellertid inte alls försvara sina platser efter korrektion. Korrektionen medförde att deras rangplatser sjönk 629 steg, alltså ännu mera än för hela stickprovet. För att motverka de snedvridande effekterna av skönmålning måste man alltså korrigera fullt ut enligt den metod som använts här (och i våra övriga test) - uteslutande av dem som ligger högst på en "lögnskala" har bara kosmetiska effekter.

Frågan om hur kraftig skönmålningen är kan också besvaras genom att analysera den absoluta nivån på svaren.Den informationen brukar man inte använda i testpsykologin, men i andra sammanhang som medarbetarundersökningar gör man ju det. Det som talar mot att använda absolutnivån är att den påverkas av frågornas formulering. Då emellertid en skala i typfallet består av ganska många frågor motverkas den felkällan; man får trots allt en viss uppfattning om styrkan i svarstendensen. I fallet med våra data och måttet på skönmålning låg medianen på 4.33, svarsskala 1-5. 74 % av de testade hade ett värde > 4.0, mindre än 1 % låg under 3.0. De testade hade alltså en mycket stark tendens att välja skönmålande svar. Det stödjer min tes att skönmålning är stark och vanligt förekommande.

Man kan fråga sig om skönmålning har ännu flera konsekvenser. Det påstås ofta att validiteten inte påverkas av korrektion. Detta är nog tämligen riktigt, se data ovan som visar på höga samband mellan korrigerade och okorrigerade data. För vissa typer av kriterier kan de som skönmålar också ha förmåga att övertyga omgivningen i vidare mening om sin kompetens, men detta betyder naturligtvis inte att de också gör ett bättre jobb. Kvar står till slut att få nog vill ge prioritet åt dem som bluffar, att effekterna är stora och att systemet för korrektion som använts står på solid grund efter särskilda valideringar - se referenserna. Inga andra självrapporttest har en effektiv och validerad metodik för att korrigera för skönmålning (HPI, NEO), många - som MBTI (NEO-PI-R, Myers-Briggs) - ingen alls.

Ones et al. (1996) är en ofta åberopad artikel som anses stödja slutsatsen att skönmålning inte spelar någon roll.   Den baseras på en mycket omfattande meta-analys men det är troligen inte data i skarpt läge som den bygger på, åtminstone inte i de flesta fallen. Författarna säger inte vilket som är fallet, men deras korrelationer mellan skönmålning och personlighetsdimensioner är dramatiskt mycket lägre än dem som presenterats här. Våra undersökningar har konsistent gett mycket högre korrelationer mellan personlighetsskalor och olika mått på skönmålning. Det är rimligt att tro att skönmålning har mycket större betydelse i skarpt läge än vid andra former av datainsamling, och det är ju skarpt läge som är det praktiskt intressanta.



Referenser
 
Ones, D. S., Viswesvaran, C., & Reiss, A. D. (1996). Role of social desirability in personality testing for personnel selection: The red herring. Journal of Applied Psychology, 81, 660-679.

Sjöberg, L. (2009). UPP-testet: Korrektion för skönmålning. Forskningsrapport 2009:3. Stockholm: Psykologisk Metod AB. Klicka här


Sjöberg, L. (2010). UPP/Screen: Ett screeningtest av personlighet och begåvning. Forskningsrapport 2010:7. Stockholm: Psykologisk Metod AB. Klicka här.

Wednesday, July 21, 2010

Screeninglogik

Screening av många sökande till ett jobb är ett bra sätt att hitta högpresterande personer. Varför?

Antag att vi är ute efter en verklig elitperson (vem är inte det?), bäst av 100, alltså den bäst presterande procenten. Ju fler vi testar desto större är chansen att det finns minst en sådan person i den testade gruppen, sr tabellen nedan. Tabellen visar också sannolikheten för att det i gruppen av testade finns minst en person i 98:e percentilen och en i 90:e.


Sannolikheten att få minst en jobbsökande som tillhör 99:e, 98:e eller 90:e percentilen vi testning av 5-75 personer
Antal testade personer99:e percentilen98:e percentilen90:e percentilen
50.0490.0960.410
100.0960.1830.651
150.1400.2610.794
200.1820.3320.878
250.2220.3970.928
300.2600.4550.958
350.2670.5070.975
400.3310.5540.985
450.3640.5970.991
500.3950.6360.995
550.4250.6710.997
600.4530.7020.998
650.4800.7310.999
700.5050.7570.999
750.5290.7801.000




Tabellen visar att testning av 75 personer ger höga sannolikheter för att hitta minst en person med mycket hög kapacitet, och att chansen är mycket god redan vid 25 testade om vi nöjer oss med kapacitet vid 90:e percentilen, även det ett mycket gott resultat.

Knepet är alltså att utgå från ett så stort underlag som möjligt. Det är dyrbart och tidsödande att göra det om man inte använder enkla, valida och billiga screeningtest, se referens nedan. Det ger dessutom en konkurrensfördel eftersom screeningstestningens effektivitet inte är känd av flera än ett fåtal. Man kan förstås gå på intuition och "magkänsla" men påverkas då av irrelevanta faktorer som utseende, kroppsspråk, dialekt, klädsel etc, se vår monografi om personkemi här.I en studie av anställningsintervjuer (Higgins & Judge, 2004) fann man att det som avgjorde varken var erfarenhet eller förmåga - det var om man tyckte bra eller illa om den jobbsökande, vilket i sin tur berodde på om han eller hon lyckades med "ingratiation". Med den termen menas ett strategiskt försök att göra ett gott intryck, t ex genom smicker, framhålla likhet i värderingar eller allmänt sett att framhålla sina goda egenskaper på ett trovärdigt sätt, se denna länk.

I min egen erfarenhet har jag gjort extremt goda rekryteringar genom screening av 40-60 jobbsökande. Och faktiskt varit en medioker rekryterare i många övriga fall. Det är intressant att fundera över vilka rekryteringsprinciper som kommer till användning för viktiga chefsjobb i samhället. Hur många övervägde man innan ministrar anställdes i Alliansregeringen? (Alla tycks inte ha tillhört eliten, med tanke på vad som sedan hänt). Hur bred är urvalsbasen för VD-jobben och styrelseposterna för de stora företagen? Ju smalare den är desto större är chansen att missa verkliga superstars ty de tillhör bara i undantagsfall "old boys' network"

Referenser

Higgins, C. A., & Judge, T. A. (2004). The Effect of Applicant Influence Tactics on Recruiter Perceptions of Fit and Hiring Recommendations: A Field Study. [doi:10.1037/0021-9010.89.4.622]. Journal of Applied Psychology, 89(4), 622-632.

Sjöberg, L., & Tollgerdt-Andersson, I. (1985). Vad är personkemi? Socialpsykologisk forskning om attraktivitet. Stockholm: Scandinavian Executive Search. Klicka här.

Sjöberg, L. (2010). UPP/Screen: Ett screeningtest av personlighet och begåvning. Forskningsrapport 2010:7. Stockholm: Psykologisk Metod AB. Klicka här.

Monday, July 5, 2010

Percentiler eller normalfördelade testpoäng


Testpoäng måste anges i förhållande till en normgrupp; annars kan de inte tolkas. Det är åtminstone den dominerande uppfattningen. (Det finns ett alternativ som jag ska återkomma till senare, men här är det normgruppstolkningen som gäller.)

Ett vanligt sätt att beräkna normerade testpoäng är stanine. Denna metod anpassar data till en normalfördelning och delar upp data i nio lika stora steg. Man antar att man på det sättet får en intervallskala för den underliggande testdimensionen. Möjligen kan det anses att det är ett antagande som är osannolikt, men eftersom normalfördelningar ofta är goda approximationer till psykologiska data är det ett rimligt antagande. Dessutom är testpoängen medelvärden av många observationer vilket gör det ännu troligare att en normalfördelning passar data bra. Stanine är antagligen lätta att förstå och nio steg är inte fler än att man kan hålla reda på dem. Människors kognitiva system klarar sällan mer än 7-9 steg om man inte har särskilda hjälpmedel.

Percentiler är emellertid populära inom testområdet. Percentilpoängen säger hur stor andel av normgruppen som ligger under en viss persons testresultat. Det är ett begrepp som är ganska svårt att förstå. Variationen i 99 steg, från 1 till 99 är dessutom alldeles för fingraderad. Vidare är percentilpoängen rektangulärt fördelad; sådana fördelningar är mycket ovanliga i psykologiska data (om man inte tvingar in dem i den kostymen).

Relationen mellan normalfördelad testpoäng och percentilpoäng visas i bilden. Som synes är den inte linjär i extremerna. Det betyder att vikten av en skillnad i området för låga eller höga percentilvärden underskattas, om vi antar att normalfördelning är rimligare än rektangulär fördelning som beskrivning av den underliggande psykologiska dimensionen.

Det finns alltså minst fyra skäl till att välja stanine framför percentiler vid beskrivning av normerade testresultat:

1. Normalfördelning är en rimligare approximation än rektangulär fördelning.

2. Stanine är mera realistisk beskivning av data än percentiler med tanke på människors förmåga att hantera antalet skalsteg (9 i stället för 99).

3. Percentilbegreppet är svårt att förstå för dem som inte har specialkunskaper i statistik och psykometrik.

4. Percentiler gör att man fäster alldeles för liten vikt vid skillnader i områdena med låga och höga värden.

Sunday, July 4, 2010

Stickprovets storlek vid testvalidering

Stiftelsen för tillämpad psykologi (STP), som har en halvofficiell status i vårt land vid granskningar av psykologiska tester, ”kräver” ett stickprov på minst 100 personer, annars förklaras valideringen enbart på den grunden vara baserad på en ”inadekvat” studie. Se STP:s ”Kvalitetskriterier för testinstrument – personlighetsbedömning”, 2002. (Senare upplaga tycks inte finnas). Detta krav är i sin tur baserat på europeiska psykologförbundens (EFPA:s) kriterier (Lindley, Bartram, & Kennedy, 2008), men dessa innebär endast en rekommendation om N=100 eller större, inte ett krav. Se min korrespondens med professor David Bartram, 2010-06-09 på denna länk. Bertram är ordförande i EFPA:s grupp för testkriterier, och medförfattare till det centrala dokument som översatts och används av STP (Lindley et al., 2008).

Bakom EFPA:s rekommendation ligger i sin tur en ”power-analys”, där man laborerar med följande parametrar:

• Det är önskvärt att kunna belägga ett samband mellan test och kriterium som statistiskt signifikant på nivån 0,05 eller bättre
• Det är önskvärt att kunna belägga samband på den nivån om korrelationen i populationen är minst 0,30
• Det är önskvärt att kunna belägga sambandet enligt ovanstående med minst 90 % chans

Analyser av den här typen kan göras med hjälp av tabeller (Cohen, 1988). De tre kraven ledder till N=100 (som ger chansen att belägga sambandet = 0,86, för att vara mera exakt). Men antag att vi ansätter andra lika rimliga eller lika godtyckliga värden på parametrarna. Om vi vill belägga ett samband utifrån konventionell signifikans med en korrelation på 0,40 i populationen med t ex minst 50 % chans att upptäcka den, vad händer då? Rekommendationen blir N=30 (som ger 61 % chans för att vara exakt). Om jag alltså vill pröva hypotesen om en något större korrelation mellan test och kriterium (0,40 i stället för 0,30), och nöjer mig med en mindre men ändå hyfsat stor chans att upptäcka ett samband, sjunker kravet på stickprovets storlek dramatiskt: från 100 till 30.

STP har tolkat en rekommendation som ett krav, med mycket negativa konsekvenser för testbranschen. Det är nämligen i allmänhet mycket svårt, dyrbart och tidsödande att samla in så stora stickprov som N=100 för testvalidering. Detta torde göra att man hellre avstår. I arbetet med UPP-testet har vi samlat in data som i några fall uppfyller kravet N=100, i andra inte. Vad dessa data säger om testet beror inte på stickprovets storlek utan på hur starka sambanden är, vilken tilltro man kan ha till att sambanden kan replikeras i nya stickprov, och givetvis på om andra krav på studierna uppfylls. Vi är i gott sällskap. SHL har validerat sitt test OPQ mot säljares arbetsresultat i 9 studier varav bara 2 uppfyller kravet N=100 eller större. Jag återkommer till dessa data i ett senare blogginlägg.

Syftet med en power-analys är att ge en rationellt grundad uppfattning om hur stort stickprov man bör arbeta med, inte att bedöma i efterhand, när resultaten föreligger, om studien kan läggas till grund för slutsatser. Anta att vi gör en studie med N=20 och får en validitet på r=0.7. Är detta resultat helt irrelevant för bedömning av testet?

Den som läser Bartrams svar på mina frågor kan knappast undgå att dra den slutsatsen att STP har missförstått EFPA:s riktlinjer på denna centrala punkt. Det är en förståelig missuppfattning, men den är inte desto mindre ödesdiger för testbranschen. Få valideringar kan leva upp till kravet på 100 personer i stickprovet. Resultatet blir intrycket att "det finns många dåliga test". Det kan man påstå av flera skäl, men ett viktigt skäl är nog att valideringar inte godkänns eller uppmuntras.

Det kan tilläggas att den internationella standarden vid testvalidering ligger vid ett medelvärde på N något under 100 (Aguinis et al., 2010). Det betyder att hundratals valideringsstudier publicerade i ledande tidskrifter skulle ha ansetts "inadekvata" om STP fått råda.


Referenser


Aguinis, H., Culpepper, S. A., & Pierce, C. A. (2010). Revival of test bias research in preemployment testing. [doi:10.1037/a0018714]. Journal of Applied Psychology, 95(4), 648-680.

Cohen, J. (1988). Statistical power analysis for behavioral sciences (2nd ed.). Hillsdale, NJ: Erlbaum.

Lindley, P., Bartram, D., & Kennedy, N. (2008). EFPA review model for the description and evaluation of psychological tests. Test review form and notes for reviewers. Version 3.42: European Federation of Psychological Associations.

Saturday, July 3, 2010

Validering av NEO-PI-R

NEO-PI-R är ett välkänt test för att mäta "Big Five", eller femfaktormodellen för personlighet. Testet mäter dels de övergripande "fem stora", dels underskalor som kallas facetter. I en aktuell studie från Kanada undersöktes sex facetter för var och en av de fem stora dimensionerna i relation till arbetsprestation. (N=141). Se referens nedan.

Visserligen erhölls en del signifikanta samband, men de var inte imponerande. Korrelationerna mellan ett kriterium på "job performance" och sex facetter för varje övergripande dimension var i en av deras studier:

VÄNLIGHET: .30,.15,.07,-.08,-.03,.15
NOGGRANNHET: .17,.08,-.06,-.08.-.11,-,02
NEUROTICISM: .19,-.05,.01,.22,-.12,.07
EXTRAVERSION: .00,.04,.05,.08,-.13,-.17
ÖPPENHET: .02,.04,.06,-.12,.02,.04

En grov första sammanfattning av testets validitet i denna studie kan vi få genom att beräkna medianen av dessa korrelationer. När serien av korrelationer gör ett slumpmässigt intryck - som i detta fall - kan detta vara rimligt. Medianen av de 30 korrelationerna var 0.04. I en andra, något mindre studie, fick författarna troligen liknande resultat, men rapporterar inte enskilda korrelationer.

Detta är givetvis bara en av många studier men den är den mest aktuella. Om testet har en robust validitet bör den komma fram i olika sammanhang. NEO-PI-R används även i Sverige i arbetspsykologiska sammanhang - det finns nog aneldning att fundera på hur stor validitet testet egentligen har. Även mycket svaga samband kan ibland räcka för att argumentera för att ett test är användbart, främst vid urval och med liten urvalskvot, men nyttan för att bedöma enskilda personers testresultat är begränsad.





Referens

Pascale, L. D., Denis, M., & Claude, G. (2010).Exploring the Capacity of NEO PI-R Facets to Predict Job Performance in Two French-Canadian Samples,International Journal of Selection and Assessment,18,201-207).

Program

Denna bloggs syfte är att diskutera forskning och intressanta problem inom området psykologisk testning och även psykometrik mera i stort. Bloggen vänder sig till alla med intresse för frågorna, inte minst praktiker och forskare inom området. Min mera allmänna psykologi-blogg kommer i fortsättningen bara i undantagsfall att ta upp dess specialiserade frågor, se denna länk.
Free counter and web stats