Skanderborg I. Mysteriet om forsøgspersonerne: 52 eller 62?

7. oktober 2012

I sin kronik i Jyllands-Posten den 23. august 2012 skriver Nyborg om sit Skanderborg-projekt:

»Tæskekarlene og tæskeuniversitet fastholder den dag i dag anklagerne om, at undertegnedes projekt og data roder. Derimod fortæller de ikke offentligheden, at de medinddrog hundredvis af variable fra sideløbende uafsluttede projekter. De fortæller ikke, at undertegnede for længst har fremsendt udtømmende, entydige grafiske og numeriske oversigter over, hvor mange børn der blev undersøgt, hvornår, og med hvilke instrumenter, i alle faser af alle projekterne siden de startede i slutningen af 1976. Universitetets løgne lever videre på nettet — og gentages ukritisk af andre.«

Hvad er det dog for "hundredevis af variable" fra "sideløbende uafsluttede projekter" Nyborg taler om? Som sædvanlig kaster Nyborg et bekvemt tågeslør ud over de faktiske forhold, og fremstiller sig selv som en uskyldig, forfulgt forsker. Men det eneste offentligheden har fået at vide om Skanderborg-undersøgelsen var de meget bombastiske udtalelser Nyborg kom med i 2002 til Politiken og andre medier, hvor han påstod at have bevis for, at kvinder er dummere end mænd. Da andre forskere ønskede at kigge Nyborgs data efter i sømmene, nægtede han at udlevere noget som helst, og det var dette, der gav anledning til, at den såkaldte "Nyborgsag" begyndte.

I dette og en række følgende blogindlæg skal vi derfor kigge nærmere på Nyborgs data fra Skanderborgundersøgelsen, der er grundlaget for Nyborgs påstand om kvinders påståede lavere gennemsnitsintelligens. Vi vil se på hvorledes Nyborg ser bort fra enhver kritisk bedømmelse af egne data, og hvorledes han udviser en fuldstændig amatøragtig disrespekt for almindeligt anerkendte principper for kvantitativ metode. Dette skal på den anden side ses i kontrast til den skråsikkerhed, nedladenhed og frækhed hvormed Nyborg optræder i den offentlige debat.

At det nu er muligt at studere Nyborgs data, skyldes således ikke at han følger gængs god videnskabelig skik at give åben adgang til ens primære data til dem der måtte ønske det, men at han er blevet tvunget til det via den sag han anlagde ved UVVU i 2006. Materialet er blevet tilgængligt for mig og for offentligheden gennem aktindsigt.

Mysteriet om antal forsøgspersoner: 52 eller 62?

En af de ting, der har undret alle der har beskæftiget sig med Nyborgs kønsforskningsdata er, at der på et tidspunkt pludselig dukkede 10 ekstra forsøgspersoner op i gruppen af voksne forsøgspersoner. I slutningen af 2004 begyndte Nyborg pludselig at tale om 62 forsøgspersoner hvor der hidtil kun havde været 52. Hvor disse forsøgspersoner pludselig kom fra, og hvilke data der blev tilføjet, har været genstand for skiftende forklaringer fra Nyborgs side.

For at belyse problemet er det værd at kigge på tidslinien:

24. november 2003

Tidskriftet PAID's redaktion angiver at modtage artiklen "Sex-related differences in general intelligence g, brain size, and social status" til optagelse i tidsskriftet.

Vi kender ikke teksten på dette artikelforslag, men det må formodes at være beslægtet med manuskriptet dateret 5. januar 2004 (se nedenfor), hvori antallet af forsøgspersoner opgives til 52.

5. januar 2004

I manuskript-udkastet til artiklen "Sex-related differences in general intelligence g, brain size, and social status" af den 5. januar 2004 (bilag 54, afsnit 3.1.1), står der:

The present analysis is based on the sub-sample of an equal number of all males and females that had been tested only once and for whom WAIS and all the other test data were available [...]. This sub-sample consisted of 26 females (mean age 17.34, SD 1.87) and 26 males (17.45, SD 1.78 SD).

men i den publicerede udgave af artiklen fra 2005 (bilag 9) er dette rettet til:

The ﬁrst part of the present analysis is based on the sub-sample of 31 males (mean age 17.4, SD = 1.8) and 31 females (mean age 17.3, SD = 1.9) for whom WAIS and all the other test data were available.

Dette er bemærkelsesværdigt, for tallene tyder på at der er foretaget en ny beregning af forsøgspersonernes gennemsnitsalder og spredningen på denne. Det er ikke korrekt, som der står i dekan Svend Hyllebergs indberetning af 7. august 2006 pkt. 1 (bilag 5 i aktindsigten), at antallet af cifre blot er afkortet. Af tabel 1 ses det, at for drengene har ændringen 26 til 31 betydet at gennemsnitsalderen faldet, mens spredningen er steget. For pigerne er gennemsnitsalderen steget, mens spredningen er faldet. Dette kan kun ske hvis der er tilføjet nye forsøgspersoner. Der må være tilføjet drenge i bunden af aldersintervallet 16-18 (eller under) og der må være tilføjet piger med omtrent samme alder som de ældste i gruppen.

Tabel 1
	Piger, alder			Drenge, alder
	Antal	Gennemsnit	Spredning	Antal	Gennemsnit	Spredning
Manuskript 5. jan 2004	26	17.34	1.87	26	17.45	1.78
Artikel 8. jun 2005	31	17.4	1.8	31	17.3	1.9

Tabel 1: Gennemsnit og spredning på alder af deltagende forsøgspersoner, som opgivet af Nyborg i manuskriptudkastet af 5. januar 2004, hhv. den trykte artikel, publiceret på nettet den 8. juni 2005.

Vi kan i grove træk følge artiklens udvikling, fordi visse nøgle-datoer faktisk står trykt i den:

Received 24 November 2003; received in revised form 9 March 2004; accepted 7 December 2004

Disse datoer giver anledning til at formode, at artiklen, som fremsendt den 24. november 2003, i første omgang er blevet returneret med krav om revision, eller at artiklen er blevet afvist. Den fremsendes dernæst igen primo marts 2004, men accepteres herefter først den 7. december 2004. Dette tidsrum på over et år tyder på at artiklen har været til review ad to omgange. Det ville være særdeles usædvanligt og et brud på god videnskabelig skik hvis et tidskrift tillod forfatteren at ændre på noget så centralt som antal forsøgspersoner under redaktionsprocessen. Ændringen fra 52 til 62 kan være sket før fremsendelsen i marts 2004, men dette er ikke sandsynligt da Nyborg vedbliver at tale og skrive om 52 forsøgspersoner frem til den 13. oktober 2004. Ændringen kan også være foretaget i perioden mellem den 13. oktober (ca) og den 7. december, hvor artiklen accepteres til trykning, men dette er usandsynligt, fordi så ville den trykte revisionsdato ikke have været den 9. marts, men senere. Det sandsynligste er at ændringen i antal forsøgspersoner er sket da artiklen var til korrektur hos Nyborg, hvilket har været en gang i løbet af vinter/forår 2005. Hvis dette er tilfældet, er det selvsagt særdeles kritisabelt, for korrekturen foretages af trykkeren, ikke af tidsskriftets redaktører.

9. marts 2004

Tidskriftet PAID angiver at modtage artiklen "Sex-related differences in general intelligence g, brain size, and social status" i revideret form.

10. marts 2004

Også i andre sammenhænge har Nyborg talt om undersøgelsens "26 mænd og 26 kvinder". Ved et foredrag i Mensa (PDF) citeres Nyborg for at sige:

I 2001 var der 26 mænd og 26 kvinder over 16 år i forsøgsgruppen, og deres data blev nøje analyseret. 52 mennesker kan forekomme at være et meget lille tal at drage konklusioner ud fra, men man kan beregne helt præcist, hvor stor sandsynligheden er for, at forskellene i IQ-målingerne kan skyldes tilfældigheder (den såkaldte "statistiske signifikans"). Jo mindre forsøgsgruppen er, desto sværere er det at finde en statistisk signifikant gennemsnitsforskel.

Referatet er gennemset og godkendt af Nyborg. Selvom man i teorien kan tænke sig, at det er en trykfejl at skrive "52" i stedet for "62", er det næppe en trykfejl også at skrive "26" i stedet for "31".

Mensamødet blev afholdt den 10. marts kl. 19, men den høje IQ i Mensa gør det tilsyneladende overflødigt at notere årstal på foreningens indlæg. Det sandsynligste årstal for mødet er i 2004, fordi:

Nyborg den 13. oktober 2004 første gang præsenterer tallet "62", så mødedatoen kan ikke være marts 2005.
Datoen for mødet kan er sandsynligvis heller ikke marts 2003, for i dokumentet fortælles det om Nyborgs bogkapitel at det "udkom i juli 2003 på forlaget Pergamon".

9. juni 2004

Nyborg lægger dokumentet "The Skanderborg project" på sin hjemmeside, hvori antallet af voksne forsøgspersoner angives til 52.

13. oktober 2004

Tallet 62 præsenteres for første gang i et dokument Nyborg lægger på sin hjemmeside, illustreret af den vandrette streg herover.

7. december 2004

Tidskriftet PAID's redaktion angiver at acceptere artiklen "Sex-related differences in general intelligence g, brain size, and social status" til publikation.

31. januar 2005

I et brev til institutleder Jens Mammen skriver Nyborg om voksendata:

»Den tidlige angivelse af N=52 refererede til komplette data for 52 voksne fp. Udregninger baseret på disse data er trukket tilbage, idet mere fuldstændige data nu foreligger. De efterfølgende analyser er baseret på komplette data for 62 voksne fp.«

3. marts 2005

I dokumentet "Note.doc" (fra bilag 110 i aktindsigten), som Nyborg fremsendte til Jens Mammen den 3. marts 2005, skriver han:

Kære Jens Mammen.

Hermed de ønskede filer – forsynet med person ID og køn.

Den ældste fil med N=52 blev overskrevet ved opdateringen.

Med venlig hilsen
Helmuth Nyborg
3.3.05

14. marts 2005

I brev af 14. marts 2005 (bilag 59 i aktindsigten) skrive Nyborg at "Den oprindelige fil med data for 52 personer blev suppleret med nye data, således at der var komplette data på i alt 62 voksne"

18. marts 2005

Denne forklaring gentages på et møde den 18. marts 2005 med dekan Tom Latrup-Pedersen:

Tom Latrup-Pedersen spurgte til, hvorledes de 52 voksne i datasæt l forholdt sig til de 62 voksne i datasæt 2. Helmuth Nyborg oplyste, at de 52 voksne var indeholdt i de 62. Tom Latrup-Pedersen spurgte, om Helmuth Nyborg i dag var i stand til at rekonstruere det oprindelige dataset bestående af 52 voksne. Helmuth Nyborg oplyste, at det var han desværre ikke i stand til at genskabe, da hans assistent havde tastet nye individer direkte ind i grundfilen. Der burde naturligvis ikke være sket direkte inddatering i grundfilen, men desværre opdagede Helmuth Nyborg denne fejl så sent, at det ikke længere var muligt at gendanne dette datasæt.

7. juni 2005

I en email til dekan Tom Latrup-Pedersen den 7. juni 2005 skriver Nyborg at hans forsøgsassistent har været udenbys hvilket har forhindret ham i at kommentere spørgsmålet om de 52-62 forsøgspersoner (bilag 68 i aktindsigten).

9. juni 2005

I email til Jens Mammen og dekan Tom Latrup-Pedersen af 9. juni 2005 (bilag 69 i aktindsigten) skriver Nyborg:

Hvad angår udvælgelse og rekonstruktion af de 52 voksne, der nævnes i dit brev af 30. maj d.å., kan det siges at det objektive kriterium var (og er) hvorvidt en fp. har testdata for WAIS prøven. Dette kriterium gælder naturligvis både for de 52 og de 62 forsøgspersoner.

9. maj 2006

I maj 2006 skifter Nyborg sin forklaring. I sine kommentarer til det sagkyndige udvalgs rapport (DSUR) af 9. maj 2006 angiver Nyborg at det var en tastefejl. Han var simpelthen kommet til at skrive "5" og ikke "6" i tallet 62:

The explanation for the discrepancy between N = 52 and N = 62 is that a typing error of 52 made in 2001 was corrected to 62 when the data set later was fully updated. This typing error had no influence on the conclusion.

5. juli 2006

I et brev til rektor Lauritz B. Holm-Nielsen gentager Nyborg sin ændrede forklaring:

»Problemet med de 52-62 forsøgspersoner (fp) skyldes en trykfejl i konferenceindlægget (2001). Fejlen blev rettet i den endelige rapport (Nyborg, 2005) og ændrede ikke konklusionen (Køn loadede +.272 i 2001 konferenceindlægget, og +.274 i 2005 rapporten).«

Vi ser altså, at Nyborg gang på gang taler om, at der er først har været tale om 52 forsøgspersoner, og at der siden blev fundet 10 ekstra, så der nu var 62. Men pludselig ændrer Nyborg forklaring. I kommentarer til DSUR skriver han nu, at der er tale om en "skrivefejl".

I DSUR lader udvalget tvivlen komme Nyborg til gode. De skriver:

In particular the most obvious explanation behind the two diﬀerent data sets is that the 62 persons have been analysed from the beginning, at least for most of the variables, so that there may never have been much if any analysis of a N = 52 data set. This borders on carelessness, but gives no indication of improper selection of a subset that particularly suits any preconceived structure in the data.

Denne forklaring kan imidlertid ikke være rigtig, for hvis der hele tiden har været data for 62 individer, ville den gennemsnitlige alder af de mandlige og kvindelige forsøgspersoner ikke ændre sig.

I sagsakterne fra Nyborgsagen ved Aarhus Universitet indgår en oversigt over Nyborgs data lavet af daværende institutleder Jens Mammen (bilag 52). Af denne fremgår, at de 62 forsøgspersoner kommer fra to forskellige grupper. En gruppe på 31 kommer fra en tværsnitsundersøgelse foretaget i 1990 (16 mænd og 15 kvinder), de resterende 31 (15 mænd og 16 kvinder) kommer fra fire forskellige undergrupper af længdesnitsundersøgelsen, og de er testet på forskellige tidspunkter.

Det er et faktum, at længdesnitsundersøgelsen led under et kolossalt frafald (herom i et senere blogindlæg) og langt de fleste observationer var ikke komplette. I brev til institutleder Jens Mammen indrømmede Nyborg at han i "de tidligste analyser" havde udfyldt tomme dataceller med middelværdier (bilag 59):

"De tidligste analyser var henvist til enten at trække på færre fp. med komplette data, eller inddrage fp. med ukomplette data (hvor der så anvendtes mean substitution metoden), eller medinddrage gentagne observationer af børn i det longitudinelle stræk."

Det er således meget sandsynligt, at Nyborg har "udfyldt" nogle af de manglende felter med middelværdien (mean substitution) af variablerne fra resten, og på denne måde har fiflet sig frem til 10 ekstra forsøgspersoner. Det er fuldstændig ukorrekt omgang med data at "opfinde" nye forsøgspersoner på denne måde, og det er uredeligt at holde denne oplysning hemmelig.

Men hvad var formålet med at fifle sig frem til 10 ekstra forsøgspersoner? Forklaringen er, at Nyborg er forblændet af et tal, der hedder statistisk signifikans, og der er per konvention en magisk grænseværdi, der hedder 5 procent. Er den statistiske signifikans under 5%, kan man betragte beregningerne som signifikante. Og ved at tilføje 10 forsøgspersoner kom den statistiske signifikans lige under 5%.