Skanderborg IV: Konklusionen har vi, nu skal der bare skaffes data
1. januar 2014
Vi så i sidste indlæg i denne serie at Nyborg i sin grundhypotese går ud fra som givet, at kvinder er dummere end mænd. Det er kun et spørgsmål om hvor meget. Men så er det jo praktisk at man på forhånd kan rigge undersøgelsen til, så man får det ønskede resultat. Hvordan det hænger sammen, skal vi kigge på nu.
Vi skal nemlig kigge på det udvalg af IQ-tests, også kaldet et testbatteri, Nyborg anvendte i sit Skanderborgprojekt, og som bestod (for de 16-18 årige) af 20 del-tests (subtests), hvoraf de 11 var standard intelligenstests (den såkaldte WAIS-R test). De 9 resterende subtests var diverse andre intelligens- og færdighedstests, hvoraf nogle er udviklet af Nyborg selv. Af disse 9 er de to imidlertid stort set identiske, det drejer sig om Nyborgs egen Rod-and-Frame dependence test og den ældre Rod-and-Frame field dependence test som i N=62 datasættet har en indbyrdes korrelation på 0,94.
Generelt kan man sige om de standardiserede intelligenstests, at de ikke kan bruges til at bestemme kønsforskelle med, af den simple årsag at de ikke er beregnet til det. De er tværtimod designet til at behandle mænd og kvinder ens. Det er et i sig selv interessant faktum, at mænd og drenge er bedre til opgaver af matematisk-rumlig karakter, og kvinder er bedre til opgaver med et verbalt indhold. Med mindre man på forhånd ønsker at definere matematisk-rumlige evner som en vigtigere del af intelligensen end de sproglige, må de enkelte subtest altså afbalanceres så de behandler kvinder og mænd ens. Altså, så en normalbegavet kvinde og en normalbegavet mand begge opnår en IQ på 100. Dette emne er behandlet tidligere i et indlæg i Århus Stiftstidende den 7. januar 2008. Da de 9 subtests, Nyborg tilføjede til de standardiserede WAIS-R tests således favoriserer mænd, vil det ikke være overraskende for de fleste, at den samlede test også vil favorisere mænd.
At det forholder sig således kan man overbevise sig om ved at af se på de effect scores vi kiggede på i sidste indlæg om Skanderborgprojektet. Foretager man beregningen af kønsforskellen i Nyborgs N=62 datasæt ved udelukkende at kigge på WAIS-R standard tests finder man:
WAIS tests only (11): average effect size: 0.1015628 average IQ equivalent: 1.523441 95% confidence interval of effect size: -0.3991621 < d < 0.6022876 95% confidence interval of IQ equivalent: -5.987431 < IQ < 9.034314
IQ forskellen er med andre ord 1,5 ± 7,5 i mændenes (drengenes) favør — en forskel som i parentes bemærket ikke er statistisk signifikant. Kigger man nu på de 9 ekstra tests alene, finder man tilsvarende:
Nyborg tests only (9): average effect size: 0.3486596 average IQ equivalent: 5.229894 95% confidence interval of effect size: -0.1540072 < d < 0.8513264 95% confidence interval of IQ equivalent: -2.310108 < IQ < 12.7699
Altså en IQ forskel på 5,2 ± 7,5 i mændenes favør, heller ikke en statistisk signifikant forskel, men alligevel en forskel, som er over 3 gange så stor som den man finder i den standardiserede test. De 9 ekstra subtests Nyborg har tilføjet påvirker derfor det samlede resultat i mændenes favør, en effekt der kaldes bias. Se iøvrigt figur samt figurtekst herunder.
At Nyborg selv erkender at sammensætningen af testbatteriet kan være et problem kan ses af at han i Nyborg (2005), p. 499 revser Jensen for netop at have begået samme fejl i en ældre undersøgelse:
»However, the female g lead disappeared after Jensen eliminated the unusually large number of test items favouring females in the General Aptitude Test Battery, and repeated the factor analysis. In other words, the female g superiority was an artefact due to test bias that favoured females.«
og i bogkapitlet fra 2003 skriver han (p. 195):
»As mentioned previously, verbal and spatial tests typically benefit females and males differently; and their simultaneous presence in a test battery would tend to balance out the sex biasing effect.«
Nyborg tror imidlertid ukorrekt at den bias i mændenes favør han godt ved findes i hans testbatteri forsvinder gennem den statistiske procedure han anvender ("hierachial factor analysis"):
»In other words, because the sources of variances due to test specificity and possible group factor biases are sorted out already at lower levels, the higher order g factor emanates as a largely uncontaminated function of general ability, reflecting mostly the variance that is common to all factors below.«
I rapporten af 16. marts 2006 gør Det Sagkyndige Udvalg en hel del ud af at forklare at Nyborgs antagelse er forkert (p. 5):
»Nevertheless we want to put on record two clear mathematical facts that Nyborg does not seem to be aware of. First, there is an inherent unidentifiability in the g–factor method used by Nyborg, which makes it impossible to separately estimate sex differences in the mean of the g–factor from sex differences in the primary factors. Second, Nyborg claims that his version of the g–factor method avoids the problem that the conclusion will reflect gender bias in the composition of the test battery. However, we show in Appendix D that Nyborg’s g–factor method too has this undesirable property.«
Og videre, i afsnit 7.2 skriver Udvalget:
»Nyborg seems to think that when using the g-factor and somehow correlating this with the differences in the means of the test variables the above mentioned problems have been avoided. However, the method used by Nyborg based on the point biserial correlation inserted in the correlation matrix reduces approximately to a weighted sum of the effect sizes d (see Appendix D, formula (9)). Typically, these weights are almost all positive and, intuitively, what is measured is therefore the overweight of tests in the battery that favours one of the sexes. We are therefore precisely back to the problem that Nyborg purports to avoid. For the actual test battery that Nyborg uses we have a strong bias towards males with 16 or 17 out of the 20 tests giving a positive effect size.«
Det Sagkyndige Udvalgs konklusioner kan vist ikke misforstås. For det første (og her henvises til et matematisk bevis i Appendix D) kan den variabel der beskriver køn ikke identificeres i den faktoranalytiske metode, og for det andet elimineres den bias der eksisterer i testbatteriet ikke gennem den statistiske vridemaskine.
Naturligvis ikke.
