Gains de QI par l’effet de la pratique : Absence du facteur g

Dans le présent article seront analysées deux études présentant des effets ‘test-retest’ sur le QI, précisément Watkins (2007) et Schellenberg (2004, 2006). Les deux études utilisent le test d’intelligence de Wechsler. Malgré la présence d’un gain de QI, la corrélation entre changement du score et la saturation en g des sous-tests du Wechsler est négative, comme l’indiquaient déjà des études précédentes. Dans la mesure où g, l’ingrédient actif des tests cognitifs (Gottfredson, 1997), est absent des gains cognitifs, on devrait en conclure que l’effet de la pratique n’influence pas l’intelligence manifeste, mais uniquement les scores observables, et non les scores latents.

Pour introduire le topic, Skuy et al. (2002), Coyle (2006), Nijenhuis et al. (2001, 2007) ainsi que Reeve & Lam (2005, 2007), Lievens et al. (2007), Matton et al. (2009, 2011), Freund & Holling (2011), Arendasy & Sommer (2013), avaient pu démontré que les effets de pratique n’étaient pas liés au facteur g des tests de QI.

Nijenhuis et al. (2007) ont analysé les effets des gains séculaires du QI, connus sous l’effet Flynn, démontrant une corrélation parfaitement négative avec les saturations en g des tests cognitifs. Les auteurs ont aussi ré-analysé l’étude de Skuy et al. (2002) avec le résultat que les gains de QI chez les participants noirs, blancs, indiens et hybrides d’Afrique du Sud qui ont bénéficié du programme nommé Mediated Learning Experience (MLE) n’étaient pas liés à g. Le test d’intelligence fut le RSPM (Raven). Concrètement, les auteurs corrèlent les gains de scores avec les scores prétest (et non post-test) du RSPM. Ils notent également que le déclin de la variance totale expliqué par le premier composant principal, ou g, dans les scores post-test est probablement dû au phénomène connu sous le nom de “test sophistication” qui consiste en ce que les participants adoptent des stratégies différentes pour accroître leur score, ce qui fut permis par le programme MLE consistant notamment à faire du “coaching” sur les tests de QI, autrement dit, à “apprendre” les tests de QI. Nijenhuis (2001, p. 36) avait expliqué ce phénomène. Skuy et al. (2002), notamment, avaient démontré plus tôt déjà que les gains sur le RSPM n’étaient pas généralisables aux autres tests cognitifs (e.g., Stencil) qui requièrent la pensée abstraite, et donc vides en g-saturation, et ce, bien que les étudiants noirs ont vu leur score s’améliorer davantage que pour le groupe des étudiants blancs. Matton et al. (2011) ont mis en évidence le même phénomène. Alors même que les preneurs de tests de second passage (retakers) ont des scores supérieurs aux preneurs de tests de premier passage (first-time test takers) sur les ‘vieux’ tests, ces preneurs de tests de premier et de second passage sur les ‘nouveaux’ tests cette fois n’ont pas des scores sensiblement différents. Ils font ensuite valoir que les différences dans la structure des moyennes de scores suggèrent la violation de l’invariance de mesure, signifiant ainsi que les scores post-tests ne mesurent plus exactement la même chose que les scores prétests.

Coyle (2006, Table 3) pour sa part, utilisant un mixte de tests cognitifs et d’aptitudes scolaires, démontre que le SAT possède de fortes saturations sur PC1 tandis que les changements de scores du SAT dûs à des effets de pratique ou test-retest ont des charges élevées sur PC2 et proches de zéro sur PC1. Il montre également dans une seconde analyse que les scores SAT corrèlent avec avec les évaluations scolaires (GPA, Grade Point Average) alors même que les changements de SAT scores ne corrélaient pas avec le niveau GPA (Table 5).

Reeve & Lam (2007, Table 3) corrèlent eux aussi le vecteur des gains avec le vecteur des charges en g, avec une preuve démontrée d’une association significativement négative. Ils découvrent aussi (Table 4) que la motivation est en quelque sorte associée avec les gains dans le QI composite, et pourtant, le rôle du facteur motivationnel n’apparaît que très peu cohérent dans le schéma des corrélations avec les gains de scores dans les divers sous-tests de QI; corrélations négatives dans certains domaines et positives dans d’autres domaines. Les mêmes auteurs (2005) avaient auparavant démontré, néanmoins, la preuve de l’invariance de mesure, et que les gs (dérivés d’analyses CFAs indépendantes) au jour 1, jour 2, et jour 3, étaient fortement corrélés (Table 5). Ils montrent aussi (Table 6) que l’effet de pratique ne cause pas de changement significatif dans la validité reliée au critère (variable dépendante, e.g., GPA, par opposition à la variable indépendante ou prédicteur), dans la mesure où la corrélation du g-factor score avec le GPA auto-déclaré ne change pas significativement au travers des jours 1, jours 2, et jours 3. Néanmoins, ils notent : “Given that not all applicants may have had exposure to practice, differences in observed test scores may not accurately reflect individual differences on the construct of interest (i.e., g). That is, although the indicators on the test continue to relate to g and to narrow group factors in the same way across testing occasions, the observed total test score is likely to increase due to changes on either test-specific skills (i.e., skills not shared across the various scales) or other non-cognitive constructs. Thus, applicants who re-test are essentially being given the opportunity to boost observed scores by practicing those non-ability components. In addition to questions of fairness, such differences might alter the predictive validity of the observed total test scores (Sackett et al., 1989), even though the predictive validity of g and narrow group factors would remain unchanged.” (p. 546).

Le résultat de cette étude a été commenté par Lievens et al. (2007, p. 1680) qui eux sont parvenus à une conclusion inverse, à savoir que les comparaisons test-retest indiquent des biais de mesure. Statistiquement, ils testent la soutenabilité des quatre niveaux de l’invariance de mesure, 1) invariance configurale (i.e., égalité dans le nombre des facteurs et schéma des saturations en facteur à travers les groupes), 2) invariance métrique (i.e., égalité des saturations en facteur), 3) invariance scalaire (i.e., égalité des intercepts), et 4) invariance d’unicité (i.e., égalité dans les termes d’erreur). Le rejet de l’invariance métrique suggère que le test mesure différents facteurs à travers les groupes tandis que le rejet de l’invariance scalaire suggère que les items ou sous-tests présentent une difficulté inégale à travers les groupes. Le 2ème niveau d’invariance est connu sous “weak measurement invariance”, le 3ème niveau sous “strong invariance”, et le 4ème niveau sous “strict invariance”. L’invariance de mesure est dite être respectée lorsque le troisième niveau, au minimum, est atteint (Les niveaux 1, 2 et 3 maintenus simultanément). Ce que les auteurs ont découvert néanmoins est que l’invariance métrique et l’invariance d’unicité ont été transgressées. Les accroissements de scores sont dûs aux spécificités (uniqueness) des tests, cohérent avec la théorie de Lubinski, qu’ils décrivent ainsi : “Lubinski’s (2000) suggestion that practice builds up “nonerror uniqueness” components of ability tests – factors such as method-specific knowledge [1] (aka, test-wiseness), specific item content knowledge, or narrow skills unique to the item content (e.g., memorization of numbers).” (p. 1675). La spécificité non-erratique se réfère ici au fait que la spécificité contient à la fois la variance d’erreur aléatoire et systématique non partagée avec les autres indicateurs. Leur analyse du biais prédictif supporte l’idée que les effets de pratiques n’affectent pas le facteur g, comme ils écrivent : “These results reveal that the general factor derived from the retested data (i.e., Group A2) did not predict GPA (r = .00, ns), whereas the general factor derived from the group who did not retest (Group B) did predict GPA significantly (r = .48, p < .01).” (p. 1678). Comme test additionnel (Table 5), ils corrèlent le facteur latent général avec les scores sur le test de mémoire inclus dans la batterie complète de tests cognitifs et ont dérivé un g-score indépendant basé sur les scores échelonnés de la batterie de tests restante (en conduisant une analyse en facteurs principaux et en retenant le premier facteur non orienté, qu’ils nomment la variable GCA). La corrélation entre le facteur latent général et GCA était supérieure pour les sujets testés une fois (groupe B) que pour les sujets testés deux fois (groupe A2 pour deux fois, A1 pour une fois), avec r de 0.40 versus 0.22. Aussi, la corrélation entre le facteur latent et la mémoire augmente avec la ré-administration des tests QI (de -0.03 à 0.29). De plus, le facteur latent dérivé des scores retest était corrélé plus fortement avec la mémoire (r=0.29) qu’il ne l’était avec la variable GCA (r=0.14). Cette découverte, insistent-ils, est cohérent avec Reeve & Lam (2005, pp. 542-543) qui ont trouvé qu’après chaque administration de test, la variance attribuable au facteur de mémoire court-terme augmente tandis que les facteurs g, verbaux, visuo-spatiales et quantitatifs ne varient pas. Finalement, en utilisant la méthode des vecteurs corrélés de Jensen, Lievens et al. rapportent seulement une corrélation modérée (r=0.27) entre les vecteurs des factor scores dérivés des groupes A1 et A2, séparément.

Matton et al. (2009) ont tenté de tester l’invariance de mesure, également, et ont conclu que l’invariance métrique est transgressée, mais aussi que les gains de scores peuvent être expliqués par des effets situationnels communs, dans la mesure où le modèle d’invariance dans les variations d’erreurs a été retenu. Cela signifie que les erreurs temps 1 et temps 2 sont corrélées. Ils font valoir que les études précédentes ont peut-être testé la nature des gains de QI en ce qui concerne la spécificité des tests mais pas si ces gains pourraient être attribuables à des effets situationnels, qui englobent tous les effets dûs à la spécificité de l’état de la personne dans la situation présente, et qu’ils décrivent comme suit : “Situational effects were first formalized within the SEM framework in the Latent State-Trait Theory (Steyer, Ferring, & Schmitt, 1992; Steyer, Schmitt, & Eid, 1999). This theory states that any test score measures characteristics of the person (traits), but also measures characteristics of the situation and characteristics of the interaction between person and situation. Taken together these factors create a psychological state specific to the situation to which the person is exposed. Following this theory, a test never measures trait differences only but also individual differences due to situational effects.” (p. 413). Jensen (1998, p. 312) donne l’exemple des mesures d’ombre comme illustration.

Freund & Holling (2011, pp. 238-239) ont été capables de démontrer que les gains en scores dans les matrices d’items générés par ordinateur transgressent là encore l’invariance dans les paramètres de difficulté d’items. Ils comparent quatre groupes : 1) training + identical retest, 2) training + parallel retest, 3) no training + identical retest, 4) no training + parallel retest. La distinction est importante en ce que les effets d’entrainement ou coaching, par opposition aux effets de pratiques, impliquent une intervention d’un certain type. Il est bien connu, disent-ils (p. 234), que les tailles d’effet pour les effets d’entrainement sont supérieurs aux tailles d’effet pour les effets de pratique ou retest. Les auteurs rapportent de plus hauts gains pour les groupes entraînés vs contrôle. Bien qu’ils rapportent aussi de plus hauts gains pour les formes de tests identiques vs parallèles, il est apparu néanmoins que les gains différentiels disparaissent lorsque les variations individuelles dans l’intelligence générale ont été contrôlées.

Arendasy & Sommer (2013) proposent un autre test d’invariance de mesure en utilisant MGCFA. Au niveau du score du test, ils découvrent que “the strong measurement invariance model (M3) assuming equal intercepts across test forms fitted the data significantly worse than the weak measurement invariance model (M2).” même si l’invariance stricte de mesure à travers les formes de test est soutenable au niveau de l’item. Ils testent finalement la relation entre les gains en score et la saturation en g par MCV. Cette corrélation fut de -0.29. Ils concluent que le retest provoque des biais uniformes de mesure. Les auteurs suggèrent (p. 184) que les formes identiques et alternatives de retest doivent être prises en compte du fait qu’elles peuvent influencer les résultats. Leur commentaire sur certaines des précédentes études vaut la peine d’être considéré :

In line with Reeve and Lam (2005) our results indicated strict measurement invariance within- and across test administration sessions at the item level; indicating that retest score gains are attributable to an increase in narrower cognitive abilities. Although this finding confirmed our hypothesis regarding the two alternate retest forms, we would have expected to find measurement bias at the item level in case of the identical retest forms. The finding that measurement invariance at the item level can even be assumed for identical retest forms contradicts previous research findings (cf. Freund & Holling, 2011; Lievens et al., 2007). Several design characteristics of our study may account for this seemingly conflicting finding. First, Freund and Holling (2011) never examined measurement invariance across test form in a between-subject design. Therefore their finding that retesting induces uniform measurement bias in case of identical retest forms could also be due to differences in the psychometric characteristics of the two test forms. …

The interpretation of retest effects in terms of an increase in narrower cognitive abilities has also been supported in our multigroup confirmatory factor analyses. The results indicated that weak measurement invariance can be assumed, which means that retesting does not affect the g-saturation of the four cognitive ability tests. However, retesting induced a uniform measurement bias, which indicated that retest score gains are confined to narrower cognitive abilities and do not generalize to psychometric g.

Dans l’ensemble, ces documents apportent des preuves supplémentaires de l’échec des interventions notamment éducatives (e.g., Milwaukee Project) dans la tâche de généraliser les gains de QI (Herrnstein & Murray, 1994, pp. 408-409; Jensen, 1998, pp. 340-342). Une autre étude d’intérêt (Ritchie & Bates, 2013) indique que l’éducation (avec QI à l’enfance contrôlé) est positivement associée au QI à l’âge de 79 (échantillon 1) et 70 (échantillon 2) mais qu’il n’y a pas eu d’amélioration dans la vitesse de traitement, ce qui suggère fortement l’idée que l’éducation n’améliore pas g.

Étude #1. Les détails de l’échantillon de Watkins (N=289) sont décrits dans le document. Watkins et al. (2007, Table 3) nous donnent les coefficients de stabilité/fiabilité pour chacun des tests. Je ne les ai pas utilisé pour le test de la méthode des vecteurs corrélés ci-dessous. En fait, la correction pour fiabilité n’affecte pas les corrélations si appliquée aux changements de QI et à PC2 (non-g loadings), en revanche le PC1 (g-loadings) corrigé montre des corrélations moins négatives avec les changements de QI. Maintenant, les tests utilisés sont un mélange de tests de rendement et du WISC-III. L’interval test-retest fut de 2,8 ans.

La 1ère analyse montre un scatterplot des changements de QI sur les charges en g (calculées via une analyse en composantes principales, sur les intercorrélations des tests à temps 1, fournies dans le document). Dans la seconde analyse (voir Coyle 2006), j’ai rajouté aux intercorrélations de sous-tests les gains de QI pour chaque sous-test (voir fichier EXCEL à la fin du blogpost) et reconduit une analyse en composantes principales.

Il est clair que les changements de QI ne sont pas liés à g, et ont de fortes saturations dans les facteurs représentant les variations non liées à g (PC2 ou PC3).

Étude #2. Schellenberg (2004, 2006) donne les détails de son échantillon apparemment non aléatoire (N=144). Le groupe expérimental comprend 72 enfants, le groupe de contrôle 72 également. Chaque groupe est composé de 2 sous-groupes (keyboard et voice pour le groupe expérimental, drama et no lessons pour le groupe de contrôle) mais étant donné les échantillons modestes, j’ai choisi de ne pas diviser les groupes davantage. Le test cognitif utilisé est le WISC-III. L’interval test-retest est de 1 an, puisque le groupe d’étude a reçu des leçons de musique pour 1 an.

Ce qui est intéressant, comme nous voyons, est que la corrélation négative entre gains de QI et g est plus forte dans le groupe expérimental. Ce phénomène a été également constaté par Nijenhuis et al. (2007, p. 294). Il semblerait que les gains étaient plus larges sur les sous-tests moins chargés en g. Il doit cependant être précisé, néanmoins (Schellenberg, 2006, pp. 461-462), que les leçons de musique semblent être positivement associées à la performance académique même après que les différences individuelles de QI ont été maintenues contantes. Fait intéressant, malgré le fait que l’association de long terme entre leçons de musique et QI a été prouvée dans son étude (2006), il admet ceci : “In Study 2 (undergraduates), each additional year of playing music regularly was accompanied by an increase in FSIQ of one third of a point (b = .333, SE = .134), after partialing out effects of parents’ education, family income, and gender. In childhood, then, six years of lessons (assuming 8 months of lessons per year) was associated, on average, with an increase in FSIQ increase of approximately 7.5 points, which is half a standard deviation and far from trivial. But the same 6 years of playing music regularly in childhood were predictive of an increase in FSIQ of only 2 points in early adulthood. In other words, short-term associations were stronger than long-term associations, which is in line with other findings indicating that associations between cognitive functioning and environmental factors decline throughout childhood and adolescence (Plomin et al., 1997).” (p. 465).

Discussion. Une des limites de la méthode de Jensen des vecteurs corrélés consiste en ce que le faible nombre de sous-tests (e.g., 10) rend la force de corrélation et leur direction pour le moins instable. Comme démontré dans mon analyse de l’étude d’adoption de Capron & Duyme, le seul sous-test Coding avait un impact considérable sur l’absence de corrélation entre facteur g et gain de QI par l’adoption. Cela ne veut pas dire que ce sous-test se doit d’être éliminé, mais que des batteries plus larges sont nécessaires, de même que des réplications supplémentaires. Ma méta-analyse des corrélations du facteur g avec les indices d’héritabilité des tests cognitifs démontre parfaitement les difficultés de cette méthode lorsqu’elle est appliquée à un nombre insuffisant de sous-tests. Quoi qu’il en soit, voici le fichier Excel (XLS) pour les chiffres additionnels et matrices de corrélations pour les deux études analysées.