Freakonometrics

Un petit billet sur la multicolinéarité (que j'avais un peu abordé ici par exemple), pour répondre à la question de savoir si c'est "grave" (je reprends la phrase d'un mail que j'ai reçu récemment).

• Ca existe la multicolinéarité ou bien on ne voit ça qu'à la télé ?

La multincolinéarité correspond au fait que les variables explicatives sont parfois très corrélées... C'est loin d'être exceptionnel...
Par exemple (je reprends un exemple que je connais bien) en tarification des contrats d'assurance automobile, on peut avoir plusieurs informations à notre disposition, par exemple l'âge du conducteur, et l'ancienneté du permis de conduire... Ces données ne sont pas colinéaires (ou comonotone) car il existe des personnes qui passent leur permis de conduire tard, mais on se doute qu'elles sont très corrélées.... Voici un petit exemple sur de vraies données (même si on ne voit pas forcément grand chose à priori car les données sont discrètes), avec en abscisse l'ancienneté du permis et en ordonnée l'âge du conducteur

(on notera que ce sont des vraies données avec des vraies erreurs, comme des jeunes de 20 ans qui ont le permis depuis 40 ans....). Si on calcule une corrélation entre les deux, on obtient 0,90 (pour la corrélation au sens de Pearson). Bref, les deux variables sont relativement corrélées... On parlera de multicolinéarité.

• Formulation du problème pour apporter des éléments de réponse

J'ai retraduit la question de manière un peu plus formelle....
On sait que la variable Y dépend de la variable  via un modèle que l'on supposera linéaire (pour faire simple, mais ça ne change pas grand chose sur le fond). Mais dans la base, on dispose de deux variables explicatives très corrélées (voire plus)  et . La question telle que je la comprends est la suivante: même si les variables sont très corrélées, est-ce que l'on est en mesure de ne garder que la bonne variable (en l'occurence ). On peut simuler le modèle suivant,
autrement dit j'ai deux variables explicatives Gaussiennes corrélées, et on génére
où  est un bruit indépendant des variables explicatives, suivant une loi normale centrée et réduite.
C'est le vrai modèle. Mais on cherche à estimer un modèle de la forme
On peut alors voir le problème évoqué initialement sous deux angles,

• Tester la significativité du second coefficient

En fonction de la corrélation, plus de 10,000 jeux de 200 points sont  générés, et on ajuste un modèle de régression sur les deux variables explicatives. On peut alors se demander si le second coefficient est significatif, et si la significativité est fonction de la valeur de la corrélation,
Sur la figure ci-dessous, on regarde la distribution de la p-value du test de significativité de Student sur la seconde variable (la distribution est ici estimée par noyau, avec tous les problèmes techniques que cela pose¹), avec une corrélation de 0,25 (en rouge), de 0,5 (en mauve) et de 0,75 (en bleu),

De manière surprenante (en tout les cas cela m'a surpris), on voit que peu importe la corrélation entre les variables explicatives, on rejette la significativité de la seconde variable dans 95% des cas. La figure ci-dessous montre les courbes de niveaux en fonction de la corrélation, comprise entre 0 et 1. On ne voit rien car quelle que soit la corrélation, la loi sous-jacente est uniforme sur [0,1],

• Utiliser des outils de sélection de modèle

Ce premier point est finallement assez rassurant... mais une autre quesstion pourrait être la suivante: si je compare les deux modèles suivants,
est-ce que je vais bien retenir le bon modèle. Plusieurs techniques sont souvent utilisées pour comparer les modèles. La plus classiques (comme j'en ai parlé ici par exemple) est l'utilisation du R² (ou du R² ajusté, mais comme le nombre de variables explicatives est identique ici, c'est équivalent de comparer l'un ou l'autre). Un outils plus intéressant, à mon avis est le critère d'information d'Aikaike (dit AIC).
Si l'on compare les R² des deux modèles, on est rassuré car le R² est presque toujours²  plus grand pour le premier (le bon) que pour le second, commen en témoigne la distribution de la différence entre les deux, sur autant de simulations que tout à l'heure, mais plus la corrélation est grande, plus la différence entre les R² diminue....

Si l'on utilise le critère d'AIC, on notera qu'il est presque toujours plus grand avec le premier modèle. En fait si l'un des critères est majoré alors l'autre aussi (mais ccela vient sûrement du fait que tout est Gaussien ici, ce qui fait que la log-vraisemblance - et donc le critère AIC - et le R² sont semblables)

¹ les estimateurs à noyau sur des supports compacts présentent des biais multplicatifs aux bords... La valeur en 0 par exemple vaut la moitié de la vraie valeur (car quand on estime la densité par noyau, on met la moitié de la masse sur les valeurs négatives, ou par construction il ne peut y avoir d'observation, cf ici).
² sur 10,000 simulations, je n'ai obtenu aucun cas pour lequel le R² du second modèle excédait le R² du premier si la corrélation était inférieur à 0,99, mais avec une corrélation de 0,999, cela pouvait survenir... Maintenant, des corrélations de cet ordre me paraissent surprenantes en pratique (au sens où les variables sont quasiment identiques)...