Freakonometrics

Pour le projet d'analyse des données, je propose une nouvelle base ici. Il s'agit d'une enquête européenne sur les valeurs. Le détail des variables est donné ici. Attention, les modalités changent en fonction des questions,

V7. Discussing politics

1.  frequently discussions
2. occasionally
3. Never

1. a great deal
2. quite a lot
3. not very much
4. none at all

1. very much
2. much
3. to a certain extent
4. not so much

Avec R, il est très simple de visualiser les classes obtenus lors d'une classification. Mais avec XLStat.... on peut visualiser les nuages sur le plan principal (obtenu par ACP) ou alors visualiser les barycentres des classes sur le plan principal. En fait, il suffit de rajouter la variable correspondant à la "classe" dans le tableau initial, puis de faire une ACP en mettant la "classe" comme variable supplémentaire (qualitative). On commence par faire la classification des individus,

Ensuite on récupère la colonne et on la colle avec le tableau des données,

Enfin, on fait une ACP en rajoutant la classe comme variable supplémentaire.

On peut alors plus facilement interpréter les classes: ici le groupe 3 sont les "bons élèves", le groupe 1 les "élèves moyens" et enfin le groupe 2 les "moins bons élèves".

Sinon la base qui a servi pour cet exemple sera utilisée lors du dernier TD. Je mets aussi un lien vers la classification des bordeaux.

Un petit exemple de ce que j'attends dans le projet*, avec un exemple assez simple: les notes des élèves de L3 AES de l'an dernier... Tout d'abord une description sommaire de la base. Ici, on note déjà qu'il y a beaucoup de "valeurs manquantes", et le traitement par défaut des valeurs manquantes est d'enlever les observations avec des valeurs manquantes. Bref, on va perdre du monde...

On peut noter que les moyennes par cours sont assez différentes,

Certains cours sont très discriminants, d'autres moins. Si on fait une ACP centrée réduite (corrélation, à droite) ou sur les données brutes, il y a des différences minimes.

De même si au lieu de prendre les notes (mêmes normalisées), on peut prendre les rangs des élèves (corrélation de Spearman, à droite)

L'interprétation du 1er axe est simple: à droite, on a une bonne note, à gauche, une mauvaise. Pour le second axe, c'est un peu plus compliqué. On peut d'ailleurs aller voir un peu au delà, en particulier l'axe 3,

Encore une fois, on ne fait que regarder des projections des colonnes, i.e. un nuage en dimension 28... on notera que les 3 premiers axes expliquent déjà beaucoup de variance, de l'ordre de 2/3 de la variance totale. On peut essayer d'ailleurs de visualiser le nuage en dimension 3 (les 3 premiers axes principaux),

mais on ne voit pas grand chose... Pour expliquer les axes (et mettre un nom), on peut étudier les contributions des variables, et le signe de la projection sur chacun des axes principaux

Bon, l'axe 1, c'est les bons (+) contre les mauvais (-). L'axe 2, ça serait les matières quantitatives (-) contre des matières plus littéraires (+). L'axe 3, ça serait peut être la sociologie (-) contre la finance (+). Voilà pour l'interprétation rapide, mais pour aller un peu plus loin, on peut rajouter des variables explicatives. Par exemple la moyenne au 1er et au 2nd semestre, ou l'âge (je prends pour l'instant des variables continues, quantitatives).

On voit que l'âge joue négativement sur les notes: les personnes très âgées ayant du mal. Par contre, on trouve une autre interprétation pour l'axe 2, i.e. 1er semestre (-) contre le 2nd (+). Ca ne suffit pas ? prenons des variables qualitatives, comme le sexe, ou l'âge (on a très peu de modalités)

Le sexe n'influence pas les notes (projection identique sur l'axe 1), mais visiblement les filles bossent plus au 1er semestre, et les garçons au second.

Je vous laisse d'ailleurs vérifier les coordonnées des âges sur tous les axes, en tant que variable qualitative au dessus, ou continue en dessous,

Bon, faisons un peu de classification pour voir si des matières se ressemblent, et s'assemblent... Avec tout d'abord une distance euclidienne et une agrégation à la Ward,

ou bien toujours une distance euclidienne, mais une agrégation single ou complete,

On notera une certaine cohérence dans les classes, par exemple les cours d'économie internationales se retrouvent, ou plus quantitatifs (statistique et marketing). On pourrait analyser des heures, mais la taille de mon blog est un peu limitée...

Pour finir, j'ai voulu voir si on pouvait expliquer la réussite ou pas en L3, via une analyse discriminante (réussite signifiant plus de 10 de moyenne globalement). On peut commencer par un modèle logit,

On note que certaines matières interviennent positivement dans la réussite, ce sont les matières les plus discriminantes (e.g. "politique économique", plus petite moyenne, plus grand écart-type), alors que d'autres ne servent à rien (tout le monde - ou presque - les validant). Voici d'ailleurs l'analyse graphique des coefficients,

Le gros défaut du modèle est de supprimer les valeurs manquantes, i.e. des gens qui n'ont pas participé à certaines UE... Sur 28 qui ont tout passé, 2 n'ont pas validé leur année... On peut d'ailleurs valider facilement ce point avec une analyse discriminante,

Bref, je classe bien tout le monde... mais c'était facile...

Essayons quelque chose de plus dur ? Peut-on devenir le sexe d'un élève à partir de ses notes ? Y-a-t-il des matières qu'un élève masculin ne peut pas réussir ?... et oui, à partir des notes, j'ai pu retrouver le sexe de tout le monde, sauf une personne...

Effectivement, j'ai su créer une variable très discriminante sur le sexe à partir des notes.. ma courbe ROC est très impressionnante (même si l'exercice ne sert à rien),

On peut d'ailleurs regarder quelles matières sont discriminantes pour déterminer le sexe d'un élève...

Visiblement, les hommes sont à gauche sur l'axe 1 (-) et les femmes à droite (+). Visiblement, les filles sont plus douées pour les matières quantitatives (statistique ou marketing), et les hommes pour les relations internationales... Encore une fois, cette étude est purement illustrative et ne sert pas à grande chose (d'un point de vue pratique). Mais au vu du pouvoir prédictif de mon analyse, j'aurais pu l'intituler "sexe et études", histoire de la rendre plus attirante...Bon, on pourrait continuer des heures, mais voilà l'idée, à vous de jouer...

* je veux bien essayer de le faire sous Excel, même si les outils sont limités.

Les slides de la cinquième partie sont en ligne sur mon blog. Parmi les cours en ligne, je renverrais aux nombreux papiers d'Hervé Abdi, à Dallas,en particulier sur l'analyse discriminante (ici), sur les principales distances utilisées en ADD (ici), ou encore l'ACM (ici). Sinon, côté données, les codes R sont les suivants, 

etudiants<-read.table("http://perso.univ-rennes1.fr/arthur.charpentier/saporta.csv",header=TRUE,sep=";")
titanic<-read.table("http://perso.univ-rennes1.fr/arthur.charpentier/bordeaux_R.txt",header=TRUE)

Sur la CAH, nous avons vu que l'on a deux degrés de liberté, fondamentaux pour l'analyse

• le choix de la distance (min, max, euclidienne, minkowski...)
• le choix de la méthode de regroupement, ou d'agrégation (ward, single, complete...)

• Minimiser la trace de W pour un nombre de classes donné, revient à minimiser la variance intra-classe totale, c'est à dire minimiser l’hétérogénéité des groupes.
• L'utilisation du déterminant de W permet de construire un critère nettement moins sensible aux effets d’échelle.
• Le critère du lambda de Wilks correspond à la division du déterminant(W) par le déterminant(T) où T est la matrice d'inertie totale: aussi, la division par le déterminant de T permet d’avoir un critère toujours compris entre 0 et 1. Mais sinon les résultats donnés par la minimisation de ce critère sont identiques à ceux donnés par le déterminant de W.
• enfin le dernier critère est plus long (mais plus robuste) car au lieu d'utiliser le barycentre d'une classe (i.e. la moyenne) on utilise un point médian.

Tout au long de l'analyse en composantes principales, nous avons parlé du "cercle des corrélations". Cette notion est fondamentale en ACP, et je voulais insister un peu sur ce point pour le démystifier,

"A chaque point-variable, on associe un point dont la coordonnée sur un axe factoriel est une mesure de la corrélation entre cette variable et le facteur. Dans l'espace de dimension p la distance des points-variables à l'origine est égale à 1. Donc par projection sur un plan factoriel les points-variables s'inscrivent dans un cercle de rayon 1 - le cercle des corrélations - et sont d'autant plus proche du bord du cercle que le pointvariable est bien représenté par le plan factoriel, c'est-à-dire que la variable est bien corrélée avec les deux facteurs constituant ce plan."

L'angle entre 2 variables, mesuré par son cosinus, est égal au coefficient de corrélation linéaire entre les 2 variables: cos(angle) = r(X1,X2)

• si les points sont très proches (angle proche de 0) : cos(angle) = r(X1,X2) = 1 donc X1 et X2 sont très fortement corrélés positivement
• si a est égal à 90° , cos(angle) = r(X1,X2) = 0 alors pas de corrélation linéaire entre X1 et X2
• si les points sont opposés, a vaut 180°, cos(angle) = r(X1,X2) = -1 : X1 et X2 sont très fortement corrélés négativement

Attention, on ne peut interpréter que les variables situées au bord du cercle. En effet, seuls ces points là sont "bien" projetés, comme le rappelle le dession ci-dessous,

Comme je l'ai mentionné en cours, on trouve des applications de l'analyse des données un peu partout, y compris en sciences sociales, et par des auteurs qu'on ne soupçonnerait pas forcément être très à l'aise avec la recherche de vecteurs propres et de facteurs principaux. C'est le cas dans La Noblesse d'Etat, de Pierre Bourdieu, datant de 1989, qui illustre constamment l'analyse à l'aide de projections sur le plan principal.

On pourra noter qu'au delà de la projection - proprement dite - Pierre bourdieu donne également un "nom" à ses axes principaux, ou une interprétation, avec un premier axe correspondant à la "qualité" de l'établissement scolaire, et le second axe reflétant l'autonomie.