Freakonometrics

Last week, I went to the Econometrics seminar of Montréal, at UdM, where Alfred Galichon was giving a great talk on marriage market. Alfred is a former colleague (from France), a co-author, an amazing researcher, and above all, a friend of mine. And he has always be supportive about my blogging activities. So while we were having lunch, after the seminar, Alfred mentioned my blogging activity to the other researchers. I should say researchers in Econometrics (yes, with a capital E, since it is a Science, as mention in an old paper by David Hendry by the end of the 70's). Usually, when I am involved in this kind of meeting, I start with some apologies, explaining that I do like theoretical econometrics (if not, I would not come to the seminar), but I do like my freakonometrics activity. I do like to use econometrics (or statistical techniques) to figure out (at least to try) why some things works the way they do. I try to find data, and then try to briefly analyze them to answer some simple questions. Or sometime, I just run simulations to answer more theoretical questions (or at least to give clues).

But above all, I like the fact that blogging gives me the opportunity to interact with people I would never meet without this activity. For instance, last May, I was discussing (on Twitter) with @coulmont, @joelgombin and @imparibus about elections in France. Then @coulmont asked me "yes, everyone knows that there should be some ecological fallacies behind my interpretation, but I am not so sure since I have data with a small granularity. As an econometrician, what do you think ?" Usually, I hate having a label, like "... I ask you since you're a mathematician", or "as an economist, what do you think of...". Usually, when people ask me economic questions, I just claim being a mathematician, and vice-versa. But here, I even put on the front of my blog the word "econometrics" (more or less). So here, I could not escape... And the truth is, that while I was a student, I never heard anything about this "ecological fallacy". Neither did I as a researcher (even if I have been reading hundreds of econometric articles, theoretical and applied). Neither did I as a professor (even if I have been teaching econometrics for almost ten years, and I have read dozens textbooks to write notes and handouts). How comes ? How come researchers in sociology and in political sciences know things in econometrics that I have never heard about ?

The main reason - from my understanding - is the following: if everyone talks about "interdisciplinarity" no one (perhaps a few) is really willing to pay the price of working on different (not to say many) areas. I tried, and trust me, I found it difficult. It is difficult to publish a paper in a climate journal when you're not specialist in climate (and you just want to give your opinion as a statistician). It is difficult to assume that you might waste weeks (not to say months) reading articles in geophysics if you want to know more about earthquakes risks, going to seminars, etc. Research is clearly a club ("club" as defined in Buchanan (1965)) story.

This week, I planned to go to some journal club in biology and physics, at McGill (kindly, a colleague there invited me, but we got a time misunderstanding)... this has nothing to do with my teaching, nor with my research activities. But I might learn something ! Yes, I do claim that I am paid just to have fun, to read stuff that I do find interesting, trying to understand the details of a proof, trying to understand how data were obtained. In most cases, it might (and should) be a complete waste of time, since I will not publish anything (anything serious, published in some peer reviewed journal) on that topic... but should I really care ? As I explained earlier (in French), I do also claim that I have a moral obligation to return everything I have seen, heard, read. And since I am not a big fan of lectures (and that I do not think I have skills for that) I cannot give my opinion, neither on economics facts (as @adelaigue or @obouba might do on their blogs) or on science results (as @tomroud does). But I think I can help on modeling and computational issues. My point being: never trust what you read (even on my blog) but please, try to do it yourself! You read that "90% of French executive think about expatriation" (as mentioned here)? Then try to find some data that should confront that statement. And see if you come up with the same conclusion... And since it might be a bit technical sometimes, here are some lines of code, to do it on your own... Academics have a legitimacy when they give their opinions on technical issues. At least they can provide with a list of reference everyone should read to get an overview of the topic. But academics can also help people read graphs, or data. To give them "numeracy" (or a culture in numbers) necessary to understand complex issues.

To conclude, I should mention that I understood what this "ecological fallacy" was from  Thomsen (1987) and many more documents could be found on Soren Thomsen's page http://www.mit.ps.au.dk/srt/. But I got most of the information I was looking for from a great statistician, who happens to be also an amazing blogger: Andrew Gelman (see http://andrewgelman.com/). I will probably write a post someday about this, since I found the question extremely interesting, and important.

Beaucoup de choses ont été écrites sur le fait que les députés ne sont pas vraiment le reflet de la population, que ce soit en terme de profession, de sexe, d'origine, d'age, etc. La liste pourrait être longue. Il y a plusieurs mois, j'avais commencé à regarder le profil des députés, par age. En effet, le site http://www.assemblee-nationale.fr/ permet d'accéder à des données sur tous les députés, depuis la Révolution. Y compris leur date de naissance. En croisant ces données avec des données de population, par exemple via http://www.mortality.org/, on peut comparer la répartition des ages des députés, avec la répartition des ages de la population.

Pour les amateurs, le code pour récupérer les données (ou au moins les dates de naissance des députés) ressemble à

N=2002
URL=paste("http://www.assemblee-nationale.fr/
sycomore/result.asp?radio_dept=tous_departements&
regle_nom=est&Nom=&departement=&
choixdate=intervalle&D%C3%A9butMin=01%2F01%2F",
N,"&FinMin=31%2F12%2F",N,"&Dateau=&legislature=",
s,"&choixordre=chrono&Rechercher=
Lancer+la+recherche",sep="")
HTML=scan(URL,what="character")
 
k=which(HTML=="class=\"titre\">Né")
vHTML=HTML[k:length(HTML)]
vk=which(substr(vHTML,1,7)=="> ")
liste=vHTML[vk]
naissance=liste[seq(1,length(liste),by=2)]
NAISSANCE=as.Date(substr(naissance,8,17),
"%d/%m/%Y")

Maintenant, pour être tout à fait honnête, je ne suis pas certain de ce qui est vraiment renvoyé, et j'ai des doutes que cela correspondent réellement à la requête faite. En effet, même si je demande à avoir la liste des députés après l'élection, j'ai trop de monde... mais peut-être est-ce du aux décès éventuels, et il est possible que l’ensemble des députés qui ont siégé pendant la mandature apparaissent dans le résultat de la requête.

Sur la figure suivante on voit, sur plusieurs élections depuis plus de 100 ans, comment les deux distributions se déforment, avec en rouge la distribution de l'age des députés, et en bleu, la distribution de la population française, dans son ensemble (population de plus de 18 ans)

Si on veut tout suivre sur un graphique, au lieu de se regarder une animation, on peut représenter les différents quantiles (10%, 25%, 75% et 90%, retenus sur la population de plus de 18 ans, et l'age médian, au centre), avec la population française l'année de l'élection, 

et l'ensemble des élus au parlement,

Si on veut faciliter la comparaison, on peut se contenter de visualiser l'évolution des ages moyens, 

ou encore, du ratio (en % de différence) entre l'age moyen des députés, et celui de l'ensemble de la population.

Sur ce graphique, on voit que depuis 30 ans, l’age moyen des députés croit plus vite que celui de la population: la population français vieilli, mais moins que ses députés... La gérontocratie perdure donc en France. En espérant que cela ne débouche pas sur le clash générationnel que l'on semble observer ces temps-ci au Québec...

Just imagine that your kids need some help, to prepare fishes for April 1st, like

Her: "please, Daddy, help us to draw some fishes"

Me: "Sure, Daddy is a champion, actually, I do that everyday at work: drawing fishes - and more generally nice stuff - is exactly Daddy's job".

OK, no need to talk neither about Talbot's curves, ellipse negative pedal curve nor Burleigh's ovals, unless you don't want to scare them, e.g.

t=seq(0,2*pi,length=100) 
b=.8
c=sqrt(1-b^2)
x=cos(t)-c*sin(t)^2
y=(1-2*c^2+c*cos(t))*sin(t)/b
plot(x,y)

From now on, it is rather simple to draw fishes,

t=seq(0,2*pi,length=100)
y=cos(t)-sin(t)^2/sqrt(2)
x=cos(t)*sin(t)
plot(x,y,type="l",axes=FALSE,xlab="",ylab="")
polygon(c(-2,-2,2,2),
c(-2,2,2,-2),col="light blue",border=NA)
polygon(x,y,col="red",border=NA)
axis(1)
axis(2)
lines(x,y,type="l")

so we can easily get nice fishes,

I will be in NYC and Boston for the next three weeks...

Ayant remarqué que les bloggeurs avaient souvent, un jour, envie de parler d'eux dans un billet, je vais faire pareil (oui, je sais Igor prétend que je ne fais déjà que ca ici). Je vais donc parler un peu de ma vie en tant que bloggeur.
Ce blog a été créée après un transfert du blog que je tenais à Rennes 1, qui avait été lancé voilà bientôt un peu plus de 2 ans, et je dois avouer (maintenant il y prescription) que j'ai honteusement volé le nom à un extrait de conversation que j'avais avec Francis Kramarz à l'X (reprenant le nom inventé par Stephen Dubner et Steven Levitt, i.e. freakonomics). L'idée du blog était de parler de choses qui m'amusent dans ma vie d'enseignant-chercheur. L'économie mathématique n'est pas très sexy, et n'intéresse que peu de monde, donc j'évite d'en mettre trop... par contre, j'aime aussi beaucoup les maths appliqués, les statistiques, et l'économétrie. Et l'avantage quand on travaille sur la modélisation, y compris en tant qu'enseignant, c'est qu'on peut illustrer un peu comme on veut. Personnellement je comprends mieux la notion d'optimum de Pareto quand on me parle de se servir de l'eau à la cantine (comme ici), plutôt que de me donner une définition abstraite.
Et il s'avère que ça a plutôt tendance à réveiller les élèves quand on dit que les processus VAR permettent de suivre les mensurations des demoiselles de playboy (comme ici), en tous les cas plus que la modélisation des taux d'intérêt dans la zone euro. Les processus aléatoires, comme  je m'efforce à le dire (ici ou là), c'est beaucoup plus marrant appliqué à des problèmes d'alcooliques qu'appliqué à la valorisation d'options financières. Et les chaînes de Markov appliquées à l'analyse de la pluie en Bretagne (comme ici), ça intéresse tous les élèves qui viennent à la fac en vélo, ou sinon je peux aussi parler de consommation de papier toilette dans les toilettes publique (comme là).
Bref, peu importe le sujet, autant que ce soit amusant, l'idée étant d'illustrer une méthode, une technique, un concept abstrait...
Donc pour amuser mes étudiants (et mes lecteurs) je traîne beaucoup sur internet à la recherche de bases de données, afin d'illustrer des méthodes d'estimation. Alors pour ceux qui n'en ont jamais manipulé, les données, c'est un truc assez incroyable.... Vu de loin, ça ne ressemble pas à grand chose, genre ça peut ressembler à ça,

Mais il y a quelques années, on a vu arriver le datamining, et "les gens" ont commencé à retenir une idée un peu générale du genre "vos données valent de l'or", et depuis, certains refusent de communiquer leurs données. Je ne parle pas de chercheurs qui ont collecté des données, et qui n'ont pas fini de publier dessus (je comprends qu'il puisse exister une relative compétition entre chercheurs), mais je parle de base qui existent.... mais que personne n'exploite. En fait "les gens" ont oublié que s'ils avaient de l'or, il faut peut être des mineurs pour aller le chercher, puis des joaillers pour le retravailler, et enfin des bijoutiers pour rendre ça présentable. Et c'est souvent agaçant de faire face à un refus, de voir ces belles données qui existent, mais qu'on ne peut avoir....
Bref, aujourd'hui je vais faire un billet sur les billets que j'aurais rêvé de faire, mais que je ne fais pas, faute de données....

• L'argument (magique) de la CNIL pour les bases informatiques
  

Parmi les arguments qui ressortent sans cesse quand on demande des données, c'est "il faut avoir l'accord de la CNIL". Bon, c'est l'argument de mauvaise foi par excellence.... On m'a sorti cet argument dans un hôpital, ou je voulais avoir des données sur les accouchements, connaitre la durée de la grossesse en fonction de caractéristiques de la mère (et du nombre d'enfants déjà eu, par exemple). Un hôpital m'a aussi dit "on peut vous ouvrir nos armoires, et vous pourrez noter vous même car ca n'est pas informatisé" (oui oui, j'ai eu ca... et j'ai pu vérifier avec la naissance de ma troisième: tout était sur papier... oups, j'ai dit de quel hôpital il s'agissait).

• On veut la conclusion de l'étude avant de fournir les études

Toujours sur mes études sur la durée des grossesses, j'ai appris que l'Inserm constituait une grosse base de données. J'ai demande à y avoir accès, et fort gentiment, on m'a demande de déposer un dossier de recherche. J'ai donc mis l'objet de l'étude, le nom des étudiants qui auraient travaille sur la base, une biblio pour expliquer que je ne partais pas à l'aveugle, et la liste des variables qui m'auraient intéressées. Et la, par téléphone, on m'a dit que c'était très bien, mais "on a besoin d'avoir vos conclusions avant de vous donner accès aux données". La trouve la démarche (supposée scientifique) surprenante. L'argument m'a un peu dépassé, et je n'ai pas donne suite.

• L'invention d'arguments (farfelus, parfois)

Toujours sur mon étude sur les naissances, j'ai voulu avoir l'information à la source, c'est à dire dans les CAF. Elles connaissent le terme prévu, le terme réel entre autres, elles disposent de tout plein de variables explicatives. Bref, la source de données idéale. J'ai donc contacté une vingtaine de CAF (car les CAF sont départementales), et j'ai eu une vingtaine de réponses différentes allant du "on n'a pas ce genre de données", "on n'as pas le temps",  "c'est la Caisse Nationale qui a ces données", "il faut l'accord de la Caisse Nationale "... Bref, assez souvent, on botte en touche... Un peu comme "mais vous savez, on ne vend pas de fleurs" que m'a sorti Interflora (je voulais savoir si on commandait plus de fleurs a la Saint Valentin ou a la fête des mères, en vain).

• Nous on fait dans le qualitatif, pas le quantitatif

Il y a quelques années, j'avais vu passer une étude sur l'évolution des mensurations de miss America (et les données sont en ligne ici). Trouvant l'analyse intéressante, j'ai contacte le comité Miss France pour avoir les mensurations des miss (et si possible des prétendantes), et Madame de Fontenay (oui oui, elle m'a écrit) m'a répondu "nous n'avons pas ces informations, les miss ne sont pas choisies pour leurs mensurations mais pour leur personnalité" (je n'invente presque pas - la seule invention vient de la retranscription car j'ai perdu le mail avec tous mes transferts de boites, mais c'est ce qui était dit en substance). Finalement j'ai ressorti mes vieux playboy, ce qui a permis d'avoir encore plus d'observations d'ailleurs....

• Ah oui, je vois très bien, mais demandez au service ETDDHRC qui s'en occupe
  

L'argument magique du "c'est pas moi c'est mon frère" pour reprendre La Fontaine (ou ma fille, je ne sais plus trop). Je l'ai eu sur des demandes anciennes, faites à plusieurs reprises (et liées à des sujets qui ont beaucoup fait parler dans la blogosphere)

• il y a 4 ou 5 ans, j'ai eu accès à un très gros fichier d'expertises de véhicules, consécutives à des accidents de la route, plusieurs centaines de milliers d'accidents analysés... on avait voulu travailler avec des étudiants sur l'impact des radars automatiques, mais surtout sur la fraude à l'assurance... Sauf qu'avoir les accidents c'est bien, mais il fallait normer par le nombre de véhicules en circulation... j'ai donc demande à plusieurs reprises un accès au fichier des cartes grises pour savoir combien de véhicules étant en circulation (marque, modèle)... tous les services se sont renvoyés la balle... Et je n'ai jamais eu la base...
• j'ai eu la même discussion il y a quelques mois sur les nouvelles plaques... le Ministère de l'Intérieur affiche (ici) les départements les plus demande (car on a maintenant le choix du numéro que l'on pose sur la plaque), mais on ne peut pas croiser le département de résidence et le département de la plaque.... Étude qui m'aurait amusé car j'ai un joli modèle à tester derrière...
• sinon à la même période, je souhaite analyser l'impact de la taille des classes sur la réussite scolaire (j'ai fait 4 billets sur le sujets, ici ou là, mais sur des données israéliennes): j'ai demande au Ministère de l'Éducation Nationale à avoir accès aux résultats individuels (mais anonymes) d'échantillons du test national de CE1. En particulier, j'étais aussi intéresse par la réussite des enfants nés en janvier par rapport à ceux nés en décembre... Tous les services se renvoyaient la balle, et je n'ai jamais eu les données.

J'oublie de préciser, mais a chaque fois, je précise qu'il s'agit d'une étude académique, et que peux m'engager a ne pas diffuser les données.

• Le service juridique veut que vous signez 10 pages de "disclosure"

Alors ça c'est le pire... c'est arrivé l'autre jour avec un copain actuaire. Je l'avais sollicité pour quelques données, des triangles de liquidation comme on dit. Bon, ce sont des données un peu sensibles, mais je ne demandais pas les montants de provisions constitues, juste des paiements. J'ai un "c'est bon de notre cote, par contre il faudra que tu signes le document joint", à savoir un document juridique de 10 pages, qui devaient être signées par les présidents de l'Université de Rennes 1 et de l'Université de Montréal (car c'était pour donner un projet à mes étudiants). Ne voulant pas prendre de risques, j'ai laissé tombé....

• Allez vous servir sur le site (en faisant 5346  requêtes)

Cet argument m'a été sorti par le Ministère de l'Écologie:. Je voulais connaître la liste de toutes les communes touchées par une catastrophe naturelle (et qui ont bénéficié d'un arrêté), "c'est sur le site internet, vous savez, on est moderne nous". Cette information est publique (parue au Journal Officiel) mais je voulais une base. J'ai fait un code l'autre jour pour aller faire plusieurs milliers de requetes (sur les matchs de tennis, mais ca prend du temps... et ca n'est pas toujours simple car il faut aller decoder des fichiers html) heureusement, il y a toujours des copains qui ont ces donnees et qui sont prêt à envoyer un fichier xls dans l'heure).

• On veut bien donner des bases, mais à des journalistes, pas à des universitaires

Pour la première fois, on évoquait la discrétion, mais dans l'autre sens. Classiquement c'est "on vous donne des chiffres, mais faut pas le dire", mais là c'était "on veut bien les donner, mais faut que ça se sache...". Heureusement, Twitter est là, et on finira par trouver un point d'entrée.... à suivre donc...
Fort heureusement, certains ont compris leur intérêt, et n'hésite pas à m'envoyer des bases si je leur demande. Ca fait une étude gratuite pour eux, et moi je me serais amusé un peu (ou fait travaillé mes étudiants). Mais ce n'est pas la majorité. En attendant, je suis devenu voleur de données. Beaucoup de données traînent sur internet, et en bricolant un peu on peut les récupérer... L'autre jour un copain (que j'avais sollicité pour aller chercher des bases en faisant automatiquement des requêtes sur un site) me demandait "elles sont à qui ces données ?". Et je dois avouer que depuis je doute.... Moralité, je suis un peu surpris de l'étymologie du mot données, car rares sont ceux qui en donnent vraiment... et c'est dommage.

Le concept d’une formation professionnelle continue, i.e. "tout au long de la vie", remonte à Condorcet, qui partait de l'idée qu’"en continuant ainsi l'instruction pendant toute la durée de la vie, on empêchera les connaissances acquises dans les écoles de s'effacer trop promptement de la mémoire. On pourra montrer l'art de s'instruire par soi-même, comme à chercher des mots dans un dictionnaire, à se servir de la table d'un livre, à suivre sur une carte, sur un plan, sur un dessin, des narrations ou des descriptions, à faire des notes ou des extraits" (ici ou là). Mais pour être honnête, on retrouve des idées similaires chez Platon (ici par exemple). On retrouvera cette expression dans un certain nombre de références de la commission européenne en 2001, suivi d'une résolution du conseil européen en juin 2002. Bref, on y retrouve des idées que je ne peux que cautionner !
Mais forcément la vertue n'existe pas toujours, et c'est un peu ce que racontait Xavier Monnier il y a tout juste un mois dans Bakchich Hebdo, au sujet de la formation continue des avocats,

Il y a quelques jours, l'Institut des Actuaires a suivi le mouvement (même si l'idée était dans les têtes depuis quelques années), avec désormais l'obligation pour les actuaires de suivre l'équivalent de 3 jours de formation (ce qu'on peut rapprocher des 20 heures imposées aux avocats),   

Voilà quelques années que nous essayons avec Frédéric et Stéphane (ici) de monter des formations pour l'Institut.... Reste à espérer que l'effet pervers dénoncé dans l'article ne se retrouve pas chez les actuaires.

(il parait que l'on n'est jamais mieux servi que par soi même). Bon, ce n'est pas tout à fait l'anniversaire du blog, mais c'est juste que ça fait un an, jour pour jour que j'ai installé un compteur google, le lundi 10 novembre 2008, dans la soirée (et 10 visiteurs avaient été enregistrés ce jour là...)

Depuis, pas mal d'eau est passée sous les ponts, et en plus, un an jour pour jour le 100,000ème visiteur vient de passer !...  et bientôt plus de 400,000 pages vues (à 5% près).
Je ne peux m'empêcher d'être surpris (et ravi) de la fréquentation sur ce blog, qui finalement ne fait qu'aborder des sujets techniques (comme le notaient plusieurs blogs que j'adore, dont ceux de mafeco (ici) ou de rationalité limitée (là)) et qui a priori n'intéressent pas grand monde (en tous les cas pas autant que ce qu'indique mon compteur). Comme tous les autres bloggers, je note que l'on passe un temps considérable à se faire plaisir, alors que ce n'est pas le cœur de notre métier: on est jugé sur nos publications dans des revues à comité de lecture, payés pour les cours que l'on peut faire (que l'on doit faire), mais les activités connexes (comme maintenir un blog) n'est pas ce qui que l'on met en avant sur son CV... Mais tant pis ! A priori ce blog devrait continuer, sous une forme ou sous une autre (car la plateforme de Rennes 1 n'est pas sans poser des soucis techniques, et je comprends que Laurent ait quitté le blog de Rennes 1 pour un compte blogspot (ici)). Happy birthday to me !