Freakonometrics

La session d'hiver n'étant pas terminée, je vais poster mes notes de cours sur la dernière section (sur la modélisation de séries temporelles) pour le cours ACT2040. Il s'agit - comme je l'avais dit en cours - d'une remise au goût du jour de notes tapées il y a une dizaine d'années. J'ai également rajouté du code R, mais il doit resté un certain nombre de coquilles et de fautes de frappe. Je profiterais des jours qui viennent pour réviser cette version.

There was (once again) a nice puzzle in http://www.futilitycloset.com/. Bayes and a good friend are playing Russian roulette. The revolver has six chambers. He puts two bullets in two adjacent chambers, spin the cylinder, hold the gun to his friend's head, and pull the trigger. It clicks. So it is now Bayes's turn: he can choose either to spin the cylinder again or leave it as it is. Which is better? Hopefully, Bayes knows his theorem: if he does spin it, the probability of getting killed is 2 out of 6 (four empty chambers out of six), but if he does not, since his friend is still alive, then the hammer should be next to one of the four cylinders in red, below
So here, there is 3 chance out of 4 to survive, i.e. the probability of getting killed is 1 out of 4 (while it was 1 out of 3 when spinning). So Bayes should not spin. And as always, it is possible to see it is a more general result: more generally, in a revolver with chambers, it there are bullets in adjacent chambers,  if the first player survives, the probability of getting killed is k over , when spinning, while it would be 1 over if we don't. Not spinning is better if and only if

I will be giving a talk on May 4th, at the Mathematical Finance Days, at HEC Montréal, on multivariate dynamic models for counts. The conference is organized by IFM2 (Institut de Finance Mathématique de Montréal). I will be chairing some session and I will give a talk based on the joint paper with Mathieu Boudreault.

A couple of days ago, on Twitter, @alung mentioned an old post I did publish on this blog about open-data, explaining how difficult it was to get access to data in France (the post, published almost 18 months ago can be found here, in French). And  @alung was wondering if it was still that hard to access nice datasets. My first answer was that actually, people were more receptive, and I now have more people willing to share their data. And on the internet, amazing datasets can be found now very easily. For instance in France, some detailed informations can be found about qualitifications, houses and jobs, by small geographical areas, on http://www.recensement.insee.fr (thanks @coulmont for the link). And that is great for researchers (and anyone actually willing to check things by himself).

But one should be aware that those aggregate data might not be sufficient to build up econometric models, and to infere individual behaviors. Thinking that relationships observed for groups necessarily hold for individuals is a common fallacy (the so-called " ecological fallacy"). 

In a popular paper, Robinson (1950) discussed "ecological inference", stressing the difference between ecological correlations (on groups) and individual correlations (see also Thorndike (1937)) He considered two aggregated quantities, per american state: the percent of the population that was foreign-born, and the percent that was literate. One dataset used in the paper was the following

> library(eco)
> data(forgnlit30)
> tail(forgnlit30)
Y          X         W1          W2 ICPSR
43 0.076931986 0.03097168 0.06834300 0.077206504    66
44 0.006617641 0.11479052 0.03568792 0.002847920    67
45 0.006991899 0.11459207 0.04151310 0.002524065    68
46 0.012793782 0.18491515 0.05690731 0.002785916    71
47 0.007322475 0.13196654 0.03589512 0.002978594    72
48 0.007917342 0.18816461 0.02949187 0.002916866    73

The correlation between  foreign-born and literacy was

> cor(forgnlit30$X,1-forgnlit30$Y)
[1] 0.2069447

So it seems that there is a positive correlation, so a quick interpretation could be that in the 30's, amercians were iliterate, but hopefully, literate immigrants got the idea to come in the US. But here, it is like in Simpson's paradox, because actually, the sign should be negative, as obtained on individual studies. In the state-based-data study, correlation was positive mainly because foreign-born people tend to live in states where the native-born are relatively literate...

Hence, the problem is clearly how individuals were grouped. Consider the following set of individual observations,

> n=1000
> r=-.5
> Z=rmnorm(n,c(0,0),matrix(c(1,r,r,1),2,2))
> X=Z[,1]
> E=Z[,2]
> Y=3+2*X+E
> cor(X,Y)
[1] 0.8636764

Consider now some regrouping, e.g.

> I=cut(Z[,2],qnorm(seq(0,1,by=.05)))
> Yg=tapply(Y,I,mean)
> Xg=tapply(X,I,mean)

Then the correlation is rather different,

>  cor(Xg,Yg)
[1] 0.1476422

Here we have a strong positive individual correlation, and a small (positive correlation) on grouped data, but almost anything is possible.

Models with random coefficients have been used to make ecological inferences. But that is a long story, andI will probably come back with a more detailed post on that topic, since I am still working on this with @coulmont (following some comments by @frbonnet on his post on recent French elections on http://coulmont.com/blog/).

This Monday, during my talk on quantile regressions (at the Montreal R-meeting), we've seen how those nice graphs could be interpreted, with the evolution of the slope of the linear regression, as a function of the probability level. One illustration was on large hurricanes, from Elsner, Kossin & Jagger (2008). The other one was on birthweight, from Abrevaya (2001).

It is also to illustrate that technique to academic publication, e.g. the length of papers, over time. Actually, the data we can extract from Scopus are quite similar to the ones uses on hurricanes. For several journals, it is possible to look at the length of articles. Since Scopus is quite expensive ($60,000 per year for the campus, as far as remember, so I can imagine the penalty I might have to pay for sharing such a dataset)

base=read.table("/home/scopus.csv",
header=TRUE,sep=",")
pages=base$Page.end-base$Page.start
year=base$Year

Again, a first idea can be to look at boxplots, and regression on (nonparametric) quantiles, here for Econometrica,

boxplot(pages~as.factor(year),col="light blue")
Q=function(p=.9) as.vector(by(pages,as.factor(year),
function(x) quantile(x,p)))
u=1:16
points(u,Q(p),pch=19,col="blue")
abline(lm(Q(p)~u,weights=table(year)),lwd=2,col="blue")

Consider now (as in the slides in the previous post) a quantile regression (instead of a regression on quantiles), for instance in the Annals of Probability,

library(quantreg)
u=seq(.05,.95,by=.01)
coefstd=function(u) summary(rq(pages~year,
tau=u))$coefficients[,2]
coefest=function(u) summary(rq(pages~year,
tau=u))$coefficients[,1]
CS=Vectorize(coefstd)(u)
CE=Vectorize(coefest)(u)
k=2
plot(u,CE[k,],ylim=c(min(CE[k,]-2*CS[k,]),
max(CE[k,]+2*CS[k,])))
polygon(c(u,rev(u)),c(CE[k,]+1.96*CS[k,],
rev(CE[k,]-1.96*CS[k,])),
col="light green",border=NA)
lines(u,CE[k,],lwd=2,col="red")
abline(h=0)

We have the following slope, for the year, as a function of the probability level,

The slope is always positive, so size of papers is increasing with time, short and long papers. But the influence of time is much larger for long paper than short one: for short papers (lower decile) every year, the size keeps increasing, with one more page every three years. For long paper (upper decile), it is two more pages every three years.

If we look now at the Annals of Statistics, we have

and for the evolution of the slope of the quantile regression,

Again the impact is positive: papers are longer in 2010 than 15 years ago. But the trend is the reverse: short papers (lower decile) are much longer, almost one more page every year, with long paper increase only by one more page every two years... Initially, I want to run such a study on a much longer term, with quantile regressions and splines to see when there might have been a change, both in lower and upper tails. Unfortunately, as suggested by some colleagues, there might have been some changes in the format of the journal (columns, margins, fonts, etc). That's a shame, because I rediscover nice short papers of 5-10 pages published 20 or 30 years ago. They are nice to read (and also potentially interesting for a post on the blog). 5 pages, that's perfect, but 40 pages, that's way too long. I wonder if I am the only one having this feeling, missing those short but extremely interesting papers....

oui, vaste programme... Lorsque les enfants étaient petits, je me souviens avoir été maintes fois étonné par la profondeur des questions qu'ils pouvaient poser,

- dis papa, comment tu sais tout ça ?

ou

- dis papa, si j'étais pas né comment ça serait ?

Toutes ces questions sont embarrassantes, car elles sont assez fondamentales quand on y pense. Car le problème est qu'après, les enfants grandissent, et pensent avoir des réponses à ces mêmes questions,

- t'es sûre, tu ne veux pas une licorne pour ton anniversaire ?

- mais non papa, ça n'existe pas les licornes

- bien sûr que si que ça existe, n'oublie pas que les papas ça sait tout ! Et comment tu sais que ça existe pas d'abord ?

- ben j'en ai jamais vu...

- et alors... tu n'as jamais vu de crocodiles, et pourtant ça existe...

- oui mais j'en ai vu à la télé

- et moi à la télé j'ai vu des wookies et des ewoks dans Star Wars, et des dragons dans Harry Potter, et..

- oui mais à la télé ça existe pas ! Les licornes personne n'en a jamais vu d'abord

- et ça suffit pour dire que ça n'existe pas, tu penses ?

(en fait, on peut avoir ce même genre de dialogue avec dieu, ou mieux, le père Noël). Bref, suite à cette discussion je me demandais ce qui faisait qu'on y croyait ou qu'on n'y croyait plus. Par exemple en sciences: l'opposition classique entre sciences et religion est basée sur le fait que la religion repose sur la foi, et alors que la science non, on doit avoir une preuve de ce qu'on avance. Un peu comme le personnage de Gorgias (de Platon), le précurseur de tous nos hommes (et femmes) politiques: on a raison parce qu'on a eu le dernier mot. Et non parce qu'on l'a prouvé. Mais il faut être lucide. La science devient de plus en plus une histoire de foi et de croyance. Par exemple en cours, la très grande majorité de mes élèves me croient si je leur dit qu'une méthode ne marche pas, rares sont ceux qui penseraient à me demander de leur justifier, ou au mois de trouver des éléments étayant mon propos (car la tendance est de faire de moins de moins de démonstration en cours, surtout quand on fait de la statistique appliquée). Par exemple en séries temporelles: lorsque je faisais cours il y a 10 ans à l'université Paris Dauphine, on passait des heures sur les choix des ordres d'autorégression (faut-il un retard à l'ordre 4, ou 12 ?). Maintenant, tous les logiciels font ça automatiquement. Un peu comme le choix de la fenêtre quand on fait de l'estimation à noyau... sous R, on a un choix optimal de fenêtre... et souvent, quand on est pressé, on y croit.

Oui, en sciences, on utilise beaucoup cet argument de foi. Le plus classique étant de dire que ça a été publié dans une grande revue... Et c'est le principe du peer-review: on délègue à d'autres chercheurs la responsabilité de regarder en détails un papier, qui souvent dépasse nos propres compétences, afin de se reposer sur leur jugement les yeux fermés. C'est bien entendu stupide, et c'est pour ça qu'on demande aux étudiants de maîtrise de creuser les papiers en détails, de relire et comprendre les démonstrations, et de faire des simulations pour vérifier si ça marche ! Et je serais bien le premier à dire qu'il ne faut jamais croire ce qui est écrit dans mes livres ou mes papiers ! ou sur le blog ! Quoi que... sur le blog, je mets autant que possible l'intégralité des codes, afin de permettre aux personnes de vérifier plus facilement ce que j'ai fait. Et c'est le gros intérêt du blog pour les chercheurs, par rapport aux articles publiés: on n'est pas là pour épater la galerie (je renvoie d'ailleurs à un très bon article expliquant comment écrire un article scientifique). Sur le blog, on peut davantage lancer des discussions, et être beaucoup plus transparents, et modestes !

Soit dit en passant, cette histoire de foi se retrouve largement dans cette mise en abyme des sondages, évoquée dans un précédant billet, sur le fait que plus personne ne croit aux sondages. Pourtant des grands sociologues et des grands statisticiens ont travaillé depuis des dizaines d'années sur la théorie des sondages. Des centaines d'articles (parus dans des articles relus par d'autres grands scientifiques) justifient certaines méthodes d'analyse. Et pourtant la foi n'est pas là. Peut-être serait-il temps que les instituts soient plus transparents, qu'ils donnent accès aux données brutes. Car je suis convaincu que la transparence est la clé de tout. Enfin presque... pour l'existence du père Noël, je vais me battre autant que possible pour maintenir le doute !

Apres @Christian il y a quelques semaines (suite aux premiers billets ou je faisais un parallèle entre l'estimation d'un paramètre sur le simplexe et les sondages électoraux), un ancien collègue de Rennes m'a demande si je pouvais faire un billet sur les sondages par quotas (au lieu de ne parler que de sondages aléatoires, ou de faire comme si les sondages politiques l’étaient). La question de Benoit était sur une phrase dans les transparents en ligne a Lyon (je n'ai pas trouve l'auteur)

"Dans les échantillonnages non probabilistes, comme la méthode des quotas utilisée par les instituts de sondage, on ne peut pas estimer la marge d’erreur due à l’élaboration de l’échantillon et généraliser les conclusions à l’ensemble de la population. En toute rigueur, les instituts de sondage ne peuvent pas calculer des intervalles de confiance. Dans la pratique, on sait que la marge d’erreur dans un échantillonnage par quotas est d’environ 3% pour un échantillon de 1000 individus (comme pour un échantillonnage aléatoire)"

N'ayant pas forcement ☐ les compétences ☐ le temps ☐ le courage (coche la bonne réponse), je vais me contente de rappeler qu'il y a quelques documents en ligne qui évoquent les méthodes de quotas. Par exemple le document de Philippe Cibois, ou celui en ligne a l’université de Pau. Historiquement Jerzy Neyman evoquait la methode des quotas (representative survey) en 1934 dans un article très intéressant. Dans Les sondages, publie a l'issu des journées de statistiques organisées en 1986, un chapitre explique ce qu'est la methode des quotas. 

La référence en question étant

Une référence passionnante semblerait etre l'article de Jean Claude Deville A Theory of Quota Surveys paru en 1991 dans Survey Methodology (mais non accessible en ligne). Si quelqu'un a le temps de regarder tout ça, éventuellement en faisant des simulations, je suis preneur ! Sinon merci a @wulab pour la référence des Simpsons pour l'illustration.