Freakonometrics

(dans le premier cas, c'est une propriétés des vecteurs Gaussiens et dans le second, c'est le théorème central limite car on a vu que l'estimateur par moindres carrés coïncidait avec l'estimateur de la méthodes des moments). Comme la variance est inconnue, on remplace l'inconnue par un estimateur, et on perd un peu en précision. En fait, on peut montrer (c'est tout les travaux de William Gosset) que
Le nombre de degrés de liberté (i.e. le paramètre de la loi de Student) n'est pas indiqué ici. Il est fonction du nombre de variables explicatives dans le modèle (ce qui contraint d'autant le modèle).
Dans le test de Student, on cherche à tester
Pour cela, on pose
La région d'acceptation du test est alors de la forme suivante
Graphiquement, on accepte l'hypothèse H₀ si T n'est pas trop loin de 0. En particulier, dans la région rouge, on rejette H₀ (et le coefficient est alors significativement non nul).

> dodge<-read.table("http://perso.univ-rennes1.fr/arthur.charpentier/dodge.csv",header=TRUE,sep=",")
> REG0=lm(Fire~X_1+X_2+X_3,data=dodge)
> summary(REG0)
Coefficients:
            Estimate Std. Error t value Pr(>|t|)   
(Intercept) 22.07525    6.19447   3.564 0.000910 ***
X_1         -0.62764    5.28130  -0.119 0.905953   
X_2          0.22378    0.06161   3.632 0.000744 ***
X_3         -1.55059    0.38195  -4.060 0.000204 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Sur la sortie on note que la statistique de test pour la variable X₂ vaut 3.632. On a deux méthodes pour interpréter cette statistique

• construire la région d'acceptation du test à partir des quantiles théorique de la loi de Student (en lisant dans les tables, ou en demandant les quantiles au logiciel)
• en calculant la p-value, ie. la probabilité qu'une loi de Student atteigne une telle valeur.

Les bornes de la région de confiance sont ici
> qt(.025,df=43)
[1] -2.016692
> qt(.975,df=43)
[1] 2.016692
Autrement dit, les deux dernières statistiques de Student ne sont pas dans cet intervalle: on rejette l'hypothèse de nullité des deux derniers coefficients. L'autre possibilité est de calculer la probabilité qu'en valeur absolue, une loi de Student dépasse la valeur absolue de la grandeur observée. Ici, ces probabilités sont
> (1-pt(abs(-0.119),df=43))*2
[1] 0.9058296
> (1-pt(abs(3.632),df=43))*2
[1] 0.0007442971
On retrouve les grandeurs données dans la dernière colonne du tableau.

• Le test de Fisher (significativité de plusieurs coefficients)

Le test de Fisher - tel qu'il apparait sur la sortie de la régression - est un test de significativité total du modèle. Autrement dit, on cherche à tester
contre
Autrement dit, on essaye de choisir (même si je n'aime pas introduire si tôt la terminologie de choix de modèle) entre le modèle général
et la version que nous dirons contrainte,
Formellement, les paramètres n'ont rien à voir, mais je n'ai changé que le nom du bruit car le bruit devrait changer. En fait, c'est cette idée que va exploiter Fisher en se demandant si le bruit du second modèle est vraiment plus grand que le bruit du second. Autrement dit, il s'agit de faire une comparaison entre les variances de deux modèles.
Ce test est en fait un cas très particulier d'un test beaucoup plus général proposé par Fisher. De manière beaucoup plus générale, on se demande si les deux modèles suivants sont vraiment différents, entre
et sa version contrainte
On cherche alors à tester l'hypothèse
contre l'hypothèse alternative
Pour ça, on peut utiliser ce qu'a proposé Fisher, à savoir d'utiliser la somme des carrés des résidus (qui correspondent à un facteur multiplicatif près à l'estimateur de la variance du bruit), et il a posé
Je parlais tout à l'heure de choix de modèle... on notera que l'on en est pas très loin car on peut réécrire cette expression en faisant apparaître le R² des régression, contraintes et noncontraintes.
Fisher a montré que sous l'hypothèse H₀,