\documentclass[french, a4paper, 12pt, reqno]{amsart}% article ams
\usepackage[french]{babel}% prise en compte des particularites de la typographie francaise. Remplace francais et frenchb
\usepackage[T1]{fontenc}% codage de caractères T1, nouvelle norme LaTeX. Evite l'erreur [OT1] mais passe en Bitmap
\usepackage{lmodern}% fonte latin modern. Re-passe de Bitmap à vectoriel
\usepackage[left=1.8cm,right=2.2cm,top=2.5cm,bottom=2.5cm]{geometry}% bordure des pages

\usepackage{amssymb}% symboles mathematiques
\usepackage{pst-all}% dessiner, contient le paquet xcolor

\usepackage{titlesec}% formatage des titres
\titleformat{\section}[block]{\vspace{\baselineskip}\large\scshape}{\thesection}{.7cm}{}[\hrule\vspace{.75\baselineskip}]
\renewcommand{\numberline}[1]{#1~~}% Problème de numérotation de la ToC

\usepackage{fancyhdr}% numérotation des pages
\fancyhf{}% vide head et foot
\pagestyle{fancy}
\fancyhead[LE,RO]{\bfseries\thepage}% position des numeros de pages
\renewcommand{\headrulewidth}{0pt}% pas de filet en haut des pages
\setlength{\headheight}{16pt}
\usepackage{empheq}% surligner les equations
\definecolor{mygrey}{rgb}{.9, .9, .9}
\newcommand*\greybox[1]{\colorbox{mygrey}{\hspace{1em}#1\hspace{1em}}}
\usepackage{tcolorbox}% encadrer du texte
\tcbuselibrary{skins,breakable}
\newtcolorbox{defbox}{colframe=black,colback=white,boxrule=0.4pt}
\newtcolorbox{thbox}{enhanced jigsaw,drop shadow,colframe=black,colback=white,boxrule=0.4pt}

\usepackage{hyperref}
\hypersetup{
    pdftoolbar=true,% affiche la barre d'outils Acrobat
    pdfmenubar=true,% affiche le menu Acrobat
    pdftitle={La méthode des moindres carrés},% titre
    pdfauthor={Olivier Castéra},% auteur
    pdfstartview= FitH,% la page prend toute la largeur	
    colorlinks=true,% false: liens encadres ; true: liens colores
    linkcolor=blue,% couleur des liens internes
    }
    
\newtheorem*{theoreme}{Théorème}
\newtheorem{definition}{Définition}[section]

\title{Les moindres carrés}
\author{Olivier Castéra}
\email{o.castera@free.fr}
\urladdr{http://o.castera.free.fr/}
\date{\today}

\begin{document}
\begin {abstract}
La méthode des moindres carrés repose sur un fondement probabiliste sérieux.
\end {abstract}
\maketitle% affiche le titre
\thispagestyle{empty}% supprime l'affichage du numéro de la première page
\tableofcontents% affiche la table des matières (ToC)
\section{Justification de la méthode des moindres carrés}
\begin{thbox}\begin{theoreme}
Lorsque les erreurs de mesure suivent une loi normale, pour qu'un ensemble de valeurs 
observées $(y_{1},y_{2},\dots,y_{n})$ d'une fonction à déterminer
$y=\varphi(x)$ soit le plus probable, il faut choisir cette fonction de telle sorte que la somme 
des carrés des écarts des valeurs observées par rapport à $\varphi(x)$ soit minimale~:
\begin{align*}
d\sum_{i=1}^{n}[y_{i}-\varphi(x_{i})]^{2}=0
\end{align*}
\end{theoreme}\end{thbox}
\begin{proof}
Soit $y=\varphi(x)$ l'expression exacte de la relation réelle existant entre $y$ et $x$. Les points expérimentaux 
s'écartent de cette relation par suite des erreurs inévitables de mesure. Le théorème central 
limite\footnote{Voir Théorème central limite.pdf} montre que les erreurs de mesure suivent généralement 
la loi normale\footnote{Voir Loi normale.pdf}. Supposons qu'il en soit ainsi, et choisissons une valeur $x_{i}$ 
de l'argument pour laquelle nous effectuons une mesure. Le résultat de cette mesure est 
l'évènement $Y_{i}=y_{i}$ o\`u $Y_{i}$ est une variable aléatoire répartie suivant une loi normale 
d'espérance mathématique $\varphi(x_{i})$, 
et d'écart quadratique moyen $\sigma_{i}$. L'espérance mathématique $\varphi(x_{i})$ est le résultat 
que l'on trouverait s'il n'y avait pas d'erreur de mesure, et $\sigma_{i}$ caractérise l'erreur de mesure. 
Supposons que l'erreur de mesure soit la même en tout point~:
\begin{align*}
\forall i\ \sigma_{i}=\sigma
\end{align*}
La densité de probabilié de la variable $Y_{i}$ s'écrit:
\begin{align*}
f_{i}(y_{i})=\dfrac{1}{\sigma\sqrt{2\pi}}e^{-[y_{i}-\varphi(x_{i})]^{2}/(2\sigma^{2})}
\end{align*}
Supposons que l'expérience, qui est dans notre exemple une série de mesures, ait ré\-a\-li\-sé l'é\-vè\-ne\-ment 
consistant en ce que les variables aléatoires $(Y_{1},Y_{2},\dots,Y_{n})$ aient pris les valeurs $(y_{1},y_{2},\dots,y_{n})$. 
Les variables $Y_{i}$ étant continues, 
la probabilité de chacun des évènements $Y_{i}=y_{i}$ est nulle, c'est pourquoi nous considèrerons les éléments 
de probabilité correspondants:
\begin{align*}
f_{i}(y_{i})dy_{i}=\dfrac{1}{\sigma\sqrt{2\pi}}e^{-[y_{i}-\varphi(x_{i})]^{2}/(2\sigma^{2})}dy_{i}
\end{align*}
Les mesures étant indépendantes, la probabilité pour que le système de variables aléatoires $(Y_{1},Y_{2},\dots,Y_{n})$ 
prenne l'ensemble des valeurs se trouvant chacune dans l'intervalle $(y_{i},y_{i}+dy_{i})$ est égale au produit des éléments 
de probabilité:
\begin{align*}
\prod_{i=1}^{n}f_{i}(y_{i})dy_{i}&=\prod_{i=1}^{n}\dfrac{1}{\sigma\sqrt{2\pi}}e^{-[y_{i}-\varphi(x_{i})]^{2}/(2\sigma^{2})}dy_{i}\\
&=\left( \dfrac{1}{\sigma\sqrt{2\pi}}\right)^{n}e^{[-1/(2\sigma^{2})]\sum_{i=1}^{n}[y_{i}-\varphi(x_{i})]^{2}}\prod_{i=1}^{n}dy_{i}
\end{align*}
Pour que cette probabilité soit maximale, il faut que:
\begin{align*}
\sum_{i=1}^{n}[y_{i}-\varphi(x_{i})]^{2}
\end{align*}
soit minimale.
\end{proof}
\section{Caractéristiques numériques des sytèmes de deux variables}
\begin{defbox}\begin{definition}
On appelle moment initial d'ordre $k,s$ du système de variables aléatoires $(X,Y)$, 
l'espérance mathématique du produit de~$X^{k}$ par $Y^{s}$
\begin{align*}
\alpha_{k,s}[X^{k}Y^{s}]\overset{\Delta}{=}M[X^{k}Y^{s}]
\end{align*}
Pour des variables aléatoires discrètes:
\begin{align*}
\alpha_{k,s}[X^{k}Y^{s}]\overset{\Delta}{=}\sum_{i=1}^{n}\sum_{j=1}^{m}x_{i}^{k}y_{j}^{s}p_{ij}
\end{align*}
Pour des variables aléatoires continues:
\begin{align*}
\alpha_{k,s}[X^{k}Y^{s}]\overset{\Delta}{=}\iint_{-\infty}^{+\infty}x^{k}y^{s}f(x,y)dxdy
\end{align*}
\end{definition}\end{defbox}
\begin{defbox}\begin{definition}
On appelle moment centré d'ordre $k,s$ du système de variables aléatoires $(X,Y)$, 
l'espérance mathématique du produit de~$\mathring X^{k}$ par $\mathring Y^{s}$:
\begin{align*}
\mu_{k,s}[X^{k}Y^{s}]\overset{\Delta}{=}M[\mathring X^{k}\mathring Y^{s}]
\end{align*}
Pour des variables aléatoires discrètes:
\begin{align*}
\mu_{k,s}[X^{k}Y^{s}]\overset{\Delta}{=}\sum_{i=1}^{n}\sum_{j=1}^{m}(x_{i}-m_{x})^{k}(y_{j}-m_{y})^{s}p_{ij}
\end{align*}
Pour des variables aléatoires continues:
\begin{align*}
\mu_{k,s}[X^{k}Y^{s}]\overset{\Delta}{=}\iint_{-\infty}^{+\infty}(x-m_{x})^{k}(y-m_{y})^{s}f(x,y)dxdy
\end{align*}
\end{definition}\end{defbox}
\begin{defbox}\begin{definition}
On appelle covariance des variables aléatoires $X,Y$, le moment central mixte d'ordre deux $\mu_{1,1}$:
\begin{align*}
K_{xy}\overset{\Delta}{=}M[\mathring X\mathring Y]
\end{align*}
Pour des variables aléatoires discrètes:
\begin{align*}
K_{xy}\overset{\Delta}{=}\sum_{i=1}^{n}\sum_{j=1}^{m}(x_{i}-m_{x})(y_{i}-m_{y})p_{ij}
\end{align*}
Pour des variables aléatoires continues:
\begin{align*}
K_{xy}\overset{\Delta}{=}\iint_{-\infty}^{+\infty}(x-m_{x})(y-m_{y})f(x,y)dxdy
\end{align*}
\end{definition}\end{defbox}
\section{Caractéristiques statistiques d'une répartition }
A toute caractéristique numérique\footnote{Voir Loi normale.pdf} de la variable aléatoire $X$ correspond une caractéristique statistique.
\begin{defbox}\begin{definition}
On appelle mo\-yen\-ne arithmétique ou moyenne statistique de la variable aléatoire discrète $X$, la moyenne 
de toutes les valeurs $x_{i}$ observées de cette variable. On la note $M^{*}[X]$ ou $m_{x}^{*}$.
\begin{align*}
M^{*}[X]\overset{\Delta}{=}\dfrac{1}{n}\sum_{i=1}^{n}x_{i}
\end{align*}
\end{definition}\end{defbox}
\begin{defbox}\begin{definition}
On appelle variance statistique de la variable aléatoire discrète $X$, la moyenne statistique des carrés des écarts des valeurs observées 
à la moyenne statistique. On la note $V^{*}[X]$ ou $V_{x}^{*}$ ou $D^{*}[X]$ ou $D_{x}^{*}$.
\begin{align*}
V^{*}[X]\overset{\Delta}{=}\dfrac{1}{n}\sum_{i=1}^{n}(x_{i}-m_{x}^{*})^{2}
\end{align*}
\end{definition}\end{defbox}
\begin{defbox}\begin{definition}
On appelle moment statistique initial d'ordre $s$ de la variable aléatoire discrète $X$, 
la fonction $\alpha_{s}^{*}[X]$ définie par:
\begin{align*}
\alpha_{s}^{*}[X]\overset{\Delta}{=}\dfrac{1}{n}\sum_{i=1}^{n}x_{i}^{s}
\end{align*}
\end{definition}\end{defbox}
\begin{defbox}\begin{definition}
On appelle moment statistique centré d'ordre $s$ de la variable aléatoire discrète $X$, 
la fonction $\mu_{s}^{*}[X]$ définie par:
\begin{align*}
\mu_{s}^{*}[X]\overset{\Delta}{=}\dfrac{1}{n}\sum_{i=1}^{n}(x_{i}-m_{x}^{*})^{s}
\end{align*}
\end{definition}\end{defbox}
\begin{defbox}\begin{definition}
On appelle covariance statistique des variables aléatoires discrètes $X$ et $Y$, la fonction~$K_{xy}^{*}$ définie par:
\begin{align*}
K_{xy}^{*}\overset{\Delta}{=}\dfrac{1}{n}\sum_{i=1}^{n}\sum_{j=1}^{m}(x_{i}-m_{x}^{*})(y_{i}-m_{y}^{*})
\end{align*}
\end{definition}\end{defbox}
\section{Application}
Une expérience a fourni un ensemble de valeurs $(x_{i},y_{i})_{i=1,\dots,n}$. Nous supposons que les erreurs de mesure 
suivent une loi normale, d'écart quadratique constant, et que la relation observée est linéaire. Nous cherchons les 
paramètres $a$ et $b$ de la droite 
\begin{align*}
y=ax+b
\end{align*}
qui représentent le mieux la relation expérimentale~:
\begin{align*}
d\sum_{i=1}^{n}[y_{i}-\varphi(x_{i})]^{2}&=\sum_{i=1}^{n}d[y_{i}-\varphi(x_{i})]^{2}\\
&=\sum_{i=1}^{n}d[y_{i}^{2}-2y_{i}\,\varphi(x_{i})+\varphi^{2}(x_{i})]\\
&=\sum_{i=1}^{n}-2y_{i}\,d\varphi(x_{i})+2\varphi(x_{i})\,d\varphi(x_{i})\\
&=\sum_{i=1}^{n}2[\varphi(x_{i})-y_{i}]\,d\varphi(x_{i})\\
&=\sum_{i=1}^{n}2[\varphi(x_{i})-y_{i}]\,[\partial_{a}\varphi(x_{i})da+\partial_{b}\varphi(x_{i})db]\\
&=0
\end{align*}
d'o\`u le système
\begin{align*}
&\left\lbrace
\begin{aligned}
&\sum_{i=1}^{n}2[\varphi(x_{i})-y_{i}]\,\partial_{a}\varphi(x_{i})da=0\\
&\sum_{i=1}^{n}2[\varphi(x_{i})-y_{i}]\,\partial_{b}\varphi(x_{i})db=0
\end{aligned}
\right.\\
\\
&\left\lbrace
\begin{aligned}
&\sum_{i=1}^{n}[(ax_{i}+b)-y_{i}]\,x_{i}=0\\
&\sum_{i=1}^{n}[(ax_{i}+b)-y_{i}]=0
\end{aligned}
\right.\\
\\
&\left\lbrace
\begin{aligned}
&a\sum_{i=1}^{n}x_{i}^{2}+b\sum_{i=1}^{n}x_{i}-\sum_{i=1}^{n}y_{i}x_{i}=0\\
&a\sum_{i=1}^{n}x_{i}+nb-\sum_{i=1}^{n}y_{i}=0
\end{aligned}
\right.
\end{align*}
En divisant par $n$ et en utilisant les définitions du chapitre précédent,
\begin{align*}
&\left\lbrace
\begin{aligned}
&a\alpha_{2}^{*}[X]+bm_{x}^{*}-\alpha_{1,1}^{*}[X,Y]=0\\
&am_{x}^{*}+b-m_{y}^{*}=0\\
\end{aligned}
\right.\qquad\Rightarrow\qquad\left\lbrace
\begin{aligned}
&b=m_{y}^{*}-am_{x}^{*}\\
&a\alpha_{2}^{*}[X]+(m_{y}^{*}-am_{x}^{*})m_{x}^{*}-\alpha_{1,1}^{*}[X,Y]=0
\end{aligned}
\right.\\
\\
&\left\lbrace
\begin{aligned}
&a\left\lbrace \alpha_{2}^{*}[X]-(m_{x}^{*})^{2}\right\rbrace =\alpha_{1,1}^{*}[X,Y]-m_{x}^{*}m_{y}^{*}\\
&b=m_{y}^{*}-am_{x}^{*}
\end{aligned}
\right.\qquad\Rightarrow\qquad\left\lbrace
\begin{aligned}
&a=\dfrac{\alpha_{1,1}^{*}[X,Y]-m_{x}^{*}m_{y}^{*}}{\alpha_{2}^{*}[X]-(m_{x}^{*})^{2}}\\
&b=m_{y}^{*}-am_{x}^{*}
\end{aligned}
\right.
\end{align*}
d'o\`u, en utilisant les moments centrés~:
\begin{align*}
&\left\lbrace
\begin{aligned}
&a=\dfrac{K_{xy}^{*}}{V_{x}^{*}}\\
&b=m_{y}^{*}-am_{x}^{*}
\end{aligned}
\right.
\end{align*}
\end{document}
