Método de los mínimos cuadrados

Dada una variable bidimensional (X, Y) que toma valores (x_i, y_j) con frecuencias n_ij(i = 1,...,k; j = 1,...,l), la nube de puntos que representa una distribución nos permite decidir (o al menos intuir) cuál puede ser la forma de la función que ajusta esos datos. Denotaremos por f esa función que depende de n parámetros: Y = f(X, a₁,..., a_n).

Debemos obtener, a partir de los datos, una estimación de esos parámetros de manera que la función obtenida sea la que mejor aproxime las observaciones. Así, por ejemplo, en el ejemplo del trazado de carreteras del Ministerio de fomento, el objetivo sería que las vías de comunicación estuviesen lo más próximas posibles a los distintos puntos geográficos considerados (casas, pueblos, ciudades...).

Para cada valor observado de la variable independiente X: x_i podemos considerar dos valores de la variable dependiente Y, a saber:

1. El valor observado: y_j.
2. El valor teórico y_ti, que se obtiene mediante la función de ajuste y_it = f(x_i, a_i, ..., a_n).

La diferencia entre el valor observado y el valor teórico recibe el nombre de error o residuo, que denotaremos e_ij, así: e_ij = y_j - y_ti, proporcionándonos el desacierto cometido al estimar el valor de la variable Y correspondiente a x_i.

Parece razonable considerar como función de ajuste aquella que proporciona los errores más pequeños, puesto que buscamos la línea que mejor aproxima los datos. Por tanto, los parámetros que la caracterizan deberán ser los que minimicen los errores de ajuste.

Una primera posibilidad podría ser minimizar la suma de residuos, es decir: ∑∑e_ijn_ij. Pero siguiendo este camino surgen algunos incovenientes; por una lado, puesto que los errores pueden ser positivos o negativos, al sumarlos, pueden cancelarse unos con otros, proporcionando una idea de menor dispersión que la real.

Una alternativa a esta situación podría ser minimizar la suma de errores absolutos, es decir, ∑∑|e_ij|n_ij. De esta forma se considera únicamente la cuantía de los errores, eliminando su signo, lo cual impide la cancelación de errores opuestos. Sin embargo, este método presenta el inconveniente de que no diferencia la cuantía de los errores, es decir, no distingue el hecho de que haya muchos errores pequeños de otra situación en la que se presenten pocos errores pero grandes (además de la dificultad de aplicar el cálculo diferencial a expresiones con valores absolutos).

Una tercera posibilidad podría ser minimizar la suma de errores al cuadrado, es decir, ∑∑e²_ijn_ij. Al elevar los errores individuales al cuadrado se elimina el signo de los residuos, no pudiendo éstos cancelarse y se penalizan aquellos que tienen mayor cuantía. Además, este sistema no presenta dificultades de cálculo y proporciona una solución única del problema. Este último método recibe el nombre de ajuste por mínimos cuadrados, puesto que consiste en considerar aquellos parámetros de la función de ajuste que minimizan la suma de errores cuadráticos.

La función a minimizar será por tanto:

E(a₁,...,a_n) = ∑∑(y_j - y_ti)²n_ij = ∑∑[y_j - f(x_i, a₁,...,a_n)]²n_ij

Para que se cumpla la condición necesaria de extremo deben anularse las derivadas parciales respecto a cada uno de los parámetros. De esta forma, se obtiene un sistema de n ecuaciones con n incógnitas (que son los parámetros a₁,..., a_n) que recibe el nombre de sistema de ecuaciones normales. La solución de dicho sistema es un mínimo ya que, por ser la función E parabólica, tendrá un punto extremo (máximo o mínimo), no pudiendo ser máximo por no hallarse los errores acotados.

El método de los mínimos cuadrados fue introducido por Gauss en 1795.