Evaluación de las predicciones

Nuestro objetivo al aplicar las técnicas de predicción es reducir la incertidumbre sobre los valores desconocidos de una variable. Las posibilidades son muy diversas, basadas en diferentes planteamientos y con distintos niveles de sofisticación, pero no disponemos de un método infalible. De ahí la necesidad de completar los estudios de predicción con un análisis de su fiabilidad.

En definitiva, una aproximación realista a la predicción debe contemplar sus limitaciones y riesgos, asumiendo que los posibles errores o aciertos que conlleve podrán justificarse con errores argumentos estadísticos.

Situémonos en la etapa de reflexión: hemos anticipado la cifra de ventas de nuestro producto para el futuro cercano y, conociendo de qué no podremos justificar nuestras previsiones aludiendo a la superstición, decidimos analizar su calidad.

Podríamos comenzar esta reflexión con un planteamiento del tipo ¿qué garantías tienen nuestras previsiones?

Está claro que en ningún caso podremos estar seguros de que realmente adivinamos valores de una variable o anticipamos el futuro. Sin embargo, parece lógico pensar que, si disponemos de buenos modelos teóricos y hemos realizado (con datos de buena calidad) ajustes fiables de los mismos, podremos llegar a previsiones que merecerán un nivel alto de confianza.

Comencemos analizando el primero de estos aspectos, la validez conceptual.

Validez conceptual

Nos interesarán desde el punto de vista estadístico únicamente las predicciones basadas en modelos, de modo que exista algún supuesto teórico o hipótesis que avale nuestras actuaciones.

Si la información que disponemos parece confirmar alguna hipótesis económica, plantearíamos el correspondiente modelo para proceder a la estimación. Sin embargo, somos conscientes de que los errores y lagunas de información económica pueden llegar a afectar este planteamiento, encontrándonos en ocasiones con que no podemos acceder a las cifras de la hipotética causa o bien que éstas no son muy fiables.

Es importante recordar además que los modelos deben ser correctamente especificados, es decir, incluir en medida de lo posible todas las variables causales y dotarlo de la estructura  conceptualmente más correcta. En el caso de que se trate de series temporales estos requisitos incluirán también una identificación de los componentes que permita aproximar la tendencia y conocer si existen ciclos o estacionalidad.

Tras la etapa conceptual, entraríamos en el ámbito de estimación del modelo que proporciona información de interés sobre su fiabilidad.

Fiabilidad

Como hemos visto en entradas anteriores, es posible aproximar la capacidad explicativa de un modelo, pareciendo razonable que cuanto mayor sea ésta, más fiabilidad nos merecerá de cara a la realización de previsiones.

La medida habitual para evaluar la bondad del ajuste es el coeficiente de determinación, que será por tanto un buen indicador de la fiabilidad de las previsiones. Sin embargo, debemos tener presente que esta medida ha sido calculada a partir de la información disponible, por lo que no puede garantizarse su validez cuando nos alejemos del recorrido de nuestra distribución. Así, en el ejemplo propuesto anteriormente, se llegaba a una predicción de ventas negativas, resultado incoherente que viene originado no por la inadecuación del modelo (que conceptualmente es coherente y presenta un coeficiente de determinación del 95%) sino por su aplicación indiscriminada, olvidando que fuera del recorrido no está garantizada la relación de causalidad.

Además de acompañar cada predicción de una medida de su fiabilidad es aconsejable proporcionar márgenes de error o equivalentemente márgenes de confianza, entre cuyos extremos se encontrará casi con total seguridad el valor verdadero.

El procedimiento de análisis de la fiabilidad de las previsiones que acabamos de describir puede presentar problemas cuando trabajamos con datos en serie temporal. Los inconvenientes se derivan fundamentalmente del propio concepto de tiempo, que aparece en estos modelos no como causa, sino como referencia, y de los distintos componentes que actúan en una serie.

La utilización del coeficiente de determinación puede conducir a modelos temporales aparentemente muy fiables, pero con escasa capacidad predictiva, resultando conveniente en estos casos un análisis detallado de la magnitud estudiada y su evolución, que permita detectar irregularidades o cambios de tendencia.

Además, la realización de previsiones deberá basarse en variables reales (libres de componentes estacionales cíclicos o inflacionistas), que proporcionarán una mejor aproximación del fenómeno estudiado en cada caso, y en consecuencia, ajustes más fiables.

Este procedimiento resulta ventajoso cuando los valores del índice corrector (deflactor, índice de variación estacional u otros) sean conocidos, conduciendo a previsiones finales del tipo:

Valor real previsto X Índice corrector

Conviene destacar, sin embargo, que cuando llevamos a cabo previsiones de futuro, los índices necesarios para transformar una variable real deberán también ser estimados. Como consecuencia, no es posible en este caso asignar un nivel de bondad a la estimación final, sino que dispondremos de un coeficientes de fiabilidad separadamente para las estimaciones de la variable real, y para el índice del que se trate en cada caso.

Además de las consideraciones anteriores, conviene tener presente que cuando se efectúa un ajuste para un conjunto de años, la mejor predicción no será necesariamente la media, ya que a menudo resultan más informativas las últimas observaciones.

Y ahora toca la repasar la utilización del modelo estimado.

Utilización del modelo estimado

Los peligros de la aplicación de modelos no se limitan a la extrapolación, proceso que en ocasiones resulta menos arriesgado que la interpolación.

Hay que tener cuidado con datos de corte transversal, ya que el comportamiento sea irregular dentro del recorrido de la variable y, sin embargo, estable en las proximidades de los valores extremos.