LA REGRESION LINEAL

REGRECIÓN LINEAL
En estadística la regresión lineal o ajuste lineal es un modelo matemático usado
para aproximar la relación de dependencia entre una variable dependiente Y,
las variables independientes Xi y un término aleatorio ε. Este modelo puede ser
expresado como:

Donde:
𝑌𝑡 : Variable dependiente, explicada o regresando.
𝑋1 , 𝑋2 , … , 𝑋𝑝 : Variables explicativas, independientes o regresores.
𝛽0 , 𝛽1 , 𝛽2 , … , 𝛽𝑝 : Parámetros, miden la influencia que las variables explicativas tienen
sobre el regrediendo.

Donde 𝛽0 es la intersección o término "constante", las 𝛽𝑖 (𝑖 > 0) son los parámetros

respectivos a cada variable independiente, y 𝑝 es el número de parámetros
independientes a tener en cuenta en la regresión. La regresión lineal puede ser
contrastada con la regresión no lineal.
El pronóstico de regresión lineal simple es un modelo óptimo para patrones de
demanda con tendencia (creciente o decreciente), es decir, patrones que presenten
una relación de linealidad entre la demanda y el tiempo.

Existen medidas de la intensidad de la relación que presentan las variables que son
fundamentales para determinar en qué momento es conveniente utilizar regresión
lineal.
Análisis de región.
El objetivo de un análisis de regresión es determinar la relación que existe entre una
variable dependiente y una o más variables independientes. Para poder realizar esta
relación, se debe postular una relación funcional entre las variables.
Cuando se trata de una variable independiente, la forma funcional que más se utiliza
en la práctica es la relación lineal. El análisis de regresión entonces determina la
intensidad entre las variables a través de coeficientes de correlación y
determinación.
Coeficiente de correlación
El coeficiente de correlación, comúnmente identificado como r o R, es una medida
de asociación entre las variables aleatorias X y Y, cuyo valor varía entre -1 y +1.

El cálculo del coeficiente de correlación se efectúa de la siguiente manera:

Dónde t hace referencia al variable tiempo y x a la variable demanda.

EJEMPLO DE REGRECIÓN LINEAL
 REGRECIÓN POLINOMINAL
En la ingeniería, aunque algunos datos exhiben un patrón marcado, son pobremente
representados por una línea recta, entonces una curva será la más adecuada para
ajustarse a los datos; una alternativa es ajustar polinomios a los datos mediante
regresión polinomial. Como ya hemos mencionado anteriormente, los polinomios
son muy usados en los cálculos numéricos, por sus propiedades. La ecuación de
un polinomio de grado n es:

Apliquémosle el método de mínimos cuadrados. La curva propuesta es:

Donde ai son coeficientes y e es el error. Una estrategia es minimizar la suma de

los cuadrados de los residuos (Sr ), entre la y medida y la y calculada con el modelo
lineal, está dada por:

Las derivadas parciales están dadas por: Esto es:

Igualando a 0 las ecuaciones:

Omitiendo los pasos siguientes, reordenando, para desarrollar el siguiente sistema

de ecuaciones normales:

Todas las
sumatorias son desde i = 1 hasta m (donde m es el número de puntos). Los
coeficientes de las incógnitas se pueden evaluar de manera directa a partir de los
datos observados. El sistema es lineal y puede resolverse por los métodos
conocidos. El error estándar del estimado se formula como:
Sr
SY/X = √
m − (n + 1)
Esta cantidad es dividida entre m-(n+1), ya que (n+1) coeficientes obtenidos de los
datos (𝑎0 , 𝑎1 , … , 𝑎𝑚 ) se usaron para calcular Sr ; así hemos perdido n+1 grados de
libertad. Podemos escribir el sistema de ecuaciones normales obtenido en la forma:
Sx a = Sxy

Donde:
Sx : Matriz de sumatorias de potencias de x.

a : Vector de coeficientes. Las constantes del polinomio,

Sxy : Vector de sumatorias de potencias de x con y's.
No es necesario memorizar estas ecuaciones, pues son fáciles de construir para
cada grado n.
Para construir el sistema para un grado, los pasos son:
 Se construye el primer renglón.
 Se construye la primera columna.
 Se llenan los renglones tomando en cuenta que cada uno tiene n+1
columnas.
 Se escribe el vector de términos independientes tomando en cuenta que la
máxima potencia en x es n.
El ajustar un polinomio a una serie de datos se conoce como regresión polinomial.
EJEMPLO DE REGRECIÓN POLINOMINAL
 REGRECIÓN LINEAL MÚLTIPLE
En la regresión lineal múltiple vamos a utilizar más de una variable explicativa; esto
nos va a ofrecer la ventaja de utilizar más información en la construcción del modelo
y, consecuentemente, realizar estimaciones más precisas.
Al tener más de una variable explicativa (no se debe de emplear el término
independiente) surgirán algunas diferencias con el modelo de regresión lineal
simple.
Una cuestión de gran interés será responder a la siguiente pregunta: de un vasto
conjunto de variables explicativas: x1, x2,…, xk, cuáles son las que más influyen en
la variable dependiente Y.
En definitiva, y al igual que en regresión lineal simple, vamos a considerar que los
valores de la variable dependiente Y han sido generados por una combinación lineal
de los valores de una o más variables explicativas y un término aleatorio:
𝑦 = 𝑏0 + 𝑏1 ∗ 𝑥1 + 𝑏2 ∗ 𝑥2 +, … , +𝑏𝑘 ∗ 𝑥𝑘 + 𝑢
Los coeficientes son elegidos de forma que la suma de cuadrados entre los valores
observados y los pronosticados sea mínima, es decir, que se va a minimizar la
varianza residual.
Esta ecuación recibe el nombre de hiperplano, pues cuando tenemos dos variables
explicativas, en vez de recta de regresión tenemos un plano:

Cómo analizar la regresión lineal múltiple

Los dos primeros pasos hacen referencia a la bondad del modelo, es decir, si el
conjunto de variables independientes (causas) explican la variable dependiente
(resultado)
1 – Significación de F-test: si es menor de 0,05 es que el modelo es
estadísticamente significativo y por tanto las variables independientes explican
“algo” la variable dependiente, cuánto “algo” es la R-cuadrado
2 – R cuadrado: es cuánto las variables independientes explican la variable
dependiente, indica el porcentaje de la varianza de la variable dependiente
explicado por el conjunto de variables independientes. Cuanto mayor sea la R-
cuadrado más explicativo y mejor es el modelo causal.
Los dos siguientes pasos hacen referencia a la influencia de cada una de las
variables independientes:
3 – Significación de t-test: si es menor de 0,05 es que esa variable independiente
se relaciona de forma significativa con la variable dependiente, por tanto, influye
sobre ella, es explicativa
4 – Coeficiente beta (β): indica la intensidad y la dirección de la relación entre esa
variable independiente (VI) y la variable dependiente (VD):
 cuanto más se aleja de 0 más fuerte es la relación
 el signo indica la dirección (signo + indica que al aumentar los valores de la VI
aumentan los valores de la VD; signo – indica que al aumentar los valores de la
VI, los valores de la VD descienden)
MINIMOS CUADRADOS
MINIMO CUADRADOS LINEALES EN GENERAL
El procedimiento mas objetivo para ajustar una recta a un conjunto
de datos presentados en un diagrama de dispersión se conoce como "el método de
los mínimos cuadrados". La recta resultante presenta dos características
importantes:
1. Es nula la suma de las desviaciones verticales de los puntos a partir de la recta
de ajuste
∑(Y − Y) = 0

2. Es mínima la suma de los cuadrados de dichas desviaciones. Ninguna otra recta

daría una suma menor de las desviaciones elevadas al cuadrado
(mínima).
∑(Y − Y)2 → 0
El procedimiento consiste entonces en minimizar los residuos al cuadrado Ci²

La obtención de los valores de a y b que minimizan esta función es un problema

que se puede resolver recurriendo a la derivación parcial de la función en términos
de a y b: llamemos G a la función que se va a minimizar:

Tomemos las derivadas parciales de G respecto de a y b que son las incógnitas y

las igualamos a cero; de esta forma se obtienen dos ecuaciones llamadas
ecuaciones normales del modelo que pueden ser resueltas por cualquier método ya
sea igualación o matrices para obtener los valores de a y b.

Derivamos parcialmente la ecuación respecto de a

 PRIMERA ECUACION

Derivamos parcialmente la ecuación respecto de b

SEGUNDA ECUACION

Los valores de a y b se obtienen resolviendo el sistema de ecuaciones resultante.

EJEMPLO

REGRACIÓN NO LINEAL
Regresión no lineal es un método para encontrar un modelo no lineal para la relación
entre la variable dependiente y un conjunto de variables independientes. A
diferencia de la regresión lineal tradicional, que está restringida a la estimación de
modelos lineales, la regresión no lineal puede estimar modelos con relaciones
arbitrarias entre las variables independientes y las dependientes. Esto se lleva a
cabo usando algoritmos de estimación iterativos. Tenga en cuenta que este
procedimiento no es necesario para los modelos polinómicos simples de la forma Y
= A + BX**2. Definiendo W = X**2, obtenemos un modelo lineal simple, Y = A + BW,
que se puede estimar usando métodos tradicionales como el procedimiento
Regresión lineal.

Una función no-lineal que tiene muchas aplicaciones es la función exponencial:

Y = AXb

Donde A y b son constantes desconocidas. Si aplicamos logaritmos, esta función

también puede ser expresada como:
log(Y) = log(A) + b.log(X)

Consideremos ahora la siguiente regresión lineal:

log(Y) = b0 + b1log(X)

En esta regresión (denominada regresión doble-log), en lugar de calcular la

regresión de Y contra X, calculamos la regresión del logaritmo de Y contra
el logaritmo de X. Comparando estas dos ecuaciones, podemos apreciar que el
coeficiente es un estimador de log(A), mientras que es un estimador de b (el
exponente de la función exponencial). Este modelo es particularmente interesante
en aplicaciones econométricas, porque el exponente b en una función exponencial
mide la elasticidad de Y respecto de X.

Interpolación polinomial de Newton en diferencias divididas Polinomios de

interpolación de Lagrange
En análisis numérico, la interpolación polinómica es una técnica de interpolación de
un conjunto de datos o de una función por un polinomio. Es decir, dado cierto
número de puntos obtenidos por muestreo o a partir de un experimento se pretende
encontrar un polinomio que pase por todos los puntos.
Dada una función de la cual se conocen sus valores en un número finito de
abscisas , se llama interpolación polinómica al proceso de hallar
un polinomio de grado menor o igual a m,
cumpliendo .
A este polinomio se le llama Polinomio interpolador de grado m de la función f.
La interpolación polinómica es un método usado para conocer, de un modo
aproximado, los valores que toma cierta función de la cual sólo se conoce su imagen
en un número finito de abscisas. A menudo, ni siquiera se conocerá la expresión de
la función y sólo se dispondrá de los valores que toma para dichas abscisas.
El objetivo será hallar un polinomio que cumpla lo antes mencionado y que permita
hallar aproximaciones de otros valores desconocidos para la función con una
precisión deseable fijada. Por ello, para cada polinomio interpolador se dispondrá
de una fórmula del error de interpolación que permitirá ajustar la precisión del
polinomio.
Método de las diferencias divididas de Newton
Sea una variable discreta de elementos y sea otra variable
discreta de elementos los cuales corresponden, por parejas, a la imagen u
ordenada y abcisa de los datos que se quieran interpolar, respectivamente, tales
que:

Este método es muy algorítmico y resulta sumamente cómodo en determinados

casos, sobre todo cuando se quiere calcular un polinomio interpolador de grado
elevado.
El polinomio de grado resultante tendrá la forma

definiendo como

y definiendo como

Los coeficientes son las llamadas diferencias divididas.

Una vez se hayan realizado todos los cálculos, nótese que hay (muchas) más
diferencias divididas que coeficientes . El cálculo de todos los términos
intermedios debe realizarse simplemente porque son necesarios para poder formar
todos los términos finales. Sin embargo, los términos usados en la construcción del
polinomio interpolador son todos aquellos que involucren a .
Estos coeficientes se calculan mediante los datos que se conocen de la función .

Queda definido, como:

EJEMPLO
LA INTERPOLACION
Coeficientes de un polinomio de interpolación
En análisis numérico, la interpolación polinomial es una técnica de interpolación de
un conjunto de datos o de una función por un polinomio. Es decir, dado cierto
número de puntos obtenidos por muestreo o a partir de un experimento se pretende
encontrar un polinomio que pase por todos los puntos.
La interpolación polinómica es un método usado para conocer, de un
modo aproximado, los valores que toma cierta función de la cual sólo se conoce su
imagen en un número finito de abscisas. A menudo, ni siquiera se conocerá la
expresión de la función y sólo se dispondrá de los valores que toma para dichas
abscisas.
El objetivo será hallar un polinomio que cumpla lo antes mencionado y que permita
hallar aproximaciones de otros valores desconocidos para la función con una
precisión deseable fijada. Por ello, para cada polinomio interpolador se dispondrá
de una fórmula del error de interpolación que permitirá ajustar la precisión del
polinomio.
Es fácil demostrar, usando el determinante de Vandermonde, que por n puntos, con
la única condición de que para cada x haya una sola y, siempre se puede encontrar
un polinomio de grado igual a (n-1) que pase por los n puntos.
Se dispone de varios métodos generales de interpolación polinómica que permiten
aproximar una función por un polinomio de grado m. El primero de estos es el
método de las diferencias divididas de Newton. Otro de los métodos es
la interpolación de Lagrange, y por último, la interpolación de Hermite.
EJEMPLO