Clase 7 - Regresión Lineal Con Una Variable PDF

Introduccin a Machine Learning
Modelo
Descenso del Gradiente
Inteligencia de Negocios
Regresin Lineal con Una Variable
Profesor Julio Casanova V.

Facultad de Ingeniera
Universidad Mayor
I Semestre 2015
Julio Casanova V.

Modelo
Contenido

BI
Marco General
Modelo
Representacin del Modelo
Funcin de Costo

Algoritmo Descenso del Gradiente
Descenso del Gradiente para la Regresin Lineal
Julio Casanova V.

Modelo
BI
Marco General
Ejemplo BI
Estructura informtica necesaria para hacer BI
Julio Casanova V.

Modelo
BI
Marco General
Machine Learning y sus Interacciones

Machine
Learning
Data Mining
Aprendizaje
Supervisado
Bases de
Datos
Aprendizaje
No Supervisado
Support
Vector
Machine
Redes
Neuronales
Regresin
Lineal
Regresin
Logstica
Reglas de
Asociacin
Algoritmos
de Aprendizaje
Visualizacin
Clustering
Inferencial
Procesamiento
del Lenguaje
Natural
Robtica
Inteligencia
Artificial
Estadstica
Descriptiva
Julio Casanova V.

Modelo

Funcin de Costo

Prediccin del precio de la vivienda
Precio (US$) en miles
500
400
x x
x
xx
x x x
xx x
x
x
xx x x x x
xx x
x
x
x
x
xx
300
200
xx
xx
x
x
xx x
100
0
0
500
1000
1500
2000
2500
3000
Tamao en pies 2
Aprendizaje Supervisado Respuestas correctas estn dadas.
Regresin Predice como output valores continuos.
Julio Casanova V.

Modelo

Funcin de Costo

Conjunto de entrenamiento
Tamao en pies 2 (x)
Precio ($) en miles (y)
1250
1320
1510
2800
...
220
300
310
295
...
Notacin:
m = Nmero de ejemplos de entrenamiento
xs = Variable input / caracterstica
ys = Variable output / objetivo
Julio Casanova V.

Modelo

Funcin de Costo

Hiptesis
Conjunto Entrenamiento
Algoritmo de Aprendizaje
Tamao Casa (x )
h (Hiptesis)
Precio Estimado
Cmo representamos h?
Julio Casanova V.

Modelo

Funcin de Costo

Hiptesis
Tamao en pies 2 (x)
Precio ($) en miles (y)
1250
1320
1510
2800
...
220
300
310
295
...
Hiptesis: h (x ) = 0 + 1 x
i s: Parmetros
Cmo escogemos los i s?
Julio Casanova V.

Modelo

Funcin de Costo
Funcin de Costo
Hiptesis:
h (x ) = 0 + 1 x
Parmetros:
0 , 1
Funcin de Costo:
J(0 , 1 ) =
m
1 X
(h (x (i) ) y (i) )2
2m i=1
Objetivo:
min J(0 , 1 )
0 ,1
Julio Casanova V.

Modelo

Funcin de Costo
Funcin de Costo
35
30
J(theta_0,theta_1)
25
20
15
10
5
0
4
2
4
2
0
theta_1
0
-2
-2
-4
Julio Casanova V.
theta_0
-4

Modelo

Funcin de Costo
Funcin de Costo
Para 0 = 800 y 1 = 0.15
h (x )
J(0 , 1 )
(para 0 , 1 fijos, esta es una funcin de x )
(funcin de los parmetros 0 , 1 )
700
Conjunto entrenamiento
Hipotesis actual
0.4
600
0.2
theta_1
Precio en miles
500
400
300
-0.2
200
-0.4
100
0
1000
2000
3000
Tamano en pies cuadrados
4000
5000
Julio Casanova V.
-1000
-500
500
theta_0
1000
1500
2000

Modelo

Funcin de Costo
Funcin de Costo
Para 0 = 300 y 1 = 0
h (x )
J(0 , 1 )
700
Hipotesis actual
0.4
600
0.2
theta_1
Precio en miles
500
400
300
-0.2
200
-0.4
100
0
1000
2000
3000
4000
5000
Julio Casanova V.
-1000
-500
500
theta_0
1000
1500
2000

Modelo

Funcin de Costo
Funcin de Costo
Para 0 = 71.32 y 1 = 0.13 (ptimo)
h (x )
J(0 , 1 )
700
Hipotesis actual
0.4
600
0.2
theta_1
Precio en miles
500
400
300
-0.2
200
-0.4
100
0
1000
2000
3000
4000
5000
Julio Casanova V.
-1000
-500
500
theta_0
1000
1500
2000

Modelo

Tenemos una funcin J(0 , 1 )

Queremos min0 ,1 J(0 , 1 )
Algoritmo:
Partir con algn 0 , 1 (podra ser 0 = 0, 1 = 0).
Constantemente cambiar 0 , 1 para reducir J(0 , 1 ) hasta
que finalmente lleguemos a un mnimo.
Julio Casanova V.

Modelo

Funcin No Lineal
10
J(theta_0,theta_1)
-5
-10
3
2
2
0
theta_1
1
0
-1
-1
-2
theta_0
-2
-3
Julio Casanova V.
-3

Modelo

Algoritmo del Descenso del Gradiente

repetir hasta la convergencia {
j := j
J(0 , 1 )
j
(actualizar simultneamente
j = 0 y j = 1)
}
Si es muy pequeo, el descenso del gradiente puede ser
lento.
Si es muy grande, el descenso del gradiente puede
sobrepasar el mnimo. Puede dar problemas en la
convergencia, o incluso divergir.
Julio Casanova V.

Modelo


Modelo Regresin Lineal:
h (x ) = 0 + 1 x
J(0 , 1 ) =
m
1 X
(h (x (i) ) y (i) )2
2m
i=1
Algoritmo Descenso del Gradiente:

j := j
J(0 , 1 ), j = 0, 1
j
Julio Casanova V.

Modelo


m
1 X
0 := 0
(h (x (i) ) y (i) )
m i=1
1 := 1
m
1 X
(h (x (i) ) y (i) ) x (i)
m i=1
(actualizar 0 y 1 simultneamente)
}
Julio Casanova V.

Modelo

Funcin de Costo
Sabemos que es una funcin cuadrtica ...
35
30
J(theta_0,theta_1)
25
20
15
10
5
0
4
2
4
2
0
theta_1
0
-2
-2
-4
theta_0
-4
... y es Convexa, por lo tanto tiene un mnimo global.

Julio Casanova V.

Modelo

Iteraciones Descenso del Gradiente

Para 0 = 900 y 1 = 0.1
h (x )
J(0 , 1 )
700
Hipotesis actual
0.4
600
0.2
theta_1
Precio en miles
500
400
300
-0.2
200
-0.4
100
0
1000
2000
3000
4000
5000
Julio Casanova V.
-1000
-500
500
theta_0
1000
1500
2000

Modelo


Para 0 = 800 y 1 = 0.12
h (x )
J(0 , 1 )
700
Hipotesis actual
0.4
600
0.2
theta_1
Precio en miles
500
400
300
-0.2
200
-0.4
100
0
1000
2000
3000
4000
5000
Julio Casanova V.
-1000
-500
500
theta_0
1000
1500
2000

Modelo


Para 0 = 650 y 1 = 0.13
h (x )
J(0 , 1 )
700
Hipotesis actual
0.4
600
0.2
theta_1
Precio en miles
500
400
300
-0.2
200
-0.4
100
0
1000
2000
3000
4000
5000
Julio Casanova V.
-1000
-500
500
theta_0
1000
1500
2000

Modelo


Para 0 = 550 y 1 = 0.09
h (x )
J(0 , 1 )
700
Hipotesis actual
0.4
600
0.2
theta_1
Precio en miles
500
400
300
-0.2
200
-0.4
100
0
1000
2000
3000
4000
5000
Julio Casanova V.
-1000
-500
500
theta_0
1000
1500
2000

Modelo


Para 0 = 450 y 1 = 0.04
h (x )
J(0 , 1 )
700
Hipotesis actual
0.4
600
0.2
theta_1
Precio en miles
500
400
300
-0.2
200
-0.4
100
0
1000
2000
3000
4000
5000
Julio Casanova V.
-1000
-500
500
theta_0
1000
1500
2000

Modelo


Para 0 = 360 y 1 = 0
h (x )
J(0 , 1 )
700
Hipotesis actual
0.4
600
0.2
theta_1
Precio en miles
500
400
300
-0.2
200
-0.4
100
0
1000
2000
3000
4000
5000
Julio Casanova V.
-1000
-500
500
theta_0
1000
1500
2000

Modelo


Para 0 = 290 y 1 = 0.04
h (x )
J(0 , 1 )
700
Hipotesis actual
0.4
600
0.2
theta_1
Precio en miles
500
400
300
-0.2
200
-0.4
100
0
1000
2000
3000
4000
5000
Julio Casanova V.
-1000
-500
500
theta_0
1000
1500
2000

Modelo


Para 0 = 200 y 1 = 0.08
h (x )
J(0 , 1 )
700
Hipotesis actual
0.4
600
0.2
theta_1
Precio en miles
500
400
300
-0.2
200
-0.4
100
0
1000
2000
3000
4000
5000
Julio Casanova V.
-1000
-500
500
theta_0
1000
1500
2000

Modelo


Para 0 = 71 y 1 = 0.13 (ptimo)
h (x )
J(0 , 1 )
700
Hipotesis actual
0.4
600
0.2
theta_1
Precio en miles
500
400
300
-0.2
200
-0.4
100
0
1000
2000
3000
4000
5000
Julio Casanova V.
-1000
-500
500
theta_0
1000
1500
2000

Modelo

Regresin Lineal con Una Variable
Profesor Julio Casanova V.

Facultad de Ingeniera
Universidad Mayor
I Semestre 2015
Julio Casanova V.

Clase 7 - Regresión Lineal Con Una Variable PDF

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Clase 7 - Regresión Lineal Con Una Variable PDF

Transféré par

Droits d'auteur :

Formats disponibles

Introduccin a Machine Learning

Profesor Julio Casanova V.

Introduccin a Machine Learning

Introduccin a Machine Learning

Descenso del Gradiente

Introduccin a Machine Learning

Introduccin a Machine Learning

Machine Learning y sus Interacciones

Introduccin a Machine Learning

Representacin del Modelo

Representacin del Modelo

Precio (US$) en miles

Introduccin a Machine Learning

Representacin del Modelo

Representacin del Modelo

Tamao en pies 2 (x)

Precio ($) en miles (y)

Introduccin a Machine Learning

Representacin del Modelo

Representacin del Modelo

Introduccin a Machine Learning

Representacin del Modelo

Representacin del Modelo

Tamao en pies 2 (x)

Precio ($) en miles (y)

Introduccin a Machine Learning

Representacin del Modelo

Introduccin a Machine Learning

Representacin del Modelo

Introduccin a Machine Learning

Representacin del Modelo

(para 0 , 1 fijos, esta es una funcin de x )

(funcin de los parmetros 0 , 1 )

Introduccin a Machine Learning

Representacin del Modelo

(para 0 , 1 fijos, esta es una funcin de x )

(funcin de los parmetros 0 , 1 )

Introduccin a Machine Learning

Representacin del Modelo

(para 0 , 1 fijos, esta es una funcin de x )

(funcin de los parmetros 0 , 1 )

Introduccin a Machine Learning

Algoritmo Descenso del Gradiente

Descenso del Gradiente

Tenemos una funcin J(0 , 1 )

Introduccin a Machine Learning

Algoritmo Descenso del Gradiente

Introduccin a Machine Learning

Algoritmo Descenso del Gradiente

Algoritmo del Descenso del Gradiente

Introduccin a Machine Learning

Algoritmo Descenso del Gradiente

Descenso del Gradiente para la Regresin Lineal

Algoritmo Descenso del Gradiente:

Introduccin a Machine Learning

Algoritmo Descenso del Gradiente

Descenso del Gradiente para la Regresin Lineal

repetir hasta la convergencia {

Introduccin a Machine Learning

Algoritmo Descenso del Gradiente

... y es Convexa, por lo tanto tiene un mnimo global.

Introduccin a Machine Learning

Algoritmo Descenso del Gradiente