Stats315a: Statistical Learning

1
Statistics in the news

How IBM built Watson, its “Jeopardy”-playing

supercomputer by Dawn Kawamoto DailyFinance 02/08/2011

Learning from its mistakes

According to David Ferrucci
(PI of Watson DeepQA tech-
nology for IBM Research),
Watson’s software is wired
for more that handling natural
language processing.

“Its machine learning allows the computer to become smarter as it tries to

answer questions — and to learn as it gets them right or wrong.”

2


3
 Next Article in Technology (1 of 20) »
For Today’s Graduate, Just One Word: Statistics
By STEVE LOHR
Published: August 5, 2009
SIGN IN TO
RECOMMEND
MOUNTAIN VIEW, Calif. — At Harvard, Carrie Grimes majored in
SIGN IN TO
anthropology and archaeology and ventured to places like Honduras, E-MAIL
where she studied Mayan settlement patterns by mapping where
PRINT
artifacts were found. But she was drawn to what she calls “all the
REPRINTS
computer and math stuff” that was part of the job.
SHARE

Enlarge This Image “People think of field archaeology as

Indiana Jones, but much of what you
really do is data analysis,” she said.

Now Ms. Grimes does a different kind Q UOTE OF THE DAY,

Thor Swift for The New York Times
Carrie Grimes, senior staff engineer at
Google, uses statistical analysis of
data to help improve the company's
search engine.
Multimedia
of digging. She works at Google,
where she uses statistical analysis of mounds of data to N EW YORK T IMES ,
come up with ways to improve its search engine.
AUGUST 5, 2009
Ms. Grimes is an Internet-age statistician, one of many
who are changing the image of the profession as a place for
”I keep saying that the sexy
dronish number nerds. They are finding themselves job in the next 10 years will
increasingly in demand — and even cool.
be statisticians. And I’m not
Subscribe to Technology RSS Feeds
“I keep saying that the sexy job in the next 10 years will be
statisticians,” said Hal Varian, chief economist at Google. kidding.” - HAL VARIAN,
“And I’m not kidding.”
chief economist at Google.

4
5
ESL Chapter 1 — Introduction Trevor Hastie and Rob Tibshirani

Statistical Learning Problems

• Identify the risk factors for prostate cancer (Fig 1.1).
• Classify a recorded phoneme (Fig 5.5) based on a log-periodogram.

• Predict whether someone will have a heart attack (Fig 4-12) on the
basis of demographic, diet and clinical measurements
• Customize an email spam (Tab 1.1) detection system.

• Identify the numbers in a handwritten zip code (Fig 1.2), from a

digitized image
• Classify a tissue sample into one of several cancer classes, based on a
gene expression (Fig 1.3) profile

• Classify the pixels in a LANDSAT (Fig 13.6) image, by usage:

{red soil, cotton, vegetation stubble, mixture, gray soil, damp gray soil}

6
ESL Chapter 1 — Introduction Trevor Hastie and Rob Tibshirani

−1 1 2 3 4 40 50 60 70 80 0.0 0.4 0.8 6.0 7.0 8.0 9.0

o o o o o o
o o o o o o o o
o o
o o
o o o

0 1 2 3 4 5
o o o
oo o
o
o oo
o
o o
o o o o
o o o
o o oo o o o o o o oo o o
o o o o o o
o o o o o
oooo ooooooo o ooooooooo oo oooooooooo oo o oo o
o o o
o oo o o oo o
o o
o
o o
o oooooo oo ooo o o
o
o o oo o o o o o
o o
o oo oo o o o oooooooo oo oooo o ooo
o
o oooooooo o o o o o oo o o oo o o o o oo
o
lpsa oooooooooo oo o oooooo oo
oooo o oo oooo
oooooooo
oooo o
o o
o oo ooooo o
o o
o
o
o
o o o o o oo oo o
o
o
o o
o o
o
oo
o
oooo
oo
o oo o o o o
ooo ooo oo o oo ooo o o oo o o o
o o o o oo o o o o o o ooo o o ooo o o
o
o o oo
ooo
o ooooo oooo oooo ooooo
ooooo ooo o o oo
o o o
ooo
oo o
o o oo ooooooo o
o
o o
o ooo o o
o
o
o o o o
o
o
o o
oo ooo
o ooo ooo oo oo o
oo o ooo o o o o o ooo o o
o o o
o o
o o o
o o
o o
oo o
o o o oo o oo o oo o
o o o o
o o
o o
o o
o
o o o o o o o o
oo oo oo oo o o o o
o o
o o
o o
o o o
o o

4
o o o o o o o o
o o ooo o o o oo o o oo o
o oooo ooo o o oo
oo o o o o
o o o o
o o o oo o
o
ooo o oo oo oo o o o o oo ooooo oooo o

3
o oooo o ooo
o o
o ooo o o o o o o oo o oo
ooo ooo oooo o ooooo oooo o oooo o oo o o
o o o o
o oo ooooo o o oo oo oo
o o
o o oo o o
o o oo o o
o oo o o
o o oooooo o
o o o o o
o oo o o o oo oo o

2
ooo oo
ooooooooo oooo oooooooo o oooo
ooo o
o o
o o oo o ooo ooo o
o o
o o
o oo oo oo oo o o o
o
o o o o oo o
o
ooo ooooooo o lcavol oooo oo
o ooo o
oo ooo o
o oooooooooooooo o o o o ooo o
o o o
o oo ooo
o
o
o o
o o o oo o
ooo ooo o o
o
ooo oooo o o o o o

1
ooo o o oooooooo o o o oooo oo o o
o oo o oooooo o o
o
o o
o o ooo o
o
o
o
o o oo oo
o
o oo
ooooooo ooo o o o o oo oo o o
o oo o
o
o
o
o o
o o
o o
o
−1 oo o oooo o oo oooo o o o o o o ooo o o
o o o o o
o
o o
o
o o
o
o
o o oo
o
o
o o
o ooo o o o o o
o o
o o
o o
o o
o
o o o o o o o
o o o o o o o o o o o o o
o o o

4.5
oo o o o o oo oo oo o
o o o o o o o
o o o o o oo o o oo o
o o
o o o
o o oo
oooooooo o oo ooo oo oo oo oo o o o oooooo o
o o
o oo oo o
o o
o o o o
ooo o
o oo oo
oo o
o
ooo o o ooo o o o o
o o o oooo oooooo oo
o
o o oo o
ooo o
ooo oooooo
o o o o ooo ooo oooo o
oo o o o ooo o
ooo oo o o
o o o
o
oo
o oooooooo
o
o o
o o
o o o
o o oo o o o
o oo o o o o o
o
o oo o ooo o
ooo oooooo o o o ooooo ooooooo
oooo lweight oooo o
ooo oo
o oo o
o o
o o
o o
o o
o o o o o o oo o
ooo
o
o
o o
o o o oo

3.5
ooooooo o ooo oooooo oo oooooo
ooooo oo o o o o o oo o
o o o
o o o
o o o oo oo o o o oo
o oo o
o o
o oo oooooo o ooo
o ooo oo o o
o o ooo o o o ooo ooo o oo
o
o o o
o
o o
o o
o oo o
o
o o
o o ooooo o
o
o
o
ooo oo o o oooo o o o oo oo o
o
o oooo o o o
o
o o
o
o
o o
o oo
o
o
o o
o
o
o
o oo
o oo oo
oo o oo o oo o
o o
o o o o o o
o o
o o o o o

2.5
o o o o o o o o
80

o ooo ooo o o oo o o o o o o
o o o
o o ooo oo o o o
o o o o o
o
o
o
o o
o
o
oo o
o
o
o
o oo o
o o ooo o oo oo o o o o o o oo o o ooooo
oooooooooooo o oo oo o o o o oo oo o
o o ooo o o o o o o o
70

o ooo ooo oo oo
o ooo o o o o o ooo o ooo o o o
o
ooo
o ooo oooo
o
ooooo oo oo
oooo
oo ooo ooo oo oooo
o ooooo oooo oooo
ooo oooo
ooooo o
oo oooo o
o
o
o
o oooo
oooo o
o
o
o
o
o
o
o
o
o
o o oo
o
o o
oo oooooooooo o
o
o
o
o
o
o
o
o
oo oo
oo o o o o
ooo
o oo o o oo o ooo ooo
o oo o o ooooooooooo
oo o
o oo ooo ooooo
o o oo o
o o
o o
o o o o
o o
o o o
o o o o
o
o oooooo ooooo oo
ooo ooo o
o ooooo ooooo
ooooo
oo
age o
o
o o
o
o o
o
o o
o
o ooo
o oo o o o o
o o
o
o o
oo oo o
oooo oo
o ooo o
60

o o oo oo o ooooooooo o o ooooooo
o o ooo o
o
o
o o
o
o
o o oo
oo o
o
o
o
o o
o
o oo
o oo
o o
o o
o
o
o o
oo o
oo o o o o o
o o o o ooo
o oo o o o o o
50

o o o oo o o o o
o o
o o
o o
o
o o o o o o o o o o o o oo
o o o o o o o o
o o o o oo o
o o
o o
o o
o o
o
40

o ooo oo o oo ooo
oo o
o oo o
o ooooo ooo
o o o oo o o
o o oo o
o
o o
o
o
o
o oo
oo
o o o
oo ooo o oooo ooo o o o o o o o o

2
o ooooooooooo
oo oo oo oooooooo oooo oo o oooooo oo o
o o o o o o ooo o o
o o o
o o
o o
o oo o o o
oo o oo o o
o o
o o o oooo o oo
o
o o
o o
oooooo o o ooo o oo
oo oo o
o
o
o
o
o
o
o ooo
o oo o
o
o
o
o
o o
o o oo
oo oo
oo
o o o o o o oo o o o
o o o o o o o o oo

1
o o ooo o
oo
o
o o ooo oooo o o
o
ooooo o o
o
o
o ooooooo oo
o
lbph o
o
o o
o
o
o
o o
o o o o
o
o
o
o
o
o
o
o o oo o
o
o
o oo

0
o o o o o oo o o o o
o o o o o o
o o o o o o o

−1
o ooooooooooooooooooooooooooooo
oo oooooooooooooo o
oooooo ooooooooo ooooooooooooo o o
o oooooooo
oo ooo o ooo ooooooooooooo oo
oo o o ooo
o ooo oooo o oooooo o o o oooooo o o o o o o o
ooooooooo
ooooooo ooooo oo
ooooooooo oooooooooooo o o o ooooooooo ooo o o o o o ooo oo o oooo oooooooo
ooooo o o ooo ooo o o ooo o o
0.8

svi
0.4
0.0

oo
o oo
ooooooooooooooooooooooooooo ooooooo oooooooooooooo
ooooooooooooooo oo o oooo
oo
ooooo
oo
ooooooo
ooooo
oo
o
oo
ooooo
ooooooooooo o oo o
ooo ooooooooo
oo
oo
oo
ooooooooo oo o oo ooooo ooooooo
oo
oooooooooo
ooo o oooooooo o oooooo o o o o o o
oo
oooooo o o o o o o

3
o oo o o o ooooo
o
ooooo oo
o
o o o oo oo
o o o
o
o
o o o o
o
o
o
o
o o o
o
oo o
oooo o oo oo o o
o o o
o o
o ooo
o o ooooooo oo ooooo o o oooo
o o o o o oo

2
ooo oo o ooooo oo oo o o
o o o o o o oo
oo ooo o o ooo o o ooo o o
oo o
oo o
o o oo o o
o
o
o
o
o
o
o
o
o
o
o o oo o
o o o
lcp

1
o o oo oo oo oo o o o o o o o o o o oo o
o oooo o oooo o o o oo o o oo oooo o o
o o o o
o o o o oo o o
o oo oo oooooo o
oo o
o
o oo
o oo o o o
o o o
o o oo

0
o o o
ooooooooooo o o oooo o oo
o o o o ooooooo oo o
o ooo oooo
oo oo
o
o
o ooo oo o o
o
o
o
o
o
o
o
o
ooo o o o
oo o

−1
oo
o oo
oooooooooooooooooooooooo ooooooo oooooooo oooooooo o oo o oo ooooo
oo
ooooooooooooooooooo oo ooo o oooooo
oo
oooooooooo oo o o ooo ooooooooooooo o o o o o oooooo o o o
9.0

oooo o o o oo oo o oo o o o o o o o o o o o o oo o o o ooo
8.0

o o o o o o o o
gleason
7.0

o ooooooooooooooooooooo
ooooooo oo ooooooooooooooooo
oo
oooooooo o o oooooooooooooo
oo
ooo
oo
ooooooooo oo o o o ooooooooo
oo
oooooooooo o o o oooo o oooo
oo
oooooooo
ooo o o o ooooooooooo ooooooooo
ooo o ooooooooo o o ooo
6.0

oo
o oo
oooooooooooooooo oo oooooo ooooooo ooooooooo o o oooo
oo
oooooooooooo oo oo oo ooo o oo oo
oo
oooooooo o o o o oooooooooo o o oo o o o

100
oo o o o o o o o o
o o o o o o o o o o oo o
o
oo o oo o o oo o oo o o o o o o o o o o o o o
o oo oo o o oo o ooooo oo oo o o oo o o
o o o oo o o
o o

60
o ooooooo ooo oo o ooo oo o o o o ooooo o o o oo o o o oo ooo o
o oo
ooo o o
o
ooo oo o o
oo
o
o oo
ooooo o
o o
oo oo
o
o
o
o ooooo
o
o
o
o
o
o o o
o
o oo
o o
o
pgg45
oo o o oo o oo o o ooo o o o ooo oo o o o o o oo o o
o o ooo o o
o
oo oo oooooo o o o o o o o

0 20
o oooo ooooooo o o o o o oo ooo o o oo
oo oooo oo o oo ooo oo o o o o o o o oo o o
o ooooo
o o oo o o oo oo
o
ooooo ooooo o o o oooo o o o o
o o o o
o o
o o
o o o o o
o o
oo oooooooooooooo
o oo ooo oo ooo
oooooo ooooooo oo oooo ooo o oo
o oooooo
oooooooooooo oo oo ooo ooooo
oo o o oo
oo
oooooooo o
o o o o o ooooooooooo
o o
o o
o oo
o oo oo o o o

0 1 2 3 4 5 2.5 3.5 4.5 −1 0 1 2 −1 0 1 2 3 0 20 60 100

7
ESL Chapter 1 — Introduction Trevor Hastie and Rob Tibshirani

449 gm prostate!

-1 1 3 40 60 80 0.0 0.4 0.8 6.0 7.5 9.0

o o o o o o o oo o o
o oo o o o o o o o

0 1 2 3 4 5
o o o o o o o o o o
o
o ooo ooo o o oo o oo o
o oo o o
o o o
oooo
o ooooo oooooo oooo oo ooooooooo oo o
o
o
o
o
o
o o o oo o o oo
o
o
o o
o
o
o
o oooooo oo ooo
o
o o
o o o o oo o o o o
ooo
o ooooooooooooo ooo o oooo oo
oo ooo
oo
ooooooo ooo o
ooooo o
oo o
o o oooooo o o
o o oo ooo oooooo o o
o o o
ooooooo ooooo
o oo
lpsa oo ooo o oo oooooo oo
oooo o
o
o o ooooo o o o
o oo o
o o o o o
oo oooo o
ooooooo oooo oooo
o oooooooo
oo ooo o
o o o oooo ooo o
o o ooooo oooo
o
ooo
o
o
o
o
o o
o o oo o oo o
o
o
o o
o o o oo
o o o oo
ooo o
o o o
o ooo o
o
o oo oo
o
o oo o o ooooo
oooo o
o o ooooo o
o
o o
o oo
o o
oo o oo o
o o
o
o o oo o oo
o
o
o o oo
o oo
oo oo oo o oo o o o
o
o o o
o
o
o
o
o
o
o
o
o
o oo o
o
o
o o o o o o o
oooo oo o o o o o
o o
o o
o o
o o o
o o

-1 0 1 2 3 4
o o o o o o o o o o ooo
o ooooo oo oooooooo o o oo o o oo o o o
o o o
ooo ooo
o o
o ooo o
ooooo
oo ooooooo o ooo
o o
o
o ooo
ooooo
o
o o oo o o
o
o o o o
o
o o o o oo
oo o o
oooooooo ooooooo ooo oo o
o
o o o o
o
o o ooo ooooooooo o o
o
o oo
ooo o o
o oo o o
o o o
ooooooooooo
oo o oooo
oo oo o o
o
o o oooooo o
o o
o
o o
o o o o
o o
o o
o
o o o
o o o o oo o
oooooooooo oo
lcavol o oo o
oo o oo
ooo o o oooo oooo
o o o o ooo oo o o o o ooo
o o
ooooo o
oo
oo oooo
oo oooo ooooo ooo o
ooooo o oooooooo ooooo o o
o o oo ooo ooo o
o o o
o o oo o o o
o
o o
o ooo o o o
o
ooooo oo o oooo o
ooo o o oooo oo o
o o oooooo o o
o
o oo
o oooo o
o o
o o o
o o
o o o oo oo o
o o
o oo
o o
o o
o
o
oo ooooo o oo ooo o o o oo o ooo o o o o o o o o o o o oo
o oo
o ooooo o o oo o
o
o o
o
o
o
o
o
o
o
o
o
o
o
o
o o o o o o o o

6
5
oo
oo
o
o oo ooo o
o o o oo
oo o
o o
o o
o o o o o o o oooo o
oo oo ooo o oooo oo ooo lweight o oo
ooo ooo
o o o ooooooooo o o
o o
o o o
o o
o o
ooo o o
ooooooooooooooo o ooooooo oooo oooooo
o
o o o o o
o o
o oo o ooooooo o
ooo o
o o o o o ooo
ooo o oo o

4
o ooooo o ooo
oo ooo oo o o o ooo oooooooo o o ooo
ooo ooo o o o oo oo o
oooooooooooooooo
oo
o
oooo o ooooooooo ooooooooooooooooo o o oooooo
ooo
o o
ooooo
oo ooooo
o
o o ooooo oo
o
o
o
o
o o
o
o o oooo oooo
o
o o
o o o
o
ooo
o oooo
ooooo oooo o
ooo oooo o o o
oo o o o o o o o o o o ooo o
o
o o o
o o
o o
o ooooooo o o
o o
o o o
o oo
o ooo o
o oooo
o oo o ooo ooo o o oo o o o o
o o
ooo o o
o

3
oo o o
o o
o o o o o
o
o o o o o o o o
40 50 60 70 80

oooo oo ooo o ooo o o o o o o

o o o o oo oo o o oo o ooo o o
o o o o o
o
o
o o
o
o
oo o
o
o
o oo
o o
o ooo o o oo o o ooooo o o o o
o
ooooooo oooooo oo o oo ooo ooooo o ooo oo o oo oooo oo o
o o o
ooo o o
o o
oooo oo oooo o o oo oo ooooo oooo
oo oooooooo
o o
o ooooo o ooo ooooooo o
o o o
o o ooo oooooo o
o o o o o o
o o ooo
oo o oo o oo
o oo
oooooooo ooooo oooo o oo ooooo o ooooooooooo o o oooo oooo oo
oo o
oo
o o o o
o
o oo o oo
o
o
o
o
o
o
o
o
o
o ooo ooo oo ooo oo
o o
o o
o
o o oo
ooo o o o o
o o oo o oooooo oo o
oo o oooooooooo o ooooooooo
oo age o o
o
oo ooo
o o oo
o
o o o
o oo
ooo
o o o
o
o ooo
oo o o o o
o
o
o o oo o o
o o o oo
o o o oo o o o oo o o
o o o o o o
o o o o o o o o o o
o o o o o o
oo
o o o o o o o o
o o o o oo o o
o o
o o
o o
o
ooo o o oooooo ooooooo o o oo oo o o
o oo o o o ooooo
oooo o o ooooo oo o oo o oooooooooo
ooo o
o o o oo o ooooo o
o o
o o o
o

2
o o o
o ooooooooo oooo oo o
o
o o o
o oooo
ooooooo ooo o o
o o o o o
o
o o ooo o
o o oo
ooo o o o o o oooo oo o oo ooooooo o oo oo o
o o o ooo o o oo o
o o o oo
o o ooo o
o oo o o o o oo o o o o o

1
o o o o o o o
o o oooo o oo o oo o o o lbph o o o o o o oo o o o
o o o o ooo o o ooo oo ooo oo oo o
o o o
o o o oo o o
o o o o
o o o o o o o o

0
oo o o o o ooo o oo o
o o o o o o o o o o o

-1
ooooooooooooooooooooooooo oooooooooooo
oooo oooooooooooooo o ooooooo
oo
oooooooooooooo oooooooooooooooooooooo
oo o o o ooo ooooo oooooo
ooo o o o oooooo o o o o o o o
ooooooooooooooo ooooo oo oooooooo oooooo ooo
oooo o o o oooo ooooo ooo o o o o o ooooo o oooooooooooo
ooooo o o ooo ooo o o ooo o o
0.8

svi
0.4
0.0

oooo
oooooooooooooooooooo ooooo
oooooooooooooooo
oooooooooooooo ooooooo
ooo
ooo
o
oo
oooo
ooo
oo
oooooo
o
oo
ooooooo o oo o
ooo ooooooooo
oo
oo
oo
oooo
oo
ooooooo o oo oooo oooooo
oo
oooooooo
oo o ooooooooooooooo o o o o o o
oo
oooooo o o o o o o

3
o ooo oo o
oooooo ooooo o
o o o
o o
o o o
o
o
o o o o
oo oo o o o o o o o o oooooo o
o
o oo o o o
o
o o
o
o o ooo oo
o o o

2
oo o o ooooooo oooooo
oo o o oo o o oooo o o o
o o oo oo o o
o
oooo oooo o o ooo o oooooo o
oo o
oo o
o o oo
o
o
o
o
o
o
o o
o
o
o
o oo o
o o

1
o o
o oooo ooo
o
oo
oooooooo ooooo
ooo
o o o
oo
ooo o
oooo
o o o
o
o o
o o
o
o
o
o
o
o
o
o
lcp o
o
o
o
o o
oo o oo oo
o
o
ooo ooo oooooo oo oo ooo o o o o o o oo o o o o

-1 0
o o
ooooooooooo o ooooo o o o
oo ooooo o o o
oo o oo o
o
o ooo oo o o
o
o
o
o
o
o
o
o
oo
oo o o
oooooooooooooooooo
oooo ooo oooooooooooooo o oo
ooooo oooooo oooooooooo
oooo
oo ooooo o oo ooo o oooooooooooooooooo o o ooo oooooooooo o o o o o oooooo o o o
6.0 7.0 8.0 9.0

ooooo o o oo ooooo oo o o o o o o o o o o oo o o o ooo

o o o o o o o o
gleason
o oooooooooooooooooooooooo oo oooooooooooooo
oo
oooooooo oooooooooooo
ooo
ooo
oooooooooo oo o ooooooo
oo
oooo
oooooooooo o o oooo oooo
oo ooo o
ooooooo o o oooooooooooooooooo
oooo ooooooooo o o ooo

oo oooooooooooo oo
ooo ooooooooooooo ooooooooo o ooo
ooo
oo
oo
ooooooooooo o oo ooo o oooooooooooo o o oo ooooooooo o o oo o o o

100
oo o o o o o o o o
o o o oo o o o o o oo o
o
oo o o oo o o o oo o oo o o o o o o o
o o o o o o
o o
o oo oo o oo ooo oooo o o oo o o o o oo o o o

60
o ooooooo oo oo o oooo oo ooooooo o o o oo o o o oo ooo o
o oo
ooo o o
o
ooo oo o o
oo o oo
o ooooo o
oo
oooo
o
o
o
o ooooo
o
o
o
o
o o
o o o o ooo
o o
o pgg45
oo o o oo o oo o o ooooo ooo oo o o o o o oo o o
o o ooo o
o
oo oo oooo ooo o o o oo oo o o o

0 20
o oooo oooooo o oo oooooo oo ooooooo o o o o o
o o o o o o ooo o o
ooo o o ooo ooo o oo o ooo oo o o o
o o o o oo o
o o
o o
o oo oo o o
o o
oo o oo
ooooooooooo
ooo o
oo oo o ooo o
ooooooooooooooooooooooo o o
oooooooo
ooo
oo
oo ooooooooooo o
o oo ooooo
ooo o ooooo
o oo o oooo o
o o ooo oooooooooo
o o
o o o o
o oo o o o o
0 2 4 3 4 5 6 -1 0 1 2 -1 1 2 3 0 40 80

Error pointed out by retired urologist Dr Stephen W. Link

8
ESL Chapter 1 — Introduction Trevor Hastie and Rob Tibshirani

Phoneme Examples

25
aa
ao

20
Log-periodogram

15
10
5
0

0 50 100 150 200 250

Frequency

Phoneme Classification: Raw and Restricted Logistic Regression

0.4
Logistic Regression Coefficients

0.2
0.0
-0.2
-0.4

0 50 100 150 200 250

Frequency

9
ESL Chapter 1 — Introduction Trevor Hastie and Rob Tibshirani

0 10 20 30 0.0 0.4 0.8 0 50 100

220
o o o o oo o o oo oooo o o o o oo
oo ooo o
o oo o o
o o o o ooo o o o oo
ooo o ooo o o o o o oo o ooo o o oo oo
o
o o
o o o o o o o
oo oo
o oo
o
ooo
oooooo o o
oooooooo o
o o ooo
oo ooooo oo o o o o ooo o o
ooo o o
oooooo oo
o
ooo
o o o o
ooo oooo o o
o ooooo o oo o
oooo ooooooooo o o oo oo oo oooo o o o ooooooooooo oo
ooo oooooooooooo o o ooooooo
o o
oooooo
oooooooooo

160
oo oooooooooooooooooooooo oo oo oo ooo oooo oooo
sbp ooo
o o
oo o
ooo
o
ooo
o o
oooo o o o o o oooooo o
o o o
oo o
ooo oooo ooo
oo o
oooo
o
ooo oooooooo oo o
oooooo o ooo oooooooooooooooooooo oo o
o oo o o o o o oooo oo o o
ooo ooo
oo
oo oo
o
oo
ooo oooo
oo o oo
oooooooooooo o oo o ooooooo o
oooo
oo
oooo ooooo
ooo oooo oo o
o o
oo o
oooo
oo o oo oo o o ooooo
ooo o o
oooooooooooooo o o
o o
ooooooooooooo o
oooooooo o o o ooooooooo
o
ooo
oo oooooooooo
o
o o o
o oo ooo
oo
ooo oo
o
ooooooooo
o oo
o o ooooooooo
ooo
ooooo o oooo
oooooooooooooo
o oo
oo
o
o o
oooo
ooo
oo oooo
oooo ooo o
oo
oo
o o
oo
o o
o oo o ooo
oooo oo
oooo
o
oo
oo o
oo
oo
o
o
o
ooo o o
ooo
ooooo
o o o
o
o
ooo
oo ooo o
o o o oo o
ooooooooooooooo o o ooooooo
oooo o oo ooooooooo
o
o
o
oo
oo
oo o o
o o
o
ooooooooooooooooooo
oo
o
ooo o oo
ooo
oo
oo ooo ooooo
ooooooo
oo ooooooooo oo oo
oo
o ooooo oo
o
oooooo oo
o oo
oo
o
o
o oooooo
ooo oooo
ooo oooooooooo ooo o o
o ooo
o
o
o
oo
ooo
o
o
o
o ooo ooooooo
oo ooo
oo
ooooooo oo o
o
o
oooooooo
oo oo
o
oo
ooooo o o o
o
o
oo
ooo
ooo
o oo
oo
ooo o
ooooooooooo o o
oooo oooo ooo
oooo o o o o
oooooooooooo
oooooooooo oo
o
o
oo
oo o
o
o o
o
ooo ooooooo
oooooooo
oo oo
ooo
o o
o oo
o o
ooo oo
o o
ooo
ooooo o oo o
o o o o o oo o
o o
ooo ooooooo o o
oo oo o o
o oo
oooo
o oo
ooo ooooooo
o o ooooo o
o o
o oooooo o o o oo o ooooooooooo

100
o o ooo oooo o o
o o o

30
o o o
o o o o o
o o o
o o o o
20 oo oo o o o
o ooo o ooo o o oooo o oo o o o o
o oo
o
o ooooo oo
o
o
ooooooo tobacco o oooooo oooo o
o
oo o ooooo ooo
ooo
o ooo
ooooooo oo oo oo o o ooo o
ooooo o o o o o o oo oooooo oo
oooooooo
oooo o o oooo oo oo o o oo oo o ooo oooo o
ooo oo o oo o o
ooooooooo
o o o
oooooooooo
oooooooo ooo
10
oooo oo oooo oo ooo oooo o
o o o oo o oooo oo oooo oo
o ooo oooo
oooooooo o o ooooo o
o o o
o o o o ooo
ooooooooooooo o o o ooo oo
oo
oooooooooooo ooo oooooooo oo oo ooo oooo oo
ooooooooo o
ooo
oo oo o o
ooooo
o
oooooooo
ooo
o
ooo o
oooooooo
ooooooooooooooooo o oo o
o
o
ooooooooooooo
ooooo
oooo o
o ooooo
oooo
oo
o
ooooo
ooooooo ooooo
o o
o
o
oo
oo o
o
o
oo
oo
o o
o
ooooo oo
o o ooooo
o
oooo
o
oooo
o
o
oo
oooooo o
oo
o oo ooooooooooooo
ooo o
o o o o
ooo o
o ooooo o
ooooooooooo
o ooo
o o o oo
ooo oo o
ooooo oooo
ooooooooooooo o o
ooo
o oo
o
ooooo
o o
oooooooo oooooooooo
o ooo o oo o o ooo oo
oo o
ooooooo
ooo o
ooooo
o ooo oo o oooo ooooooo
o oo oooo oooo oo oo o o
oooooooooooooooooooo o o ooo oooo
oooooo oooooo ooooo oo oo oo oo
o
oooo oo
oooooooooooo
ooo
oo
oo oooo
o ooo
oo o
oo
oo
oo
oo o o o
ooooooooooooooooooo o ooo
oooo oo oo
ooo
oo
oo o
ooo
ooo
ooo
oo
ooo
o oooo ooo oooooooo o o
oo
ooo
o
oo
ooo o oooooo
o
oo
ooooo
ooooo o
ooooooooo
oo ooo
oo oo
oooo oooooooooooo o o
o o
oo oooo
oo
oooooooooo oooooooooooooo
oo oo
oo oooooooooooooooo ooooooo
o oooooooooooo o
oo o o
oooo
oo
0

o oo
o o o o o o
o

10 14
o o o o o
ooo o oooo
o
o o oooo o oo oo oo o o ooo o o
o oo o o oo ooooo oo o ooo o oooo oooo o o
oo o o oo
ooo oooooo ooooooo oo
o
oooo oooooooooo oooooooo o o oo o
oo o o o oo
o o o o o oo ooo
ooo ooo
ooooooo ldl ooo o
oooo oooo
ooooooooooo oooooooo o
ooo ooooooo o o oo oo o oo oooooooooooooooooooooooo
oooooooooooooooooooooooo oo o o oo
o oooooo oooooo o oooo o o
oo o oo ooooo o oooo oo
o
o oooo ooooo ooooo o oo ooooooooooo ooooooo ooo o
oooo
ooooo oo oooooooo o
ooo ooooooo o o o
oooo oooooo
ooooooooo ooo ooooooooooooo ooo o o o ooo oooo
oo o ooooo
ooo
oooooooo
o o
oo
o ooo oo o oooooooo oo ooooooo
oo oo
oo ooooooo

6
o oo
oooooo oo oooo
ooo ooo
ooo ooooo o ooo oo
o oooo
ooo oooooooo oo o o
o o o o ooo
o o ooooo o o ooo
ooo
o o ooo
ooooo
ooo
oo
o o o o
ooooooooo o ooooo oooooo
o
ooo o oo
ooooooooo o oooo ooo o oooooooo oooo oo
oo
oo oo
o o
o ooooo o
ooo o ooo
ooo o oo
ooooooo
o oo
oooo
ooooo o oo
o
oooo ooooooooo
o o
oooo o o o o
oo
oo o
o ooooo
o o o oo
oooooooo oo
ooooo
o o
ooo oo ooooo oooo o
o
o o o oooooo
oo oo oooooo
oo oooo
ooo
ooo oo
oo oooo oooo
o oooo oooo
ooooo
oo
oo
oo
ooo o o o
o ooooo
o oo
oo o
o oo o ooo
ooo
oo oooo
ooo
oooo
ooo
ooo
ooooo
o o
oo
oo o
o
o
o
o o
o o
o ooo
o oooo
ooo
o
o
oo o
ooooo o
o o
oo
o
oooooooo o
oo oooo o
o
o
o o o o
o o o oo
o o oo
o o o
oo o
o
oooo
o
o ooo
o oo o ooo
oo
o o
oo o o ooooo
o o
oooooo
oo oo o
o o oooooo o
o o o o o
oooooo o o
oooooooooooooo oooo o o o
o ooo o
o oo
o o ooo
oo o oooooooo
oo
o o ooooooooooooooooooo ooooo oooooo ooooooo
o ooo
ooo ooo

2
o
o o o o o o o oo o oo
o o o ooo o o o o
oooooo
oooo
oooo
ooo
oo oo
ooooooooooo oooooooooooooooooo oo
ooo oooooo
oo ooo
oo oooooooooo
oooooooooooooo o o ooo
ooooo
oooooooo ooooooooooooo
ooooo oooo oooooooooooo
o oo o
ooo
ooooo
o
oo
oo ooooo
oo
o ooooooooooooooo ooo
oooooooo ooooooooooo ooooo oo oo ooooooooooooo
ooooooo ooooooooooo
ooooo oooooooooooooo
oo ooo
oo oooooo ooo
oo
0.8

famhist
0.4
0.0

ooooooooooo
oo
o oo
oo ooooo
oo oo
oo oo
o
oo
ooooooo
oo oo
oo oooooo ooooooooooooooooooooo oooooooooooo
oo ooooooooooooooooooooooooo oooooo oo oooo
ooo ooo
oo
ooo
ooo ooooooo
oo
oo oo
ooooooooo
oooooooooo o o o ooooooooo
oooo
oo
o ooo
oo oo
ooooo
oo
o oo
oo oooooo
ooooooooooo
oo o o
oooo
oo
o oo
oo
oo
ooo
ooo ooooo
oo
o ooo ooooo
ooo ooooooooooo oo
oo oooooooo
oooo oo
ooooooooooooooooooooooooooooo
oo ooooooo
ooo oooo
oo oooo
oooo oooo
o o o o o o oo oo o o

45
o o oo o oo oo o oo
o o oo oo ooo ooo oo o oo oo o
oooooo o
oo ooooooo oooooooooooooooo oo
o o oooooooooo o o ooo

35
o oooooooooo oo o
oooo ooo o o ooooooo
o o o o o o o
ooo oooo o
ooooo oooooooooooo o oooo o o o o o o o oooooo oo oooo o o ooooooo oooo oooooooooo
ooo oo
o oo
oo ooooo
oo oooooo
ooooo ooo oo o oo oooooo oooo
oo o o ooo
oooo
o ooo oo
o o
o oo oo
oo obesity oo
ooooo
o ooo ooo o o ooooooooo oooo oo oooo oooooo ooooo
oooooooo o
ooo o o o
o ooooo oo oo
ooo oo oo
oooo o
ooo o
oooooooo oooooo o oooooooo o oooooooooooooooo oooo o o
oooooooooo
oooooo
oo
oo oo
oo
oooooooo
o o
o
o oooo o
ooooo
ooooooooo
o
oo o o o o
oo
o oo
oo o
o ooo o
o o
oo
ooooo
oooo oo
oo
ooooooo
o
ooo oooooooo ooooo o o
oooo o o o
o o
ooooooo oo o oo oo
o
ooooooooo o ooo
ooooooooo
o ooooo
ooo
ooooooo
oo oo
o oo oo o oo o o o o o o o o o o o o o o o o o oooo o oo
ooo ooo o o o oo oo o oo oo ooo oooo
oo ooo oooo ooooooooooooo oo oo ooooo
ooooo ooo ooo

25
o o o ooo oo o o o
oooooooo oo o o oo o o
oooooooooo o o o o
oo o o o oo oo ooo oo o
oooo o oo
oooo o
o oo o ooo ooo oo o oo o oooo ooo o
ooooooo o ooo
oo oo
o oo o
o o oo
o o oo oo o oo
o oo oo o o oo oo o oo
o o o ooo
o o ooo
ooo
ooo
oooooo
oo
o
oooo
oooo
o
ooo
o oooo
o oo o o o
oo
o o
o oo
o
o o
o o o
o o
o ooooo
o oooo oo o
oo o
oo o o o
oo
o oo o
ooo ooooo o
o o oo o o o
ooooooo oooo oo
o
o o
oo
oo o ooo
o oo o
ooo oooo ooo
o
oooooo oooo
ooooooooo
ooo ooooooooooo oooo
o o
oo
oooo ooooo oooo oooooo oo
o oooooooooooooooooooo o
oo
o
oooo
oo
o o oooo oo
o
o ooooo ooooooo
ooo ooooo oo
ooo
o oo oo
ooooo oooo
ooooo o o ooooo

15
o o o o o o
ooo o oo o oo o oo o o o
o o o oo o o
oo o o oo o ooo
100

o o o o o o
oo ooooo o o o o oo o ooo ooo oo ooo o oo o ooo oo oo oo ooo
o o
o oo o o o oooooo
ooooo oooo oo ooo
o o oo ooooooooo oo o o oo o ooo
oo
o o
oooooooooooooo alcohol oo ooo ooooo ooo
oooooo ooooo
o o ooo ooooooooo oo o oooooooooo o oo oo
o oo o o
oo oo oooooooooooo
50

oooo o oo o ooo oo o oo
ooo
oo o
ooooo
oo o oooooooooo oo oo ooo
o oo oo
oooooooo oooooo oo o o
o ooo ooooooo
oo ooo
oooooo o
oooooo oooooooo oo o
o
oooo
ooo o o
ooo o oooooooo o oooo ooo o o ooooooooooooooooooo ooo oooo ooo
o
o o o o o o
o o o o o o o ooooo
o o o o ooooo oo oo o ooooooooooo
oooo oo ooo oooooo o o o oo
oo
oo oo
ooooooo ooooo ooooooo oo oo oo oo o o oooooo
ooo ooooo
o oooo
ooooo
o oo o o oo o
oooooooooooooooooooooooooooooo o oooo o o o o o oooooo o
oo
o oooo o oooooo ooo
oooooo
ooo
oooooo oo o ooooooo
oooo oo oo o o
o
ooo
oo o
o o
oooo
ooo
o o o
ooooooo
o oo o o
ooo
o oooooo
ooooo oooooo o o ooooooooooo o
ooo oooo
ooo ooooo oooo
o
oo ooo oooooo
oo oooo o oooo
o
ooo
o
ooo
oooooo
ooooooo
oo oooo
ooooooo
oooo
ooooo oo
oo ooo
ooooooooooo
oooooooo ooo oo oo oo ooo
ooooo
ooo oo ooooo
oooooooooooooooooo o oooo
oooooooooo
ooo
ooo oooo o
o oooooo
oooo oooooooooo o oo
o oo ooo o ooo ooo oo
oo
o
oo
ooooo
o
ooooooooo
o o oo oooooooooooooo oo o oo ooooooooooo
oooo oo
ooo ooo
ooo
ooooo
ooo oooo
oooo o oooooo
ooo ooooo oo
ooooo oooo
o
0

o o
oo ooo oooooo oo oo ooo ooooo oooooo ooo ooooooooo oo oooooo oooo oooo
o ooo ooo ooooooooooooooo ooooo
ooo oooo oo
ooooo
oooo oooooo ooo o oo o ooooo oooooo
ooo ooooooo
o
ooo o o
o
oo
o ooo o o o oo o oo o
o oo o oo oooo
ooooo
oooooo o o

60
oo o o o o
oooooooo oo o
o ooo ooooooo oooooo o o oooo oo oooooo o oooo ooooo
oo ooooo oo o
ooo o
o oo ooo
oooooooooooo ooooooo
o oooooo oooo ooo o
ooooo
ooooooooooooooo oo o
oo
oooooo ooo oooooooooooooooooooo ooo o
o
oo o o
o ooo oooo ooooooooooo oo oo o ooooooooo o ooo
ooooo ooooooooooooooo o
ooo o
oo oo
o
ooo
ooo
o oooooooo oooooooooo
ooooo o o oooo ooooo ooooooooo o o o
oo
oo
oooo o o
ooooooooooo ooo o ooo o
ooooo o oo o
o o o
oooo o o
o
ooooo o o o o o
o o
ooooooooooooooo oo ooooooo o
oo
o o
oooo ooooo o
oooooo o oo o o
oo o
o o
o
o o o
oo oooooooo ooooooo o
oooo
ooooo ooo oo o
o o o o
o ooo
ooooooooooo o o o
o o o
oo ooo o o
oo
ooooo ooo ooo ooo oo oooooooo oooooo ooooo ooooo oooo o o oooo oo o o o o o o o o o
ooo o o oo ooooo ooooooo
oooo oooo oooo oooooo o ooo oooooo oo
oooooooooooo oo
o oooo o o oo
o ooo oo o
o o o o oo
o oooooooo o o
oo ooo ooooo oo

40
ooo ooooo ooo oo o oo o ooo o o oo ooo age
oooooooo ooooooooooo oooooo
o ooooo o oooo
oooooo o o o oo
o o o
ooo o
o o
o o ooo
o oo o
ooooooooooo oo
o o ooo o oooo oo ooooooooo
ooooo ooo o o
oooooooo o
ooo o oo o o oo o o
ooooo ooooo oooooooo o
oo oo oo ooooo oooooo o oo o o oo o o o
ooooooooooo oo oo o
o o o o o o
o o o o o o o oo oooo oooo
oo oooooo
ooo oo o o
ooo
o
oo ooooo ooooooo o oo
ooooooooooo oooo o oo o oo o o o o o o
ooooooooooo o o ooo o ooooo ooooooo o o
ooooooooooooooo o o
ooooo o o oo o o o ooo o oooooooo o ooo oo o

20
o o o
oooooo o o oo o oooooooo o oo o o ooo ooo
o o
oooo ooooooooo oooooo oo
oo
oo
o oo
ooooooooo oooooooo ooo o
oooo o
o
oo ooo oo oo
oooooo oo
ooo o oo o o oo o
oo
oo ooooo o
100 160 220 2 6 10 14 15 25 35 45 20 40 60

10
ESL Chapter 1 — Introduction Trevor Hastie and Rob Tibshirani

Spam detection
• data from 4601 emails sent to an individual (named George, at HP
labs, before 2000). Each is labeled as spam or email.
• goal: build a customized spam filter.

• input features: relative frequencies of 57 of the most commonly

occurring words and punctuation marks in these email messages.

george you hp free ! edu remove

spam 0.00 2.26 0.02 0.52 0.51 0.01 0.28
email 1.27 1.27 0.90 0.07 0.11 0.29 0.01
Average percentage of words or characters in an email message equal to the
indicated word or character. We have chosen the words and characters showing
the largest difference between spam and email.

11
ESL Chapter 1 — Introduction Trevor Hastie and Rob Tibshirani

12
ESL Chapter 1 — Introduction Trevor Hastie and Rob Tibshirani

13
ESL Chapter 1 — Introduction Trevor Hastie and Rob Tibshirani

Spectral Band 1 Spectral Band 2 Spectral Band 3

Spectral Band 4 Land Usage Predicted Land Usage

14
ESL Chapter 1 — Introduction Trevor Hastie and Rob Tibshirani

The Supervised Learning Problem

Starting point:
• Outcome measurement Y (also called dependent variable, response,
target)

• Vector of p predictor measurements X (also called inputs, regressors,

covariates, features, independent variables)

• In the regression problem, Y is quantitative (e.g price, blood

pressure)
• In the classification problem, Y takes values in a finite, unordered set
(survived/died, digit 0-9, cancer class of tissue sample)

• We have training data (x1 , y1 ), . . . , (xN , yN ). These are observations

(examples, instances) of these measurements.

15
ESL Chapter 1 — Introduction Trevor Hastie and Rob Tibshirani

Objectives

On the basis of the training data we would like to:

• Accurately predict unseen test cases

• Understand which inputs affect the outcome, and how

• Assess the quality of our predictions and inferences

16
ESL Chapter 1 — Introduction Trevor Hastie and Rob Tibshirani

Philosophy

• It is important to understand the ideas behind the various techniques,

in order to know how and when to use them.

• One has to understand the simpler methods first, in order to grasp the
more sophisticated ones.

• It is important to accurately assess the performance of a method, to

know how well or how badly it is working [simpler methods often
perform as well as fancier ones!]
• This is an exciting research area, having important applications in
science, industry and finance.

17
ESL Chapter 1 — Introduction Trevor Hastie and Rob Tibshirani

Unsupervised learning

• No outcome variable, just a set of predictors (features) measured on a

set of samples.

• objective is more fuzzy — find groups of samples that behave

similarly, find features that behave similarly, find linear combinations
of features with the most variation.

• difficult to know how well your are doing.

• different from supervised learning, but can be useful as a
pre-processing step for supervised learning

18
ESL Chapter 1 — Introduction Trevor Hastie and Rob Tibshirani

The Netflix prize

• competition started in October 2006. Training data is ratings for

18, 000 movies by 400, 000 Netflix customers, each rating between 1
and 5
• training data is very sparse— about 98% missing

• objective is to predict the rating for a set of 1 million customer-movie

pairs that are missing in the training data

• Netflix’s original algorithm achieved a root MSE of 0.953. The first

team to achieve a 10% improvement wins 1 million dollars.
• is this a supervised or unsupervised problem?

19
ESL Chapter 1 — Introduction Trevor Hastie and Rob Tibshirani

Grand Prize: one million dollars, if beat Netflix’s RMSE by 10%.

Competition ends Sep 21, 2009 after ≈ 3 years, two leaders, 41305
teams! Winner is BellKor’s Pragmatic Chaos.

20