Data Mining

Arta si tiina de a ob
obine
Cuno
Cuno
tin
tine din Date

10/21/2013

Definirea domeniului Data Mining

Explozia datelor
Introducere in data mining
Exemple de data mining n tiin
tiin i
inginerie
Provoc
Provoc
ri si oportunit
oportunitii

10/21/2013

Explozia Datelor

Cresterea anuala a cantitatii de informatie stocata este estimata la un procent
anual de aproximativ ~30% ea dublndu-se practic la 20 luni!
UC Berkeley estimeaza ca in 2010 sau produs 1 zettabytes (1 miliard

terabytes) de noi date

www.sims.berkeley.edu/research/projects/how-much-info-2010/
Exemple

Datele meteo furnizate de sistemul de sateliii NASA ajung la 1GB/s respectiv la
4,000,000,000,000,000 bytes pe zi

Google dispune de mai mult de 1.000.000 miliarde pagini, mai multe milioane
de TB ( TB = 2 40 Bytes = 10 12 Bytes = 1024 GB )

Baza de date a FBI ce conine amprente are

2,000,000,000,000,000 bytes

France Telecom are baze de date cu informaii legate de telefonia mobila si fixa
de: ~3PB

10/21/2013

Explozia Datelor
Lucruri mai putin cunoscute despre Google
1. Numele de Google este o greseala de ortografie. Initial trebuia sa se numeasca
Googol, un termen din matematica, care reprezinta un numar mare, egal cu 10100, adica 1
urmat de 100 de zerouri. Termenul a fost inventat de Milton Sirotta, nepotul de 9 ani al
matematicianului american Edward Kasner.
2. Google primeste in jur de 20 de milioane de cereri in fiecare zi, din toata lumea,
inclusiv Antarctica si Vatican. Pagina de inceput apare in 116 limbi diferite, inclusiv in latina,
urdu si yoruba. De fapt, Google are cea mai mare retea de traducatori din lume.
3. Ar dura 1.570.700.000 ani ca o persoana sa caute in toate cele 1.000.000 miliarde de
pagini ale motorului de cautare Google. Software-ul Google o face in 0.5 secunde.
4. Exista un site numit Google Moon, care cartografiaza suprafata lunara si indica locul exact
unde a aselenizat naveta Apollo.
5. Firma Keyhole, care se ocupa cu achizitia de imagini din satelit, pe care Google a
cumparat-o in Octombrie 2004, a fost fondata de CIA. Tehnologia acestei firme face posibila
functionarea programului Google Earth, care reda rapid imagini preluate de satelit din toata
lumea.

10/21/2013

Explozia Datelor
Pe un DVD pot fi stocate

10/21/2013

Primul HDD din lume

In septembrie 1956 IBM a lansat sistemul de calcul 305 RAMAC, primul calculator cu un hard
drive (HDD). HardHard-ul putea inmagazina 5 MB de date
si cantarea mai mult de o tona
tona..
HDD with 5MB storage in 1956.
Un stik care inmagazineaza 64 GB cantareste
mai putin de 15 grame!
grame!

10/21/2013

Explozia Datelor (cont.)

Foarte puine date pot fi analizate si integrate de operatorul
uman.
Datele se colecteaz uor, analiza lor este costisitoare.
Exist suspiciunea c in masivele de date pot exista
cunotine ascunse.
Descoperirea Cunotinelor este NECESARA pentru a da
sens utilizrii datelor.

Din acest motiv muli cercettori au considerat

extragerea cunotinelor din baze de date ca un
domeniu semnificativ de investigat
10/21/2013

Definitie Data Mining

Procesul de analiza a unor cantiti mari de date n
scopul determinrii de relaii care apar intre elementele
prezente in bazele de date si a determinrii de machete
(potenial utile) care pot caracteriza global bazele de
date.
(din Advances in Knowledge Discovery and Data Mining, Fayyad,
Piatetsky-Shapiro, Smyth, and Uthurusamy, (Chapter 1),
AAAI/MIT Press 1996

10/21/2013

Ce este Data Mining

Un domeniu fierbinte ce defineste o clasa de tehnici
capabile de a gasi similaritati
similaritati//tipare intrintr-o cantitate de
date
Un proces interactiv definit de un om ce foleseste
tehnologii de analiza si multa putere de calcul
Un grup de tehnici capabile de gasirea unor relatii noi
intr--un set de date
intr
Nu se bazeaza pe o baza de date deja existenta
O sarcina relativ usoara
usoara,, dar care necesita existenta
unor cunostiinte apriori despre acele date

10/21/2013

Ce nu este Data Mining

O operatie fizica de spargere
spargere a unor seturi mari de date
Algoritmi orbi
orbi ce executa anumite tehnici asupra unui
set de date
Gasirea unor relatii acolo unde acestea nu exista
Presentarea unor date in diferite moduri
Focalizarea asupra unor operatii pe baze de date
Tehnici super specializate ce necesita cunostiinte
avansate in domeniul algoritmilor

10/21/2013

10

Analiza Datelor
Inteligent
Artificial,
Machine
Learning

Statistic

Data Mining

Baze de Date
10/21/2013

11

Definirea procesului de descoperire a

cunotinelor
Procesul de descoperire de informaii din baze de date mari
cuprinde mai multe etape

1. definirea scopului urmrit

2. interogarea surselor de date si definirea structurii datelor supuse prelucrrii,
3. preprocesarea datelor (selectarea, curarea, transformarea acestora),
4. minarea datelor pentru extragerea de tipare i de modele apropiate,
5. evaluarea i interpretarea tiparelor extrase pentru
a decide ce constituie cunotin (knowledge),
6. consolidarea cunotinelor i rezolvarea conflictelor
dintre cunotinele extrase anterior,
oferirea cunotinelor spre utilizare.

10/21/2013

12

Procesul de descoperire de cunotine

(etape)
Date surs

Integrarea

10/21/2013

Date
Integrate

Date
relevante
activitii

Selecia

Minarea

Tipare

Evaluarea

13

Data Mining: Tehnici

 Clasificare

 Corelatii
 Grupare
 Asociatii

10/21/2013

14

Analiza Datelor (cont.)

Numerice

Modele corelationale

3, 4.5, 102, CNP, varsta

Categorice

X2

fierbinte, rece, , mare,

Nominale

X3

Numerice

Y1

X1

Y2

Categorice

Modele de tip
Clasificare

Y3

Nominale

0, 1, da, nu,

Variabile de Intrare
sau
Variabile Independente
sau
Atribute

10/21/2013

Variabile de Iesire
sau
Variabile Dependente
sau
Clase
15

Data Mining
Clasificare
Tehnica prin care se ataeaza un element necunoscut la un set
de clase predefinite (cunoscute)

10/21/2013

16

Data Mining
Modele Corelationale
- principiu Model corelational
w0 + w1 x + w2 y >= 0
Se calculeaz
calculeaz wi din date
astfel inc
inct sa fie minimizata
eroarea medie patratica
Da posibilitatea de a obtine
informatii legate de legatura
dintre atributele ce
caracterizeaza obiectele
Nu este suficient de flexibila

Analiza corelaionala permite obinerea unor modele analitice (machete) ce

definesc datele ce caracterizeaz setul de date.
10/21/2013

17

Data Mining
Modele Corelationale
- exemplu Considerm un set de date de volum n. Fiecare element din setul de date poate fi caracterizat de
un ansamblu de atribute. n setul de date relative la performanele sistemelor de calcul aceste
atribute sunt: memoria principala, memorie cache, etc.
Predicia performanelor CPU avem 209 date n set (7 atribute)

10/21/2013

modelul (clasificatorul) care poate fi obinut este de forma:

PRP =
-55.9 + 0.0489 MYCT + 0.0153 MMIN + 0.0056 MMAX
+ 0.6410 CACH - 0.2700 CHMIN + 1.480 CHMAX

18

Data Mining
Arbori de decizie
- principiu if X > 5 then albastru
else if Y > 3 then albastru
else if X > 2 then verde
else albastru

10/21/2013

19

Data Mining
Arbori de decizie
- exemplu Outlook

Temp.

Hum.

Windy

Class

Atribute

V
a
l
o
r
i

sunny
sunny

85
80

85
90

false
true

Dont Play
Dont Play

overcast
rainy
rainy
rainy
overcast
sunny
sunny
rainy
sunny
overcast
overcast
rainy

83
70
68
65
64
72
69
75
75
72
81
71

86
96
80
70
65
95
70
80
70
90
75
91

false
false
false
true
true
false
false
false
true
true
false
true

Play
Play
Play
Dont Play
Play
Dont Play
Play
Play
Play
Play
Play
Dont Play

outlook

outlook
overcast
sunny
rain

Play
4
2
3

Dont Play
0
3
2

windy
true
false

Play
3
6

Dont Play
3
2

windy

If overcast then Play

(4/4)
else if sunny then Dont Play (3/5)
else if rain then Play
(3/5)

If true then Dont Play (3/6)

else if false then Play (6/8)

Precizie = 10/14 (71.4%)

Precizie = 9/14 (64.3%)

10/21/2013

20

Data Mining
Grupare
- principiu Gruparea (Cluster analysis) reprezinta o tehnic de imprire a
unui set de date pentru care nu exista nici o clas predefinit
ntr-un set de clase - grupuri

Venit

Varsta

10/21/2013

21

Data Mining
Grupare
- exemplu 1 -

Se d
d:
 Baza de date de clien
clieni care con
conine un istoric al
achiziiilor facute
achizi
Scop:
 Gsirea grupurilor de clien
clieni cu o comportare
similar
similar

 Gasirea clien
clienilor cu un mod de cump
cumprare
neobinuit
neobi

10/21/2013

22

Data Mining
Grupare

In urma partiionrii setului de obiecte

au rezultat un numr de 3 clustere

- exemplu 2Income

Magazine

Watch
Promotion

Life
Insurance
Promotion

Credit
Card
Insurance

Range
($)
4050K
3040K
4050K
3040K
5060K
2030K
3040K
2030K
3040K
3040K
4050K
2030K
5060K
4050K
2030K

Promotion

Sex

Yes
Yes
No
Yes
Yes
No
Yes
No
Yes
Yes
No
No
Yes
No
No

No
Yes
No
Yes
No
No
No
Yes
No
Yes
Yes
Yes
Yes
Yes
No

No
Yes
No
Yes
Yes
No
Yes
No
No
Yes
Yes
Yes
Yes
No
Yes

No
No
No
Yes
No
No
Yes
No
No
No
No
No
No
No
Yes

Male
Female
Male
Male
Female
Female
Male
Male
Male
Female
Female
Male
Female
Male
Female

Age
45
40
42
43
38
55
35
27
43
41
43
29
39
55
19

Utiliznd obiectele din acest cluster se poate gsi o

machet (printr-o regul de asociere) ce va defini profilul
celor care pot cumpra o asigurare de via. Regula este
urmtoarea:
IF Sex = Female & 43 >= Age >= 35 & Credit Card Insurance = No
THEN Class = 3
Rule Accuracy: 100.00%
Rule Coverage: 66.67%
10/21/2013

23

Data Mining
Asociatii
- principiu Progresul n tehnologia codurilor de bare a fcut posibil ca firmele de
comercializare a produselor s colecteze i s stocheze cantiti imense de date
despre vnzri, referite ca i basket data basket market (date despre coul de
cumprturi)
Descoperirea regulilor de asociere are ca scop descoperirea unui set de atribute

comune care aparin unui numr mare de obiecte dintr

dintr--o baz de date
Avand o baza de date de forma:
1, chips, coke, chocolate
2, gum, chips
3, chips, coke
4,

Probabilitatea (chips, coke) ?

10/21/2013

24

Data Mining
Asociatii
- exemplu Avnd o baz de date de tranzacii ale clienilor
i fiecare tranzacie fiind o list de obiecte
(cumprturile unui client ntr-o vizit la
magazin). Gsete toate regulile care coreleaz
prezena unui set de obiecte cu alt set de
obiecte.
Transactia 1:

{Books, CD, DVD}

Transactia 2:

{CD, Games}

Transactia 3:

{CD, DVD}

Transactia 4:

{Books, CD, Games}

Transactia 5:

{Books, DVD}

Transactia 6:

{CD, DVD}

Transactia 7:

{Books, DVD}

Transactia 8:

{Books, CD, DVD, Video}

Transactia 9:

{Books, CD, DVD}

10/21/2013

If se cumpara Books
then se cumpara DVD
with support 55.6% and confidence 83.3%

Obs.
Suportul

Numarul de seturi de tranzactii continand pe X si Y

.
Numarul total de tranzactii

Confidenta

Numarul de seturi de tranzactii continand pe X si Y

.
Numarul total de tranzactii continand pe X

25

Data Mining: Tehnici

 Clasificare
 Linear Discriminant Analysis
 Nave Bayes / Bayesian Network
 1R
 Neural Networks
 Decision Tree (ID3, C4.5, )
 K-Nearest Neighbors
 Support Vector Machines

 Grupare
 K-Mean Clustering
 Self Organizing Map
 Bayesian Clustering

10/21/2013

 Corelare
 Multiple Linear Regression
 Principal Components Regression
 Partial Least Square
 Neural Networks
 Regression Tree (CART, MARS, )
 K-Nearest Neighbors
 Support Vector Machines

 Asociere
 A Priori
 Markov Chain
 Hidden Markov Models

26

Etape de construire a unui

model n Data Mining
1. Definirea problemei
2. Construirea bazei de date de tip
data mining
3. Explorarea datelor
4. Pregatirea datelor pentru modelare
5. Construirea modelului
6. Evaluarea modelului
7. Utilizarea modelului
10/21/2013

27

Definirea domeniului Data Mining

Explozia datelor
Introducere in data mining
Exemple de data mining in tiin
tiin i
inginerie
Provoc
Provoc
ri si oportunit
oportunitii

10/21/2013

28

Exemple de data mining in inginerie

1. Data mining in inginerie Biomedicala
Controlul unui brat robotic utilizand Tehnici Data
Mining
2. Data mining in inginerie Chimica
Data Mining pentru Monitorizarea imagini din procesul
de extrudere mase plastice

10/21/2013

29

1. Definirea problemei
Controlul unui brat robotic prin intermediul semnalelor
EMG culese de pe muschii biceps si triceps.

Contractia
muschiulara

Biceps

Triceps

Supination

H
L

H
L

Flexion

Extension

Pronation

10/21/2013

Supination

Pronation

Flexion

Extension

30

2. Construirea bazei de date de tip

data mining
 Setul de date are un numar de 80 nregistrari.
 Exist dou variabile de intrare: semnalul de
la biceps si semnalul de la triceps.
 Exist o variabil de ieire cu patru posibile
valori: supination, pronation, flexion si extension.

10/21/2013

31

3. Explorarea datelor
Scatter Plot

Triceps

Record#
Flexion
10/21/2013

Extension Supination Pronation

32

3. Explorarea datelor(cont.)
(cont.)
Scatter Plot

Biceps

Record#
Flexion
10/21/2013

Extension Supination Pronation

33

4. Pregatirea datelor pentru

modelare
 Translatarea setului de date in format ARFF:
@relation EMG
@attribute Triceps real
@attribute Biceps real
@attribute Move {Flexion,Extension,Pronation,Supination}
@data
13,31,Flexion
14,30,Flexion
10,31,Flexion
13,29,Flexion

10/21/2013

34

5. Construirea modelului
 Clasificare

 1R
 Decision Tree
 Nave Bayesian
 K-Nearest Neighbors
 Neural Networks
 Linear Discriminant Analysis
 Support Vector Machines


10/21/2013

35

1R
 Construieste cea mai buna regula utilizand urmatorul algoritm in pseudo-cod:
For fiecare atribut
For fiecare valoare a acestui atribut, construieste o regula astfel:
contorizeaza de cate ori apare in fiecare clasa
gaseste cea mai frecventa clasa
construieste o regula prin care se asigneaza clasei atributul si valoarea gasita
Calculeaza precizia (sau eroarea introdusa) regulei gasita
Alege regula cu cea mai mica eroare (cea mai mare precizie) gasita`

Triceps:
< 17.5 -> Flexion
< 33.5 -> Pronation
< 46.5 -> Supination
>= 46.5 -> Extension
(65/80 instances correct)
10/21/2013

36

Nave Bayesian
Posterior Probability

Likelihood

Prior Probability

Normalization factor
Rec#1:

Triceps=13, Biceps=31

C = {Flexion, Extension, Supination and Pronation)

P(C|Triceps=13, Biceps=31) = P(Triceps=13|C) x P(Biceps=31|C) x P(C) / P(X)

10/21/2013

37

Neural Networks

Output Node(s)

s
i

Input Nodes

Neuron i
Weights

10/21/2013

38

Decision Tree
1.

Gaseste atributul care clasifica cel mai bine setul de antrenare.

2. Utilizeaza acest atribut ca radacin a arborelui de decizie.
3. Repet procesul pentru fiecare subarbore.

Triceps

<=37

>37

Triceps

10/21/2013

Biceps

<=14

>14

<=17

>17

Flexion

Pronation

Extension

Supination

39

Decision Tree (cont.)

Q: Ce insemna a fi atributul care asigura cea mai buna clasificare?
A: Se utilizeaza atributul cu cel mai mare castig informational
Marime subset date

Entropia
Marime set date

Procentul de exemple din S care apartin clasei i

10/21/2013

40

K-Nearest Neighbors
KNN este o tehnica prin care datele sunt
clasificate in grupe (clustere) functie bazat
bazat
pe o masura de similaritate.

Distanta Euclideana este o functie de similaritate:

10/21/2013

41

6. Evaluarea modelului
 Validarea modelului utilizand setul de testare

Rezultate validare

10/21/2013

1R

76%

Decision Tree

90%

Nave Bayesian

98%

1-Nearest Neighbors

100%

Neural Networks

100%
42

7. Utilizarea modelului
S-a implementat modelul de tip reea
neuronal intr-un brat robotic.

10/21/2013

43

Exemple de data mining in inginerie

1. Data mining in inginerie Biomedicala
Controlul unui bra robotic utiliznd Tehnici Data
Mining
2. Data mining in inginerie Chimic
Data Mining pentru Monitorizarea imagini din procesul
de extrudere mase plastice K.Torabi, L D. Ing, S. Sayad, and
S.T. Balke

10/21/2013

44

Extrudere mas plastic

Palete
plastic

Folie plastic
10/21/2013

45

Folie plastic
Defect datorit
paletelor
defecte
Extrudere
Plastic
Film
Plastic
10/21/2013

46

Monitorizare InIn-Line

Achizitie
date
Port
Window

10/21/2013

47

Monitorizare InIn-Line

Ansamblu Optic
Lumin

Surs lumin

Extrudere si
Interfata
Imagine
Calculator

10/21/2013

48

Film plastic fara defecte (FD)

- fara particule contaminante -

10/21/2013

49

Film plastic cu defecte (CD)

- fara particule contaminante -

10/21/2013

50

1. Definirea problemei
Se clasifica imaginile in doua clase corespunzatoare
cazurilor film fara defecte (FD) si film cu defecte (CD).

FD
10/21/2013

CD
51

2. Construirea bazei de date de tip

data mining

2000 Imagini

54 variabile toate numerice

O variabila de iesire cu doua posibile valori
- cu defecte ( cu particule CD) si
- far defecte (fara particule FD)

10/21/2013

52

3. Explorarea datelor
Etapa nu este necesara

10/21/2013

53

4. Pregatirea datelor pentru modelare

 Prelucrarea

imaginilor pentru eliminarea

zgomotelor
 Set

1 de date cu imagini curate: 1350 imagini

care includ 1257 fara particule si 91 cu particule
 Set 2 de date cu imagini curate si cu zgomot :
2000 care includ 1909 far particule si imagini
cu zgomot si 91 cu particule
 54 Variabile de intrare toate numerice
 O variabil de ieire, cu dou valori posibile
(CD si FD)
10/21/2013

54

5. Construirea modelului
Clasificare:
1R
Decision Tree
3-Nearest Neighbors
Nave Bayesian

10/21/2013

55

6. Evaluarea modelului
Rezultate validare
Set Date

Atrib.

Clase

1R

C4.5

3.N.N

Bayes

Imagini
curate

54

99.9

99.8

99.8

95.8

Imagini
curate +
zgomot

54

98.5

97.8

97.8

93.3

Imagini
curate +
zgomot

54

87

87

84

79

If densitatea de pixeli Max < 142 then CD

10/21/2013

56

7. Utilizarea modelului

 Un program in Visual Basic s-a

utilizat pentru implementarea
modelului.

10/21/2013

57

Exemple de data mining in tiin

tiin
1. Data mining in Astronomie
1. Detectarea de noi obiecte astronomice
2. Clasificarea galaxiilor
2. Data mining in Relatii Internationale
Sistem de cautare a relatiilor intre evenimente
3. Data mining in Meteorologie
Detectarea cicloanelor tropicale:
Estimarea vitezei maxime a vantului

10/21/2013

58

Detectarea de noi obiecte astronomice

Scop: Definirea tipului de obiect astronomic (stea sau
galaxie), prezent in imaginile achizitionate de la
Observatorul astronomic Palomar
3000 imagini cu 23,040 x 23,040 pixels / imagine.
Mod de abordare:
Segmentarea imaginii
Crearea unui numar de 40 caracteristici (atribute)
Construirea unui model de grupare
Rezultat: Gasirea unui numar de 16 quasari!

10/21/2013

59

Clasificarea galaxiilor
Clasa:
Atribute: Caracteristici imagine,
Etapa de formare
Caracteristici lungime de unda
primita, etc.

Marime date stocate:

*72 milioane stele, 20 milioane galaxii
*Catalog obiecte astronomice: 9 GB
*Baza de date de imagini: 150 GB

10/21/2013

60

Clasificarea galaxiilor

Galaxii care se formeaza :

-Prin fuziune
-Prin splitare
10/21/2013

Utikizarea tehnicilor de Grupare si

Clasificare pentru a le distige de o
galaxie normala
61

Sistem de cautare a relatiilor intre

evenimente
 Permite utilizatorului sa gaseasca
corelatii intre evenimente. In ce masura
un eveniment este cauza sau efect a
unui alt eveniment

 Atributele cuprind informatii

geografice, politice, configurationale
care se intind pe perioade determinate
de timp

10/21/2013

62

Detectarea cicloanelor tropicale:

Estimarea vitezei maxime a vantului
Colectare imagini
satelit

Aplicarea de filtre (Laplacian) pentru calculul

gradientului de temperatura

Stabilirea parametrilor modelului corelational ( caracteristici teren )

Utilizare modelelor corelationale pentru determinarea vitezei vantului
in regiunile adiacente
Extragere
caracteristici
Hurricane Floyd

Stocare date
Mining Environment

Rezultatele sunt puse pe web si

facute disponibile de
National Hurricane Center &
Joint Typhoon Warning Center
10/21/2013

Resultate

63

Definirea domeniului Data Mining

Explozia datelor
Introducere n data mining
Exemple de data mining in stiinta si
inginerie
Provocari si oportunitati

10/21/2013

64

Provoc
Provoc
ri i oportunit
oportunitii

Data mining este n topul primelor 10 tehnologii

care sunt dezvoltate in prezent

(Google a fost creat de Sergey Brin si Larry Page

in perioada cand erau studenti la Stanford in urma cercetarilor acestora in baze de date si data mining
din 1998 )

Aflat la granita dintre 3 domenii, prezint o mare

diversitate de tehnici si algoritmi care inglobeaz
concepte ce asigur o flexibilitate care nu se
ntlnete in alte domenii tehnologice

Include tehnici de prelucrare paralel si distribuit

10/21/2013

65

Data Mining Software

10/21/2013

66

Data Mining Software (cont.)

Mining Multimedia Databases in

10/21/2013

67

Data Mining Software (cont.)

DBMiner Enterprise

Este destinat obtinerii de cunostinte din date din lumea afacerilor

10/21/2013

68

Data Mining Software (cont.)

Weka

10/21/2013

69

Data Mining Software (cont.)

DataFit

10/21/2013

70

Data Mining Software (cont.)

NeuroShell

10/21/2013

71

Data Mining Software (cont.)

mining software cu licenta


SAS Enterprise Miner, SPSS Clementine, Statistica Data Miner,

MS SQL Server, Polyanalyst, KnowledgeSTUDIO,
lista adrese http://www.kdnuggets.com/software/suites.html

mining software fara licenta



WEKA (Waikato Environment for Knowledge Analysis)

Free (GPLed) Java package with GUI
adresa www.cs.waikato.ac.nz/ml/weka
Witten and Frank, 2000. Data Mining: Practical Machine Learning
Tools and Techniques with Java Implementations.

10/21/2013

72

Data mining reprezint un domeniu vast

i interesant prin aceea ca are abilitatea
de a rezolva un mare numr de
probleme stiinifice complexe.
MULUMESC!

10/21/2013

73