Sieci Neuronowe1

1 Idea
Inspiracją do powstania sieci neuronowych była budowa naturalnych neuro-
nów oraz mózgu. Oczywiście sztuczne sieci są podobne do mózgu (czy też
neuronów) tylko w ogólnej idei, nie są modelem mózgu. Sztuczna sieć neu-
ronowa składa się z neuronów (sztucznych). Istnieje wiele rodzajów sieci,
oczywistym podziałem jest wg. budowy (ilości i sposobów połączeń między
warstwami, poszczególnymi neuronami), należy jednak pamiętać o różnych
typach neuronów wchodzących w skład sieci.

2 Neurony
Zasada działania sieci w prost wywodzi się z działania pojedynczego neuronu.
Podstawowym (najczęściej stosowanym) neuronem jest, model McCullocha-
Pittsa (Rys. 1). Zakładamy, że neuron k -ty posiada n wejść, każdemu wejściu

Rysunek 1: Model neuronu wg. McCullocha-Pittsa

x przyporządkowane są wagi synaptyczne w. Wówczas wyjście y neuronu jest

realizowane poprzez:
m
!
X
yk = ϕ w0 + wkn xn (1)
n=0

gdzie ϕ to funkcja aktywacji. Najczęściej stosowane funkcje aktywacji (zwane

również funkcjami przenoszenia) to:
1
autor opracowania: Maciej Krysmann

1
• liniowa
f (x) = ax + b
oczywiście tylko w przedziale x ∈ [−1, 1], poza nim odpowiednio f (x) =
−1 lubf (x) = 1, najczęściej b = 0
• sigmoidalna bipolarna f (x) ∈ [−1, 1]
2
f (x) =
1 + e−βx

• sigmoidalna unipolarna - jak bipolarna tylko: f (x) ∈ [0, 1]

1
f (x) =
1 + e−βx

• signum 
−1

 dla x < 0
sgn(x) =  0 dla x = 0

1 dla x > 0

2
 • binarna - progowa / unipolarna (np. w perceptronie) - ( α - próg akty-
wacji) (
0 dla x < α
f (x) = (2)
1 dla x ≥ α

3 Typy sieci
3.1 Jednokierunkowe
Sieci jednokierunkowe nie posiadają sprzężenia zwrotnego - pojedynczy wzo-
rzec (obiekt) przechodzi przez każdy neuron tylko jeden raz w swoim cyklu.
Najprostsza sieć jednokierunkowa to jednowarstwowy perceptron - po-
jedynczy neuron progowy McCullocha - Pittsa - funkcja aktywacji progowa
(wzór 2). Posiada zdolność separowania (klasyfikacji) tylko obiektów liniowo
separowalnych. Zastosowanie innych funkcji aktywacji (przejścia) w sieciach
jednowarstwowych (Rys. 2a) pozwala rozwiązywać szerszy zakres problemów.
Dzięki użyciu funkcji nieliniowych (np. sigmoidalnych) sieć neuronowa może
separować nieliniowo. Zastosowanie wielowarstwowych sieci (Rys. 2b) pozwa-
la na jeszcze lepszą klasyfikację. Jednak należy pamiętać, że rozbudowa sieci
znacząco wydłuża czas nauki - podczas nauki jest więcej wag do korekty.

(a) jednowarstwowa (b) dwuwarstwowa (wielo)

Rysunek 2: Sieci neuronowe

3
 Uwagi:
• Perceptron - pojęcie stosuje się (niestety) do:
– pojedynczego neuronu McCullocha - Pittsa
– prostej sieci neuronowej - dwuwarstwowej (a w zasadzie jednowar-
stwowej - bo zasadniczo działa druga warstwa tylko)
– sieci bardziej skomplikowanych wielowarstwowych
• najczęściej stosowane są sieci wielowarstwowe
• sieć wielowarstwowa posiada warstwy wejściową i wyjściową (ilość neu-
ronów w tych warstwach zależy od ilości cech obiektów i ilości rozpo-
znawanych klas. Poza tym “wewnątrz” sieci wielowarstwowej znajdują
się warstwy ukryte, najczęściej dwie do trzech.
• jeden przebieg uczenia (przepuszczenie całego zbioru uczącego raz przez
sieć) - nazywa się epoką uczenia sieci. Po każdej epoce wartość błędu
dla całej epoki i powtarza się uczenie, aż błąd spadnie do akceptowal-
nego poziomu (lub osiągniemy zadaną przez nas ilość epok uczenia).
Należy uważać na przeuczenie.

3.2 Rekurencyjne
Model sieci zakładający sprzężenia zwrotne między wyjściem, a wejściem
(Rys. 3). Definiuje się również jako sieć, w której połączenia między neuro-
nami tworzą graf z cyklami. Istnieje dużo modeli rekurencyjnych sieci, między
innymi:
• sieci Hopfielda (sieci asocjacyjne) - dają możliwości rekonstrukcji i roz-
poznawania zapamiętanych wzorców, bazując na dostępnym fragmencie
wzorca lub wzorcu podobnym. Zastosowania - rozpoznawanie obrazów
(rekonstrukcja), mowy, a także do rozwiązywania problemów minima-
lizacji (komiwojażer itp.).
• sieć Hamminga - trójwarswowa sieć rekurencyjna. Jest rozwinięciem
sieci Hopfielda, posiada większą pojemność. Zastosowanie to samo.
• sieć BAM - dwukierunkowa pamięć asocjacyjna. Przepływ sygnałów
sieci BAM odbywa się w dwie strony. Najpierw w jednym cyklu in-
formacja przepływa do neuronów odbiorczych w jednym kierunku. W
następnym cyklu te neurony stają się źródłem i wysyłają informacje
w kierunku przeciwnym. Sytuacja powtarza sięaż do osiągnięcia stanu
równowagi sieci.

4
 Rysunek 3: Sieć rekurencyjna

3.3 Samoorganizujące się

Określane jako samoorganizujące się mapy. Charakteryzują się zmianami
wag, w procesie uczenia, tylko tych neuronów (lub tylko jednego), które dały
najlepszą, najbliższą poprawnej, odpowiedź.

3.4 Inne
Wyróżnia się jeszcze wiele innych modeli sieci, między innymi:

• rezonansowe

• radialne

4 Sposoby uczenia sieci

4.1 Nadzorowane
Klasycznie - zbiór uczący posiada przyporządkowane poprawne klasy. Na jego
podstawie modyfikowane są odpowiednio wagi tak aby sieć dawała poprawną
odpowiedź. (np. metoda wstecznej propagacji błędów.)

4.2 Nienadzorowane
W tym wypadku z powodu braku podanych poprawnych klas, musi być usta-
lona funkcja celu, do której minimalizacji będzie dążył algorytm zmiany wag.

5
4.3 Ze wzmocnieniem
Sposób uczenia, w którym dla zbioru uczącego możemy uzyskać jedynie in-
formację, czy decyzja podjęta przez klasyfikator(sieć) jest poprawna, czy też
nie - nie ma informacji jaka powinna być poprawna decyzja.

5 Zastosowania
• rozpoznawanie wzorców (klasyfikacja)

• analiza obrazów - np. OCR

• przetwarzanie sygnałów (konwersje, filtracje, aproksymacje, itp.)

• identyfikacja i sterowanie procesami dynamicznymi (automatyka, robo-

tyka)

• klasyfikacja danych doświadczalnych (fizyka, chemia, itp.)

• prognozy giełdowe

• prognozy sprzedaży

• badania medyczne (analiza) i psychiatryczne

• poszukiwania surowców naturalnych

• przewidywanie własności mechanicznych obrabianych metali

• energetyka (równoważenie obciążeń sieci energetycznych, analizy)

• kryminalistyka

• prognozowanie zachowań ludzi - w określonych sytuacjach!