1 6 M A JA 2017 CE K , G L I W IC E

KO NFERENCJA
PODS UM OWUJCA PROJ EKT

System inteligentnej analizy wideo do

rozpoznawania zachowa i sytuacji
w sieciach monitoringu.
1 6 M A JA 2017 C EK, G L I W I C E

System inteligentnej analizy wideo do rozpoznawania

zachowa i sytuacji w sieciach monitoringu

KON F ERENCJA

MATERIAY POKONFERENCYJNE
PODSU MOW UJ CA PROJ EKT

Organizatorzy:

Projekt realizowany na podstawie UOD-DEM-1-183/001

Konferencja podsumowujca projekt: System inteligentnej analizy wideo do rozpoznawania zachowa i sytuacji w sieciach monitoringu

Obecny stan analityki wideo w systemach monitoringu

Detekcja w strefach (przekroczenie strefy, wejcie, opuszczenie strefy);

Detekcja pozostawionych, zagubionych przedmiotw i osb;
Detekcja i reidentyfikacja ludzi i pojazdw przez automatyczn adaptacj;
Detekcja i liczenie ludzi w tumie;
Poszukiwanie ludzi na podstawie globalnych cech ( kolor, ruch, prdko, rozmiar);
ledzenie poruszajcych si obiektw w sieci kamer.
Generowanie alertw z wymienionych sposobw detekcji

Autor: Marek Kulbacki, Dyrektor ds. Rozwoju Technologii

Centrum Badawczo-Rozwojowe, Polsko Japoska Akademia Technik Komputerowych
Konferencja podsumowujca projekt: System inteligentnej analizy wideo do rozpoznawania zachowa i sytuacji w sieciach monitoringu

Cel projektu

Celem projektu SAVA bya budowa i weryfikacja w warunkach rzeczywistych systemu inteligentnej analizy wideo
(IVA), ktry suy do rozpoznania i klasyfikacji zachowa osb i grup, oraz identyfikacji sytuacji wymagajcych
alertu.

Wyniki analizy i rozpoznawania zachowa s przetwarzane przez metody identyfikacji sytuacji, ktre su do
generowania alertw zgodnie z parametrami zdefiniowanymi przez uytkownika oraz wyuczonymi w ramach
procedur rozpoznawania sytuacji z podanych przykadw.
Konferencja podsumowujca projekt: System inteligentnej analizy wideo do rozpoznawania zachowa i sytuacji w sieciach monitoringu

Zaoenia projektu

Koncepcj projektu SAVA jest budowa i weryfikacja w warunkach rzeczywistych prototypowego systemu inteligentnej
Koncepcja analizy wideo (IVA), ktry bdzie w stanie rozpoznawa i klasyfikowa zachowania i akcje osb oraz grup, oraz identyfikowa
sytuacje wymagajce alertu.

Efektem kocowym projektu jest prototyp na IX poziomie gotowoci technologicznej , ktry pozwala na demonstracj,
Efekt projektu testowanie i weryfikacj technologii w warunkach rzeczywistych.

Identyfikacja Wyniki analizy i rozpoznawania zachowa s przetwarzane przez dodane metody identyfikacji sytuacji, ktre generuj
zachowa alerty zgodnie z oczekiwaniami uytkownika, oraz metody uczce si rozpoznawania sytuacji z podanych przykadw.

System SAVA wypenia luk zwizan z brakiem technologii do rozpoznawania zoonych zachowa i brakiem metod
Cel projektu uczcych si w komercyjnych systemach IVA.

System SAVA moe stanowi wtyczk do komercyjnych systemw monitoringu. W ramach projektu zrealizowano j dla
Komercjalizacja
systemu Milestone.
Konferencja podsumowujca projekt: System inteligentnej analizy wideo do rozpoznawania zachowa i sytuacji w sieciach monitoringu

Cechy opracowanego systemu

Realizm Zdarzenia i sceny z miejsc uytecznoci publicznej, przypadkowe nieinscenizowane tematy, (+anonimizacja)

Jako Rozdzielczo: fullHD, 18-27 fps, format MJPEG

Zrnicowanie Tematyka: Zdarzenia / aktor/ scena / to, warunki zewntrzne (pora roku, dnia, pogoda, owietlenie)

Metoda adnotacji Segmenty czasu, obiekty, multi-adnotacje, hierarchie

Rozmiar Aktualny rozmiar danych testowych na dysku: (>24 TB)

Konferencja podsumowujca projekt: System inteligentnej analizy wideo do rozpoznawania zachowa i sytuacji w sieciach monitoringu

SAVA na tle aktualnych rozwiza

Przetwarzanie obrazu

Komercyjna aplikacja
RZECZYWISTO

Informacja - scena
Obecne/komercyjne systemy
Funkcjonalnoci oparte o metadane

Zdarzenia
Demonstrator TRL9
Przetwarzanie obrazu Uczenie maszynowe Kolejne etapy Implementacja
SAVA

Komercyjne IVA:
Trajektorie obiektw
Klasyfikacja obiektw wg prostych
waciwoci (kolor, wielko,prdko,...)
Niepena informacja o scenie
Konferencja podsumowujca projekt: System inteligentnej analizy wideo do rozpoznawania zachowa i sytuacji w sieciach monitoringu

SAVA Gdzie, co, kiedy?

Rozpoznawanie akcji prostych w systemie SAVA skada si z trzech elementw:

1) lokalizacji akcji w przestrzeni ( na obrazie) - ledzenia (Gdzie?)

2) rozpoznawania akcji (Co si dzieje?)
3) lokalizacji akcji w czasie (Kiedy to wystpuje?)
Konferencja podsumowujca projekt: System inteligentnej analizy wideo do rozpoznawania zachowa i sytuacji w sieciach monitoringu

Gdzie? - Tracking

Poprzez tracking robimy separacj obiektw

ruchomych od ta i od ssiadujcych obiektw
ruchomych
Track grupa trajektorii reprezentujca
pojedynczy obiekt na scenie
Track jest nonikiem informacji nt. struktury
i detali obiektu ruchomego
Konferencja podsumowujca projekt: System inteligentnej analizy wideo do rozpoznawania zachowa i sytuacji w sieciach monitoringu

Bezszkieletowa metoda - grupowanie cieek

Grupa cieek poruszajcy si obiekt:

podobiestwo ksztatu,
ssiedztwo w przestrzeni obrazu,
wspistnienie w czasie.

Heurystyka grupujca:
zachanne przyporzdkowywanie cieek
do klastrw,
czenie/dzielenie klastrw

Grupy cieek wyznaczaj trajektorie obiektw

Konferencja podsumowujca projekt: System inteligentnej analizy wideo do rozpoznawania zachowa i sytuacji w sieciach monitoringu

Co? uczenie si maszyn

Do rozpoznawania akcji prostych DANE TESTOWE DANE TRENINGOWE

stosujemy uczenie maszynowe Ekstrakcja / selekcja cech

Maszyna uczy si przez powtarzanie
repetitio mater studiorum est.
Klasyfikator niskiego
Uczenie nadzorowane
Ekspert dziedzinowy adnotuje akcje poziomu

proste i przygotowuje dane treningowe

Klasyfikator wysokiego
poziomu Uczenie nienadzorowane

Wynik klasyfikacji
Konferencja podsumowujca projekt: System inteligentnej analizy wideo do rozpoznawania zachowa i sytuacji w sieciach monitoringu

Jak przygotowa dane treningowe?

zachowanie

hierarchiczne
adnotacje sownik

pozostae
obszary
ruchu
adnotacje tego obszaru

inny obszar z biecego zachowania wybrany obszar ruchu

Konferencja podsumowujca projekt: System inteligentnej analizy wideo do rozpoznawania zachowa i sytuacji w sieciach monitoringu

Edytor adnotacji - demonstracja

Konferencja podsumowujca projekt: System inteligentnej analizy wideo do rozpoznawania zachowa i sytuacji w sieciach monitoringu

Kiedy? - lokalizacja akcji w czasie

System potrafi rozpoznawa akcje, dla ktrych znany jest pocztek i koniec
W systemie gdzie jest strumie musimy rozpozna pocztek i koniec
Efektywna lokalizacja akcji w czasie:
dzielimy strumie na kawaki o rnej dugoci i robimy ranking najpewniejszego rozpoznania
akcji dla takiego zbioru.
Konferencja podsumowujca projekt: System inteligentnej analizy wideo do rozpoznawania zachowa i sytuacji w sieciach monitoringu

Rozpoznawanie akcji prostych - demonstracja

Konferencja podsumowujca projekt: System inteligentnej analizy wideo do rozpoznawania zachowa i sytuacji w sieciach monitoringu

Co to jest zdarzenie?

Cig wielu akcji prostych

Nie znamy:
Lokalizacji w czasie
Lokalizacji w przestrzeni
Komponentw
Konferencja podsumowujca projekt: System inteligentnej analizy wideo do rozpoznawania zachowa i sytuacji w sieciach monitoringu

Zdarzenie
Konferencja podsumowujca projekt: System inteligentnej analizy wideo do rozpoznawania zachowa i sytuacji w sieciach monitoringu

Architektura potoku SAVA

Konferencja podsumowujca projekt: System inteligentnej analizy wideo do rozpoznawania zachowa i sytuacji w sieciach monitoringu

Fizyczna architektura systemu SAVA

Konferencja podsumowujca projekt: System inteligentnej analizy wideo do rozpoznawania zachowa i sytuacji w sieciach monitoringu

Moliwe wersje systemu SAVA

System autonomiczny:
Wymagania
Instalacja (sprzt + oprogramowanie)
Wdroenie
Wsparcie powdroeniowe

Rozszerzenie systemw komercyjnych

Wymagania
Wdroenie
Wsparcie powdroeniowe

System jako usuga (ang. Intelligent Surveillance as a Service)

Wymagania
Wdroenie
Wsparcie powdroeniowe
Konferencja podsumowujca projekt: System inteligentnej analizy wideo do rozpoznawania zachowa i sytuacji w sieciach monitoringu

System jako usuga

Konferencja podsumowujca projekt: System inteligentnej analizy wideo do rozpoznawania zachowa i sytuacji w sieciach monitoringu

System jako usuga (ISAAS)

Konferencja podsumowujca projekt: System inteligentnej analizy wideo do rozpoznawania zachowa i sytuacji w sieciach monitoringu

SAVA jako rozszerzenie systemw komercyjnych (SK)

Konferencja podsumowujca projekt: System inteligentnej analizy wideo do rozpoznawania zachowa i sytuacji w sieciach monitoringu

Podsumowanie

Opracowalimy komponenty monitoringu 4-tej generacji IVA w zakresie:

Rozpoznawania pojedynczych akcji i zachowa
Identyfikacji zachowa osb oraz detekcji na ich podstawie sytuacji niebezpiecznych.
Tworzenia wiadomoci sytuacyjnej na podstawie obrazw z wielokamerowych systemw wideo przy
uyciu modeli zachowa grup.
Prototypu na poziomie IX TRL
Technologii umoliwiajcej wytworzenie produktu
Wniosku patentowego Centrum Badawczo-Rozwojowe
Konferencja podsumowujca projekt: System inteligentnej analizy wideo do rozpoznawania zachowa i sytuacji w sieciach monitoringu

Zadania realizowane przez OBRUM sp. z o.o.

Stanowisko operatora zaprojektowano i zaimplementowano w taki sposb aby moliwa bya jednoczesna
obsuga wielu kamer video oraz dostp do materiau archiwalnego pozyskanego przez moduy akwizycji danych

System pozwala na dodawanie zasobw sprztowych bez ingerencji w konfiguracj stanowiska

Autor: dr in. Tomasz Czapla

Orodek Badawczo-Rozwojowy Urzdze Mechanicznych OBRUM sp.z o.o.
Konferencja podsumowujca projekt: System inteligentnej analizy wideo do rozpoznawania zachowa i sytuacji w sieciach monitoringu

Moliwoci stanowiska

Stanowisko pozwala obserwowa jednoczenie cztery strumienie

wideo (pochodzce kamer lub plikw wideo).
Liczba kamer monitoringu przemysowego obsugiwanych przez
aplikacj nie jest ograniczona, i wynika jedynie z ogranicze
sprztowych
Stanowisko umoliwia sterowanie kamerami w czasie rzeczywistym
przy uyciu dedykowanego panelu sterujcego
Stanowisko udostpnia zdarzenia zarejestrowane w systemie SAVA
Konferencja podsumowujca projekt: System inteligentnej analizy wideo do rozpoznawania zachowa i sytuacji w sieciach monitoringu

Stanowisko operatora systemu SAVA

Podczas projektowania aplikacji postawiono szczeglny nacisk

na prostot i intuicyjno uytkowania, jednoczenie starajc si
zapewni ergonomi pracy operatora.
Wszystkie wane funkcje s atwo dostpne, a cay interface jest
prosty i czytelny.
Operator ma moliwo sterowania ruchami kamery za
porednictwem zewntrznego urzdzenia (joystick) wchodzcego
w skad stanowiska, bd za pomoc dotykowego panelu bdcego
integraln czci aplikacji operatora.
Konferencja podsumowujca projekt: System inteligentnej analizy wideo do rozpoznawania zachowa i sytuacji w sieciach monitoringu

Testy sprztu i wydajnoci

Dokumentacja architektury systemu SAVA:

Stworzenie grafu przedstawiajcego przykadow (testow) konfiguracj systemu SAVA obejmujc urzdzenia, stacje robocze oraz
przepyw danych w systemie.
Badanie wpywu iloci instancji procesw oraz najbardziej korzystnego rozlokowania procesw na dostpnych maszynach fizycznych
i wirtualnych, w celu minimalizacji czasu przetwarzania strumienia video.

Analiza obcienia komponentw systemu SAVA (serwery, fizyczne stacje robocze, macierz dyskowa):

Analiza poszczeglnych procesw, zapotrzebowania sprztowego dla najbardziej korzystnej iloci instancji procesw i ich rozlokowania
na poszczeglnych maszynach.
Badanie minimalnych wymaga sprztowych dla pojedynczego potoku przetwarzania strumienia video z kamery monitoringu.
Konferencja podsumowujca projekt: System inteligentnej analizy wideo do rozpoznawania zachowa i sytuacji w sieciach monitoringu

Testy sprztu i wydajnoci

Ustalenie metodyki przeprowadzanych testw (sposb oceny jakoci klasyfikacji).

Zarejestrowanie sekwencji video uywanych w testach jakoci klasyfikacji.
Testy jakoci klasyfikacji dla kadego ze zdarze zdefiniowanych w systemie.
Testy powtarzalnoci klasyfikacji dla kilkukrotnego przetwarzania tej samej sekwencji wideo.

W badaniach zostay przeprowadzone testy dla identycznych 10 minutowych fragmentw sekwencji wideo,
nagranych w godzinach wzmoonego ruchu pieszych w lokalizacji Gliwice - Rynek. Dla jednej wybranej
sekwencji test zosta powtrzony kilkukrotnie aby sprawdzi powtarzalno klasyfikacji wykonywanej przez
systemu. Sklasyfikowane zdarzenia zostay ocenione i wpisane do jednego z czterech wskanikw, ktry
daje nam moliwo oceny jakoci klasyfikacji.
Konferencja podsumowujca projekt: System inteligentnej analizy wideo do rozpoznawania zachowa i sytuacji w sieciach monitoringu

Testy sprztu i wydajnoci

TP FP

FN TN
Wskaniki suce do oceny jakoci klasyfikacji systemu SAVA

TP liczba zdarze sklasyfikowanych poprawnie jako nalece do danej klasy

FP liczba zdarze z innej klasy zaklasyfikowanych do danej klasy
FN liczba zdarze danej klasy zaklasyfikowanych do innej klasy
TN liczba zdarze z innych klas zaklasyfkowanych do danej klasy
Konferencja podsumowujca projekt: System inteligentnej analizy wideo do rozpoznawania zachowa i sytuacji w sieciach monitoringu

Testy systemu analizy wideo

Test dla zdarzenia chd w przypadku czternastu klas w tym siedmiu marginalnych

W przypadku chodu, podczas klasyfikacji nastpowao przyporzdkowywanie

236
akcji chodu innym akcjom. W zwizku z powyszym zoptymalizowano dziaanie
23,72% 370
systemu przez pominicie mniej istotnych zdarze, takich jak: mijanie, gob, 37,19%
obrt, skakanie, przytulanie, przywitanie, siadanie
389
39,10%

Wykres poprawnoci klasyfikacji zdarze systemu

SAVA Chd

- TP - FN
- TN - FP
Konferencja podsumowujca projekt: System inteligentnej analizy wideo do rozpoznawania zachowa i sytuacji w sieciach monitoringu

Testy systemu analizy wideo

Test dla zdarzenia chd przy ograniczeniu liczby klas do siedmiu podstawowych

33
Po pozostawieniu zdarze wanych takich jak: chd, kopanie, szarpanie,
6,35%
236 370
przewracanie, wstawanie, podnoszenie si, popchnicie, otrzymano 23,72% 37,19%
nastpujce rezultaty.

W przypadku tym zostao wykryte poprawnie o 27% wicej zdarze 389 495
39,10%
93,75%
generowanych przez chd ludzi na sekwencji wideo, co daje skuteczno
systemu SAVA na poziomie 93%.
Wykres przedstawiajcy zdarzenia sklasyfikowane do
czterech wskanikw oceny poprawno klasyfikacji
dla zdarzenia chd z wyczonym wykrywaniem
zdarze nieistotnych

- TP - FN
- TN - FP
Konferencja podsumowujca projekt: System inteligentnej analizy wideo do rozpoznawania zachowa i sytuacji w sieciach monitoringu

Testy z wykorzystaniem systemu monitoringu na terenie orodka OBRUM

Testy wykorzystania prostszych kamer CCTV, cechujcych si niszymi parametrami pozyskiwanego obrazu:
Nagrywanie sekwencji wideo z okrelonymi akcjami/zdarzeniami.
Adnotacja zdarze na zarejestrowanych materiaach wideo uywanych do trenowania systemu.
Wykorzystanie adnotowanego materiau video do stworzenia baz danych wykorzystywanych przez klasyfikator systemu SAVA.
Testy jakoci klasyfikacji dla potoku wideo z kamer zamontowanych na terenie orodka.

Testy wykorzystania systemu Milestone

Wykorzystanie systemu Milestone do obsugi kamer, ktre nie posiadaj moliwoci obsugi bezporednio w systemie SAVA.
Badanie wpywu uycia systemu Milestone na opnienia w przetwarzaniu potoku wideo oraz jako klasyfikacji zdarze.
Konferencja podsumowujca projekt: System inteligentnej analizy wideo do rozpoznawania zachowa i sytuacji w sieciach monitoringu

Wnioski

Poprawno jakoci klasyfikacji w instalacji testowej wyposaonej w kamery o niszych

parametrach (popularne w zastosowaniach przemysowych) spada w porwnaniu do instalacji
testowej w przestrzeni miejskiej. Po optymalizacji bazy danych moe osign 70% dla siedmiu
rozpoznawanych klas.
Wyczenie detekcji mao istotnych zdarze, moe zwikszy wskanik skutecznoci klasyfikacji.
System jest atwy w obsudze, pozwala na bardzo elastyczne zarzdzanie procesami w potoku
przetwarzania.
Elastyczno systemu umoliwia jego implementacje w komercyjnych systemach monitoringu
(Milestone)
Testy rnych konfiguracji systemu dowodz jego skalowalnoci
Konferencja podsumowujca projekt: System inteligentnej analizy wideo do rozpoznawania zachowa i sytuacji w sieciach monitoringu

Kontakt

Orodek Badawczo-Rozwojowy Urzdze Polsko-Japoska Akademia Technik Komputerowych

Mechanicznych OBRUM sp. z o.o. Wydzia Zamiejscowy Informatyki
44-117 Gliwice, ul. Toszecka 102 al.Legionw 2, 41-902 Bytom
www.obrum.gliwice.pl tel 323871660, 225844500
info@obrum.gliwice.pl bytom@pja.edu.pl