Justyna Konior "Development of a classification algorithm for basic and distracting driving activities, based on multimodal signals and (deep) machine learning methods."

GB: The aim of this paper is the creation of a deep learning-based system for identifying driver activities. This study is entirely performed on the basis of the signal acquired from JINS MEME Smart Glasses equipped with a set of EOG sensors, and a set of accelerometer and velocity sensors. A 1D CNN model was developed, which then uses the preprocessed EOG and accelerometer readings to categorize the subsequent driving behaviors: primary activities - crossroad turning left, right and going straight,
angle parking left and right, parallel parking left and right, perpendicular parking left and right, roundabout turning left, right and going straight and secondary activities - bending, drinking, eating and turning back. The results obtained were divided into three categories. For the binary classification between secondary and primary activities, an accuracy rate of 99.5 % was achieved. An analysis of classifications for a specific set of activities, comprising crossroad, parking, roundabout, and secondary activities,
produced accuracy values of 97.9%, 96.8%, 97.4% and 99.5%, respectively. Finally, recognizing each behavior independently demonstrated satisfactory accuracy, precision, and f1 score at the level of 80%. The secondary activity of drinking was predicted with the greatest degree of accuracy, while primary parallel parking on the left side and perpendicular parking on the right side with the smallest.

PL: Celem niniejszej pracy jest stworzenie opartego na głębokim uczeniu systemu do identyfikacji aktywności kierowcy. Badanie to jest w całości wykonane na podstawie sygnału pozyskanego z inteligentnych okularów JINS MEME Academic Pack wyposażonych w zestaw czujników EOG,
akcelerometr oraz czujniki prędkości. Opracowano model 1D CNN, który następnie wykorzystuje pozyskane wstępnie przetworzone sygnały z EOG i akcelerometru do kategoryzacji poszczególnych zachowań kierowcy: czynności podstawowe - skrzyżowanie skręt w lewo, skręt w prawo i jazda prosto, parkowanie skośne w lewo i w prawo, parkowanie równoległe w lewo i w prawo, parkowanie prostopadłe w lewo i w prawo, rondo skręcanie w lewo, w prawo i jazda prosto oraz czynności drugorzędne - schylanie się, picie, jedzenie i odwracanie się. Uzyskane wyniki podzielono na trzy kategorie. Dla klasyfikacji binarnej pomiędzy czynnościami drugo- i pierwszorzędnymi uzyskano wskaźnik dokładności 99,5%.
Analiza klasyfikacji dla określonego zestawu czynności, obejmującego skrzyżowanie, parkowanie, rondo i czynności drugorzędne, dała wartości dokładności wynoszące odpowiednio 97,9%, 96,8%, 97,4% and 99,5%.
Ostatecznie, rozpoznanie każdego zachowania niezależnie wykazało zadowalającą dokładność, precyzję, czułość oraz wynik f1 na poziomie 80%. Czynność drugorzędna, jaką jest picie, została przewidziana z największą dokładnością, natomiast z najmniejszą pierwszorzędne parkowanie równoległe po lewej stronie oraz parkowanie prostopadłe po prawej stronie.