Publication detail

Advanced Analysis of 3D Kinect Data: Supervised Classification of Facial Nerve Function via Parallel Convolutional Neural Networks

Authors: Shayestegan Mohsen | Kohout Jan | Sticha Karel | Mareš Jan

Year: 2022

Type of publication: článek v odborném periodiku

Name of source: Applied Science - Basel

Publisher name: MDPI

Place: BASEL

Page from-to: nestránkováno

Titles:

Language	Name	Abstract	Keywords
cze	okročilá analýza 3D dat Kinectu: Klasifikace funkce obličejových nervů pomocí paralelních konvolučních neuronových sítí	tomto článku jsme navrhli metodiku klasifikace funkce obličejového nervu po operaci hlavy a krku. Je důležité, aby bylo možné objektivně sledovat proces rehabilitace po konkrétní operaci mozku, kdy jsou pacienti často postiženi obrnou obličeje. Soubor dat, který je v této studii použit pro problematiku klasifikace, obsahuje pouze 236 měření 127 pacientů komplexního pozorování pomocí nejčastěji používané Houseovy-Brackmannovy (HB) stupnice, která je založena na subjektivním názoru lékaře. Ačkoli existuje několik tradičních metod hodnocení pro měření ochrnutí obličeje, stále trpí tím, že ignorují informace o pohybu obličeje. To hraje důležitou roli při analýze ochrnutí obličeje a omezuje výběr užitečných rysů obličeje pro hodnocení ochrnutí obličeje. V tomto článku představujeme trojcestnou konvoluční neuronovou síť (TPCNN) pro vyhodnocení problému rehabilitace mimických svalů, které jsou pozorovány stereovizní kamerou Kinect. Systém sestávající ze tří modulů pro výpočet míry obličejových orientačních bodů a klasifikaci ochrnutí obličeje založený na paralelní struktuře konvoluční neuronové sítě se používá ke kvantitativnímu hodnocení klasifikace ochrnutí obličejových nervů s ohledem na rysy obličeje založené na oblasti a časové variabilitě sekvencí obličejových orientačních bodů. Navrhovaná hluboká síť analyzuje globální i lokální rysy pohybu obličeje pacienta. Tyto extrahované reprezentace na vysoké úrovni jsou poté sloučeny pro konečné vyhodnocení ochrnutí obličeje. Experimentální výsledky ověřily lepší výkonnost TPCNN ve srovnání s nejmodernějšími sítěmi hlubokého učení.	analýza funkcionálních dat; rehabilitace; hluboké učení; Kinect
eng	Advanced Analysis of 3D Kinect Data: Supervised Classification of Facial Nerve Function via Parallel Convolutional Neural Networks	In this paper, we designed a methodology to classify facial nerve function after head and neck surgery. It is important to be able to observe the rehabilitation process objectively after a specific brain surgery, when patients are often affected by face palsy. The dataset that is used for classification problems in this study only contains 236 measurements of 127 patients of complex observations using the most commonly used House-Brackmann (HB) scale, which is based on the subjective opinion of the physician. Although there are several traditional evaluation methods for measuring facial paralysis, they still suffer from ignoring facial movement information. This plays an important role in the analysis of facial paralysis and limits the selection of useful facial features for the evaluation of facial paralysis. In this paper, we present a triple-path convolutional neural network (TPCNN) to evaluate the problem of mimetic muscle rehabilitation, which is observed by a Kinect stereovision camera. A system consisting of three modules for facial landmark measure computation and facial paralysis classification based on a parallel convolutional neural network structure is used to quantitatively assess the classification of facial nerve paralysis by considering facial features based on the region and the temporal variation of facial landmark sequences. The proposed deep network analyzes both the global and local facial movement features of a patient's face. These extracted high-level representations are then fused for the final evaluation of facial paralysis. The experimental results have verified the better performance of TPCNN compared to state-of-the-art deep learning networks.	rehabilitation; House-Brackman scale; functional data analysis; multi class classification; deep learning; Kinect

Search

Login for students

Login for employees

Publication detail

Department

Map

Services

Popular Links