Login for students

Login for employees

Publication detail

Skeleton Detection Using MediaPipe as a Tool for Musculoskeletal Disorders Analysis
Authors: Böhm Josef | Chen Taotao | Štícha Karel | Kohout Jan | Mareš Jan
Year: 2024
Type of publication: článek ve sborníku
Name of source: Software Engineering Methods in Systems and Network Systems (CoMeSySo 2023)
Publisher name: Springer Nature Switzerland AG
Place: Cham
Page from-to: 35-50
Titles:
Language Name Abstract Keywords
cze Detekce skeletu pomocí MediaPipe jako nástroj pro analýzu muskuloskeletálních poruch Detekce kostry, známá také jako odhad polohy člověka (HPE), se stává stále populárnější, protože ji lze použít v řadě aplikací, jako je herní zábava, interakce člověka se strojem, projekty založené na VR, lékařská rehabilitace atd. Díky prudkému rozvoji hlubokého učení lze řešení HPE implementovat pomocí metod hlubokého učení, které jako vstup vyžadují standardní 2D RGB obrázky nebo videosekvence. To znamená, že díky dnešním technologiím jsou řešení HPE stále lehčí a rychlejší, což je možné spustit na mobilních zařízeních pro každodenní použití detekce kostry. Tento článek se zabývá především stručným přehledem současných přístupů k odhadu lidské pózy založených na hlubokém učení. Poté bude ilustrován odlehčený model hlubokého učení - MediaPipe - ze všech hledisek jeho struktury, pracovního toku, silných a slabých stránek a více se týká kompatibility v platformách a programovacích jazycích. Výsledkem bude představení multiplatformní aplikace pro sběr pohybových dat od pacientů trpících muskuloskeletálními chorobami, která se spoléhá na MediaPipe. Na závěr je uveden přehled úspěchů a překážek vývoje aplikace, který je významný tím, že může být rozcestníkem pro týmy, které dělají nebo se chystají dělat aplikaci založenou na knihovně MediaPipe. C#; Deep learning; Desktopová aplikace; Zpracování obrazu; MediaPipe; Mobilní aplikace; Muskuloskeletální poruchy; Detekce kostry; Windows
eng Skeleton Detection Using MediaPipe as a Tool for Musculoskeletal Disorders Analysis Skeleton detection, also known as human pose estimation (HPE), is becoming more and more popular as it can be applied in a range of applications such as game entertainment, human-machine interaction, VR-based projects, medical rehabilitation, etc. Thanks to the booming development of deep learning, HPE solutions can be implemented using deep learning methods which require standard 2D RGB images or video sequences as input. That is, technology nowadays is making HPE solutions more and more lightweight and fast which is possible to run on mobile devices for the daily use of skeleton detection. This article covers a brief survey of current deep learning-based human pose estimation approaches in the first place. Then, a lightweight deep learning model – MediaPipe – will be illustrated from all the perspectives of its structure, working flow, strengths & weaknesses and the more concerned compatibility in platforms and programming languages. As a result, a multi-platform application for collecting movement data from patients suffering from musculoskeletal diseases relying on MediaPipe is introduced. Finally, there is a summary of achievements and obstacles of application development, which is significant as it can be a signpost for teams who are doing or about to do an application based on the MediaPipe library. C#; Deep learning; Desktop application; Image processing; MediaPipe; Mobile application; Musculoskeletal disorders; Skeleton detection; Windows

Department

Map

en.mapy.cz

Services

Popular Links

© 2023 University of Pardubice, Studentská 95, 532 10 Pardubice 2
Phone: +420 466 036 111, 466 036 112, 466 036 113
Webmaster, RSS
Data box ID: f5vj9hu
Accessibility Statement