Publikace detail

Skeleton Detection Using MediaPipe as a Tool for Musculoskeletal Disorders Analysis

Autoři: Böhm Josef | Chen Taotao | Štícha Karel | Kohout Jan | Mareš Jan

Rok: 2024

Druh publikace: článek ve sborníku

Název zdroje: Software Engineering Methods in Systems and Network Systems (CoMeSySo 2023)

Název nakladatele: Springer Nature Switzerland AG

Místo vydání: Cham

Strana od-do: 35-50

Tituly:

Jazyk	Název	Abstrakt	Klíčová slova
cze	Detekce skeletu pomocí MediaPipe jako nástroj pro analýzu muskuloskeletálních poruch	Detekce kostry, známá také jako odhad polohy člověka (HPE), se stává stále populárnější, protože ji lze použít v řadě aplikací, jako je herní zábava, interakce člověka se strojem, projekty založené na VR, lékařská rehabilitace atd. Díky prudkému rozvoji hlubokého učení lze řešení HPE implementovat pomocí metod hlubokého učení, které jako vstup vyžadují standardní 2D RGB obrázky nebo videosekvence. To znamená, že díky dnešním technologiím jsou řešení HPE stále lehčí a rychlejší, což je možné spustit na mobilních zařízeních pro každodenní použití detekce kostry. Tento článek se zabývá především stručným přehledem současných přístupů k odhadu lidské pózy založených na hlubokém učení. Poté bude ilustrován odlehčený model hlubokého učení - MediaPipe - ze všech hledisek jeho struktury, pracovního toku, silných a slabých stránek a více se týká kompatibility v platformách a programovacích jazycích. Výsledkem bude představení multiplatformní aplikace pro sběr pohybových dat od pacientů trpících muskuloskeletálními chorobami, která se spoléhá na MediaPipe. Na závěr je uveden přehled úspěchů a překážek vývoje aplikace, který je významný tím, že může být rozcestníkem pro týmy, které dělají nebo se chystají dělat aplikaci založenou na knihovně MediaPipe.	C#; Deep learning; Desktopová aplikace; Zpracování obrazu; MediaPipe; Mobilní aplikace; Muskuloskeletální poruchy; Detekce kostry; Windows
eng	Skeleton Detection Using MediaPipe as a Tool for Musculoskeletal Disorders Analysis	Skeleton detection, also known as human pose estimation (HPE), is becoming more and more popular as it can be applied in a range of applications such as game entertainment, human-machine interaction, VR-based projects, medical rehabilitation, etc. Thanks to the booming development of deep learning, HPE solutions can be implemented using deep learning methods which require standard 2D RGB images or video sequences as input. That is, technology nowadays is making HPE solutions more and more lightweight and fast which is possible to run on mobile devices for the daily use of skeleton detection. This article covers a brief survey of current deep learning-based human pose estimation approaches in the first place. Then, a lightweight deep learning model – MediaPipe – will be illustrated from all the perspectives of its structure, working flow, strengths & weaknesses and the more concerned compatibility in platforms and programming languages. As a result, a multi-platform application for collecting movement data from patients suffering from musculoskeletal diseases relying on MediaPipe is introduced. Finally, there is a summary of achievements and obstacles of application development, which is significant as it can be a signpost for teams who are doing or about to do an application based on the MediaPipe library.	C#; Deep learning; Desktop application; Image processing; MediaPipe; Mobile application; Musculoskeletal disorders; Skeleton detection; Windows

Vyhledávání

Přihlášení pro studenty

Přihlášení pro zaměstnance

Publikace detail

Katedry

Služby

Jak nás najdete?

Často hledáte