Мобильное приложение для реабилитации людей с ОВЗ и маломобильных граждан "Move Well"
Ожогина Татьяна Андреевна
Пользователь выполняет рекомендованное ему упражнение на камеру, повторяя эталонные движения с видео. С помощью технологии компьютерного зрения OpenPose анализируется поза пациента и инструктора на видео, далее идет сравнение углов, опорных точек и амплитуды в результате чего выдается обратная связь в виде рекомендаций и ошибок. Это позволит сделать реабилитацию качественной и контролируемой в домашних условиях.
1. Провести анализ предметной области «Цифровая медицина» и рынка.
2. Исследовать метода скелетного тренинга (OpenPose) и подходы к сравнению позы
3. Спроектировать архитектуру программно-информационной системы
4. Провести модульное, интеграционное и юзабилити-тестирование
5. Сформулировать рекомендации по внедрению в реабилитационных центрах и для домашнего использования
Ключевые функции мобильного клиента (React Native):
-
Авторизация и профиль: Регистрация/вход с JWT-токенами, ведение медпрофиля (диагнозы, уровень мобильности, ограничения по суставам).
-
Каталог упражнений: Просмотр, поиск, фильтрация по зонам воздействия (корпус, руки, ноги), добавление в "Избранное".
-
Сессия упражнения: Разделенный экран (эталонное видео + камера пользователя), запись видео через
react-native-vision-camera, таймер. -
Обратная связь: Отображение результатов анализа (оценка от 0 до 100), детализированный список ошибок с привязкой к конкретным суставам, рекомендации.
-
Персонализация: Адаптивная светлая/темная тема, синхронизация настроек на сервере.
Серверная часть (FastAPI + PostgreSQL + OpenPose):
-
REST API: 9 эндпоинтов для аутентификации, управления профилем, каталогом и загрузки видео.
-
Анализ движений: Детекция 18 ключевых точек тела (OpenPose), вычисление биомеханических углов, сравнение с эталоном (ROM-алгоритм), формирование отчета.
React Native 0.82 мобильный фреймворк
TypeScript строгая типизация
Vision Camera 5 доступ к камере
React Navigation навигация экранов
REST API интеграция с сервером
FastAPI
Python 3.11
PostgreSQL 15
OpenPose COCO 18 ключевых точек
-
Офлайн-режим: Внедрение легковесных моделей (MediaPipe Pose, MoveNet) для анализа непосредственно на устройстве без постоянного интернета.
-
Интерактивность в реальном времени: Анализ позы через WebSocket для мгновенной обратной связи во время выполнения упражнения (без загрузки полного видео).
-
Интеграция с медициной: Подключение к системам электронного здравоохранения (ЕМИАС) для автоматической выгрузки отчетов врачам.
-
Геймификация и контент: Добавление системы достижений, расширение библиотеки упражнений совместно с врачами, внедрение телемедицинских консультаций.
Завершенность: Проект выполнен на 100% в рамках поставленных задач.
-
Социальная полезность: Решает критическую проблему доступности реабилитации для 2.4 млн инвалидов в РФ. Снижает нагрузку на врачей и повышает самостоятельность пациентов, предоставляя "цифрового ассистента" дома.
-
Экономическая полезность: Автоматизация контроля снижает количество дорогостоящих очных визитов к врачу. Бесплатность приложения делает его доступным для широких слоев населения, в отличие от аналогов стоимостью 150-3000 руб./мес.
-
Стилистическое единство: Единая система дизайн-токенов (акцентный цвет #4CAF50, фиксированные отступы, типографика) поддерживается во всех 13+ экранах через React Context API.
-
Адаптивность: Приложение корректно работает на разных разрешениях экранов (протестировано на iPhone 16 и Honor 20). Единая кодовая база обеспечивает полную идентичность пользовательского опыта на iOS и Android.
-
Масштабируемость: Архитектура с выделенным ML-сервисом позволяет горизонтально масштабировать серверную часть (добавлять мощности для анализа) и обновлять модели без переустановки приложения.
-
Интеграция: Взаимодействие по REST API с JWT-аутентификацией позволяет легко интегрироваться с внешними медицинскими системами (ЕМИАС) и веб-кабинетом врача.
-
Мобильность: Приложение является кроссплатформенным (iOS и Android на единой кодовой базе React Native), что делает его доступным на любом современном смартфоне.
-
React Native: Обеспечивает кросс-платформенность и скорость разработки (вместо двух нативных приложений).
-
OpenPose: Выбран за максимальную точность (PCKh@0.2 до 96%) и репутацию, при том что вычислительная нагрузка вынесена на сервер, решая проблему слабой мощности мобильных устройств.
-
FastAPI: Асинхронный Python-фреймворк, идеально подходящий для интеграции ML-моделей, обеспечивающий задержку < 120 мс.
-
Серверная архитектура: Обработка на сервере (а не на телефоне) гарантирует высокое качество анализа и безопасность данных (видео не остается на устройстве в открытом виде).
-
Бесплатность при полноценном CV-анализе (Kaia Health — платное, PhysiApp — без CV).
-
Глубина обратной связи: Детализация ошибок по каждому суставу, а не общая оценка (как у Fusionetics).
-
Медицинская адаптация: Учет диагнозов и уровня мобильности в персонализации, в отличие от фитнес-приложений.
Дизайн полностью адаптирован для маломобильных людей и лиц с ОВЗ:
-
Используются крупные шрифты и кнопки.
-
Минималистичный интерфейс без визуального шума.
-
Продуман цветовой код (зеленый/оранжевый/красный для оценки) для быстрой интерпретации результатов.
-
Поддержка экранного диктора.
Интерфейс разработан с фокусом на целевую аудиторию (люди с ограниченной подвижностью):
-
Полезность: Крупные элементы управления (padding > 16pt), контрастная цветовая схема, поддержка светлой/темной темы и системных шрифтов.
-
Интуитивность: Все ключевые действия (начать упражнение, избранное) доступны за 2 касания от главного экрана. Вертикальный "сплит-вью" позволяет одновременно следить за эталоном и собой, не отвлекаясь.