В современном мире робототехника играет все более важную роль в различных сферах, от промышленности до медицины 26.02.2025

Проект Ярослава, Ашота и Аркадия направлен на разработку интуитивно понятной системы телеуправления роботизированной рукой с использованием технологии компьютерного зрения и распознавания жестов.

Это позволит оператору управлять роботизированной рукой удаленно, используя естественные движения своей руки, что значительно упрощает процесс и расширяет возможности применения роботизированной руки.

Принцип работы заключается в том, что телеоператор выполняет различные жесты рукой, которые распознаются в реальном времени. Эти данные передаются по Bluetooth на микроконтроллер, который управляет положением сервоприводов руки, обеспечивая её движения в зависимости от жестов оператора.

Как все работает:

1. Захват видеопотока: веб-камера компьютера захватывает видеопоток с изображением руки оператора.

2. Обработка видеопотока с помощью фреймворка MediaPipe: MediaPipe анализирует видеопоток, определяет положение кисти руки, предоставляет координаты ключевых точек кисти (21 точка) и позволяет распознавать и классифицировать жесты.

3. Преобразование данных в команды управления: программа на Python, которую написали ребята, преобразует данные о жестах в команды управления для сервоприводов роботизированной руки. Например, сгибание пальца оператора соответствует сгибанию соответствующего пальца роботизированной руки.

4. Передача данных по Bluetooth: команды управления передаются по Bluetooth на контроллер, управляющий роботизированной рукой.

5. Управление сервоприводами: контроллер руки получает по Bluetooth команды, декодирует их и управляет сервоприводами роботизированной руки, воспроизводя движения руки оператора.