В НовГУ разработали методику управления промышленным компьютером с помощью жестов

04 июня 2026, 13:30   55

Программисты НовГУ предложили методику бесконтактного управления промышленными интерфейсами, основанную на анализе жестов оператора. Система позволяет заменять мышь и клавиатуру движениями пальцев перед стандартной веб-камерой. По сравнению с аналогами технология недорогая, но также эффективна. Она будет полезной для предприятий электроэнергетики, в химической, металлургической и машиностроительной промышленности.

Авторы — специалисты кафедры информационных технологий и систем НовГУ: старший преподаватель, аспирант Игорь Кулаков и студент Абдуллоджон Давлатов. Результаты исследования опубликованы в издании НовГУ — сборнике материалов I региональной научно-практической конференции «Электроэнергетика: проблемы, решения, форсайт».

На промышленных объектах, включая энергетические подстанции и распределительные устройства, персонал часто работает в защитных перчатках или в условиях ограниченного доступа к панелям управления. Существующие аппаратные решения для бесконтактного управления требуют дополнительного оборудования и имеют ограничения по условиям эксплуатации. Альтернатива — системы компьютерного зрения, использующие стандартные видеокамеры, но их устойчивость к изменениям освещения, зашумленному фону и работе в перчатках остается сложной.

Для повышения устойчивости распознавания в таких условиях новгородские инженеры создали программный прототип. Для обработки видеопотока использовалась библиотека компьютерного зрения с открытым кодом (MediaPipe Hands, разработанная компанией Google), позволяющая работать с изображениями в реальном времени. Исследователи доработали ее по трем направлениям: добавили сглаживание дрожания пальца, переобучили нейросеть на фотографиях рук в перчатках и настроили пороги срабатывания жестов под промышленные условия, то есть задали в программе числовые значения (например, расстояние между пальцами), при достижении которых система распознает движение как команду, а не как случайный взмах рукой.

— Система работает так: оператор подносит руку перед веб-камерой, — поясняет Игорь Кулаков. — Программа распознает на изображении кончик указательного пальца. Когда оператор двигает пальцем в воздухе, курсор на экране повторяет движение. При этом небольшая дрожь руки автоматически сглаживается — курсор не прыгает, а перемещается плавно. Когда оператору нужно нажать на кнопку или выбрать пункт меню, он сводит вместе большой и указательный пальцы. Система фиксирует, что расстояние между ними уменьшилось, и передает компьютеру команду «левый клик мыши». Если оператор сводит большой и средний пальцы, происходит «правый клик» — например, открывается контекстное меню. Сведение большого пальца с безымянным включает режим перетаскивания: оператор может «захватить» значок или окно на экране и переместить его в другое место.

Чтобы прокрутить страницу или список вниз или вверх, оператор отставляет большой палец в сторону. Система отслеживает его положение относительно центра запястья: если палец смещается вверх — происходит прокрутка вверх, если вниз — прокрутка вниз. Это работает как колесико мыши, только без физического контакта. Все жесты выполняются на весу, без прикосновения к клавиатуре, мыши или сенсорному экрану.

При этом инженеры не ставили перед собой задачу разработать систему распознавание жестов с нуля — такие алгоритмы уже существуют. «Наша цель была другой: заставить их стабильно работать там, где обычный компьютер «слепнет». В цехе человек в грязных перчатках, свет моргает, на заднем плане — станки. Мы показали, что обычная веб-камера и бесплатная библиотека справляются с этим не хуже, а иногда и лучше дорогих контроллеров», - комментирует Игорь Кулаков.

Авторы разработки также провели сравнительный анализ с двумя зарубежными аналогичными системами — Leap Motion и базовую (без донастроек) версию MediaPipe. Первая представляет собой специализированный аппаратный контроллер для отслеживания жестов. Он стоит довольно дорого и требует отдельного датчика. Вторая — это набор типовых программ компьютерного зрения на открытых библиотеках. Они хорошо работают в лабораторных условиях, но при изменении освещения, зашумленном фоне или использовании защитных перчаток их точность резко падает — ниже 80%.

Разработка новгородцев показала точность распознавания жестов 90-95%. При этом скорость реакции системы составила менее 0,1 секунды. По этим показателям она оказалась сопоставима с дорогим аппаратным контроллером, но превзошла стандартные программы компьютерного зрения при работе в перчатках, плохом освещении или на загрязненном фоне.

— Главное отличие нашей системы в том, что для нее нужна только обычная недорогая веб-камера, тогда как аппаратный контроллер требует специального датчика и стоит на порядок дороже, — рассказал Игорь Кулаков.

Разработанную методику можно интегрировать в диспетчерские системы управления энергосетями, операторские панели и роботизированные комплексы. На предприятиях электроэнергетики она позволяет управлять оборудованием без физического контакта с пультами, что снижает риски, связанные с защитной экипировкой персонала и условиями повышенного риска. В перспективе авторы планируют расширить набор распознаваемых жестов, добавить поддержку двух рук и адаптивные алгоритмы настройки под индивидуальные особенности оператора.

Эту и другие новости читайте в официальном МАХ-канале Новгородского университета.