Меню
ГлавнаяСвязь

Управление компьютером жестами через веб камеру. IGest - управление жестами. Установка и запуск жестикулятора StrokesPlus

Программа, позволяющая управлять компьютером с помощью жестов мыши. Просто рисуете мышкой символы на экране, и компьютер сам запускает нужные Вам программы, выполняет системные команды и т.д.

Было время, когда у компьютеров не было мышек. Сложное время, скажу я Вам:). Для управления использовалась только клавиатура. Нельзя было просто кликнуть и запустить файл, надо было, знать его адрес и вводить его вручную (или в лучшем случае иметь под рукой файловый менеджер).

Надо было помнить кучу горячих клавиш для быстрого управления компом. Поэтому программисты того времени выглядели в глазах непосвященных эдакими шаманами, которые вечно что-то "колдуют" над клавиатурой.

Сегодня благодаря мыши каждый человек может легко и просто управлять компьютером. Мышь помогает быстро открывать папки, работать с окнами, запускать программы и т. д. Однако быстро ли? Представим себе, что надо открыть файл, который лежит у нас на компьютере по адресу: C:\Program Files\Common Files\Microsoft Shared\THEMES11\AFTRNOON .

И мы начинаем клацать сначала "Мой компьютер", потом "Диск С", затем "Program files" и далее. Не очень то и быстро, правда? Можно, конечно, использовать горячие клавиши, но удобнее использовать жесты мыши.

Естественно стандартными средствами Windows добится этого практически нереально, но существует ряд программ, которые призваны решить этот недочет. Представляю Вашему вниманию gMote .

При помощи данной программы Вы сами сможете настроить мышиные жесты для работы с окнами, браузером , системой, приложениями, файлами и папками. Ближайший платный родственник gMote - Symbol Commander. Сравним, что же предлагают эти две програмки:

Сравнение gMote с платным аналогом Symbol Commander

Ко всему вышесказанному следует добавить, что gMote намного лучше понимает Ваши жесты на практике, так как учитывает дрожание руки при рисовании, да и задаете жест Вы сами своим, так сказать, почерком.

Еще один приятный плюс - gMote не требует установки, поэтому его можно запускать хоть с флэшки, хоть с ПК. Все, что требуется - скачать архив и распаковать его в папку. Когда запустим программу, в трее появится ее значок . Кликнув по нему левой кнопкой мыши, увидим саму программу:

Интерфейс gMote

Интерфейс gMote весьма прост, несмотря на то, что он английский. Вверху Вы увидите несколько кнопок для создания/сохранения списка жестов, а также для активации/деактивации программы и настройки. Само окно разделено на две части: слева - список жестов и справа - редактор.

Настройка программы

Начнем с настроек. Для этого нажмем вверху кнопку "Options".

Здесь можно настроить при каких обстоятельствах будет срабатывать gMote. По умолчанию стоит - "при зажатой правой кнопке мыши". Это достаточно удобно, поэтому можно ничего не менять. Далее можно изменить цвет рисуемого пути, задержку перед выполнением действия, автозапуск, автопроверку обновлений (советую отключить), язык (русского нет:() и др.

Здесь есть и другая вкладка. Это игнорируемый список, то есть список тех программ, при Вашей работе с которыми, gMote будет временно отключаться. Чтобы добавить программу-исключение, нажмите кнопку "Browse" и укажите ее исполняемый файл.

Создание управляющего символа

Настроили, тогда вперед! Попробуем создать свой первый "мышиный" жест. Вернемся в главное окно и, первым делом, проверим, включена ли кнопка "Active". Если да, нажимаем соседнюю с ней клавишу "New set (новый набор)".

Под списком жестов (gesture set) Вы увидите две кнопки: "Create gesture (создать жест)" и "Delete gesture (удалить жест)". Нажимаем "Создать" и в списке появляется первая запись (пока пустая).

Следующим нашим шагом будет рисование самого жеста. Рисовать будем в правой части окна, которая именуется "Recording". Чтобы начать, зажмите левую кнопку мыши и, не отрывая руки, нарисуйте фигуру. Я создавал жест для вызова браузера, поэтому и выбрал форму латинской "B" (от "browser").

Если нарисованная фигура Вам чем-то не понравится, нажмите кнопку "Record again", чтобы перерисовать.

Когда определитесь, нажимайте на надпись "Do nothing" в списке жестов. Теперь мы можем назначить задание для нашей закорючки:).

Кликнем по выпадающему меню "Action". Рассмотрим появившийся список повнимательнее:

Как видно из списка мы можем назначить жесту следующие функции:

В нашем варианте нам надо запустить браузер (Mozilla Firefox, например). Для этого выбираем соответственно пункт "Program or file". В поле "Program", открывшегося окна, вводим адрес, по которому у нас находится исполняемый файл (можно воспользоваться кнопкой выбора), а в поле "Working path" указываем папку, в которой будет храниться файл жеста (проще всего указывать папку с gMote).

Нажимаем "Ok" и все готово!

Тестирование созданного символа

Испробуем gMote в действии. Зажмем правую кнопку мыши и нарисуем на экране значок, который мы назначили для запуска браузера.

Получилось! Значит мы все сделали правильно. В случае неудачи, попробуйте нарисовать знак еще раз или посмотрите в программе как Вы его рисовали. Одно из главных правил - соблюдение направления. Если Вы рисовали сверху вниз, то и знак должен проходить по той же траектории.

Выводы

В отличие от своего платного аналога Symbol Commander, gMote более гибкая программка в плане распознавания жестов, так как Вы сами задаете их. Однако не стоит увлекаться слишком сложными фигурами, потому что чем она будет заковыристей, тем дольше Вы ее будете рисовать, а тут уж польза от gMote будет выглядеть достаточно спорно:).

P.S. Разрешается свободно копировать и цитировать данную статью при условии указания открытой активной ссылки на источник и сохранения авторства Руслана Тертышного.

Жесты - это то, чем каждый пользователь смартфона/планшета пользуется каждый день. Вы используете жесты, когда просматриваете страницу в браузере, когда листаете страницы рабочего стола, когда открываете панель уведомлений, когда играете… Таких примеров много, но почему бы не использовать жесты для запуска приложений? Вот сами подумайте, что легче: открыть меню приложений, найти нужное вам приложение и нажать на него, или нажать кнопку разблокировки устройства, а затем на экране блокировки нарисовать жест для запуска приложения и моментально зайти в него? Думаю, второй вариант более удобен, хотя и требует предварительной подготовки (нужно заранее нарисовать жест для приложения, которое будете запускать). Если вы уже заинтересовались, тогда быстрее скачивайте приложение iGest, настраивайте жесты и пользуетесь своим смартфоном/планшетом с еще большим удовольствием.

При нажатии на приложение, перед вами появляется зона для ввода жеста, но в начале она не нужна, поскольку, еще ни одного жеста не создано. Чтобы создать жест, заходим в настройки и нажимаем кнопку Добавить. Затем нужно выбрать тип действия, которое должно выполнятся после рисования определенного жеста. В вашем распорядке следующие действия: запуск приложений, звонок, отправка сообщения, открытие веб-страницы, включения фонарика и многое другое. После выбора действия, вам нужно нарисовать жест 5 раз (само собой, одинаковый). Это процедура необходима для успешной калибровки жеста, чтобы, если вы нарисуете его с какими-то отклонениями, то приложения смогло его распознать. Что самое интересное, жест можно рисовать в несколько шагов, т.е. вы можете нарисовать смайлик, даже отрывая палец от экрана. Но делать это нужно быстро, поскольку, после того, как вы убираете палец с экрана, у вас есть 2-3 секунды, чтобы продолжить рисование. После успешно нарисованного жеста, нажмите на кнопку Сохранить.

В настройках вы можете включить/выключить экран блокировки, на котором можно будет рисовать жесты, а также “плавающую” кнопку, чтобы получить доступ к жестам из любого приложения.
Преимущества iGest:

  • Множество функций и управление жестами занчительно ускорят работу с устройством (телефоном или планшетом)
  • Жесты можно использовать прямо на экране блокировки. Теперь для того, чтобы открыть приложение или позвонить, даже не нужно включать телефон!
  • На экране блокировки есть сканер отпечатков пальцев.
  • Удобная плавающая кнопка позволит использовать жесты где угодно!
  • Идеальная точность распознавания жестов. Уникальный алгоритм адаптируется под ваш почерк и распознает любой жест.
  • Простой и удобный интерфейс поможет быстро настроить нужные жесты.
  • iGest - единственное приложение среди аналогов, которое поддерживает multi-touch жесты.

Что можно делать жестами?

  • Запускать приложения
  • Совершать звонки
  • Открывать веб-страницы
  • Открывать файлы
  • Заблокировать экран телефона
  • Создать SMS
  • Создать Email
  • Включить фонарик
  • И многое другое...

iGest - это очень классное и невероятно полезное приложение, которое в разы упрощает запуск часто используемых приложений, а также выполнение постоянных действий. Приятного пользования!
Скачать приложение iGest - управление жестами для Андроид вы можете по ссылке ниже.

Есть несколько способов управления медиаплеером. Вы можете обзавестись специальным пультом дистанционного управления или по старинке жать на функциональные клавиши клавиатуры. Можно также использовать одно из многочисленных приложений, которые позволяют вывести более удобное управление на панель меню. Мы же рассмотрим способ, позволяющий управлять проигрываемыми музыкой и фильмами с помощью жестов. При этом вам не понадобятся специальные устройства наподобие контроллера Leap Motion.

1 Flutter

Бесплатная программа Flutter , совместимая с Mac OSX и Windows, позволит вам контролировать iTunes или Windows Media (и другие совместимые медиаплееры, такие как Winamp, QuickTime, VLC, Spotify и т. д.) с помощью веб-камеры. В октябре 2013 года стартап Flutter был куплен компанией Google, так что, вероятно, он получит бурное развитие в ближайшем будущем, а пока разберёмся с тем, что предлагает его функционал сейчас.

После установки приложения Flutter запустите его, кликнув на значок в панели меню, и нажмите на пункт «Включить камеру». Здесь вы также можете выбрать опцию Auto Start при запуске системы или сообщить об ошибке при распознавании жестов. Обратите внимание, что камеру во Flutter придётся выключить, если вам нужно будет воспользоваться Skype или другими приложениями, использующими веб-камеру.


После первого запуска следуйте инструкции: поднимите руку перед веб-камерой, чтобы приложение проанализировало ваши жесты и отдало необходимые команды медиаплееру.

Для управления плеером вы будете использовать три простых жеста. Чтобы они распознавались максимально точно, старайтесь держать руку на расстоянии от 30 до 180 см от камеры. Подавая устройству сигнал, старайтесь не двигать рукой.


Открытая ладонь перед камерой будет обозначать команды Stop и Play. Чтобы вернуться к предыдущим композициям из плейлиста, сожмите кулак и укажите большим пальцем влево. Чтобы перейти к следующей песне в списке воспроизведения, укажите большим пальцем вправо.

Для работы функционала Flutter в Google Chrome существует специальное расширение для браузера, которое совместимо с Youtube, Netflix, Pandora и Grooveshark.

2 NPointer

Существуют и альтернативы программы Flutter, например, NPointer , с помощью которой вы сможете управлять не только музыкой и видео, но и использовать её вместо мыши или тачпада, выполняя жесты руками, головой и другими частями тела. NPointer способен обнаружить любой движущийся объект и синхронизировать его координаты с указателем мыши. Программа предлагает массу настроек, с помощью которых вы сможете изменить скорость движения, ускорение и другие параметры. Однако существенный её минус в том, что она работает только под Windows и не поддерживается Mac OSX.


Для работы с NPointer нужно скачать пакет с официального сайта, распаковать загруженный ZIP-файл, запустить Npointer.exe и выбрать веб-камеру из выпадающего меню.

После запуска программу можно использовать в двух вариантах. Если у вас не встроенная веб-камера, то её можно разместить на мониторе и направить на поверхность стола. Так вы сможете управлять курсором, двигая по столу рукой.

Если ваша веб-камера встроена в монитор, вы сможете управлять курсором, двигая открытой ладонью перед собой. С такой веб-камерой вы также можете контролировать курсор движениями головы. Для этого вам нужно выбрать опцию Head control.


Четыре бегунка в меню Settings
позволяют произвести следующие настройки:

Motion speed - скорость курсора относительно движений руки

Acceleration - ускорение курсора при резких движениях руки

Menu timeout - количество времени бездействия курсора, после которого появится экшен-меню

Movement cut-off - скорость передвижения руки, при которой программа игнорирует действия (настройка полезна в том случае, когда рука удаляется из поля зрения камеры, а курсор при этом должен оставаться на месте)

NPointer также позволяет установить голосовое управление. Для этого вам нужно зайти в меню Voice control settings и записать голосовые команды для каждого отдельного действия (клик правой клавишей мыши, левой клавишей, двойной клик и т. д.)



Такие современные устройства ввода, как клавиатура или мышь, уже давно стали атрибутами нашей повседневной жизни. И надо сказать, что клавиатура и мышь прекрасно справляются со своей работой. То же самое касается и сенсорного управления, повсеместно используемого в различных гаджетах и мобильных компьютерах. Однако тактильный, осязательный метод – это далеко не единственная возможность взаимодействия человека и компьютера. Ведь для общения друг с другом люди могут использовать взгляд, голос или жесты.

Все это может быть применимо и в отношении взаимодействия человека с компьютерами и бытовыми устройствами. Во всяком случае, дизайнеры и инженеры уже давно работают над тем, чтобы предложить пользователям что-то новое, интересное в плане управления компьютером. Многие эксперты полагают, что в будущем человек сможет общаться с компьютерными системами только посредством своих традиционных «средств коммуникации». Пока же реализуются только первые шаги в этом направлении. В этой статье остановимся на самых интересных технологиях.

Технология Kinect. Отслеживание движений

Одна из самых продвинутых технологий в этой области является Kinect от компании Microsoft. Kinect представляет собой аксессуар для приставки Xbox 360, считывающий все движения человека и позволяет ему действовать в дополненной игровой реальности без контроллеров вообще. Нужно отметить, что устройства, отслеживающие положение тела человека, начали разрабатываться уже достаточно давно, однако их проблемой было то, что для отслеживания жестов и движений пользователя последнему нужно было занять эталонную позу. Отчасти эту проблему удалось решить разработчикам Microsoft, которые в конце 2010 года представили публике интерактивный контроллер Kinect, предоставляющий возможность взаимодействовать с консолью без помощи традиционного контроллера в виде джойстика. В данном случае управление осуществляется через устную речь и определенные позы тела.

Как же работает технология Kinect? В устройстве размещаются два сенсора. Один из них является инфракрасным, его предназначение – «прощупывание» окружающего пространства. Второй сенсор помогает преобразовать полученные данные в 3D-проекцию и далее обеспечить отслеживание движений человека внутри нее. Встроенный процессор измеряет по всему полю зрения сенсора расстояния от камеры до сцены. Система «видит» и записывает человека как набор движущихся точек, причем данные считываются каждую десятую долю секунды. В игровом процессе она определяет, где располагаются руки, ноги и голова пользователя, автоматически подбирая для него наиболее подходящий виртуальный скелет. На основе информации о движении тела игрока и подобранного скелета формируется своеобразный 3D персонаж, который участвует в игре.

Конечно, технология отслеживания движений и жестов, а также бесконтактного управления контентом Kinect с самого начала продемонстрировала определенные недостатки. Далеко не всегда система отслеживает действия человека так, как этого бы хотелось разработчикам технологии. Тем не менее, технология Kinect постоянно совершенствуется и находит свое применение уже за пределами игровой индустрии. В частности, с помощью Kinect сегодня можно проводить эффектные мультимедийные презентации, не пользуясь никакими устройствами ввода или контроллерами. Технология способна работать с любыми проекционными системами, плазменными и ЖК-панелями. В данном случае пользователь может управлять любым контентом, не касаясь рукой дисплея, только лишь взмахами руки. В компании Microsoft удовлетворены развитием своей технологии и надеются уже в самом ближайшем будущем использовать Kinect в различных мобильных гаджетах и смартфонах.

Альтернативной Kinect в области управления жестами является технология LeapMotion, которая, по словам ее разработчиков, способна гораздо более точно отслеживать движения пользователя. Устройство для управления жестами называется Leap, его главное предназначение – заменить традиционную мышку или сенсорный дисплей для управления компьютером. Перед устройством образуется мнимый куб со стороной примерно 61 сантиметр, в котором пользователь располагает свои руки для работы. В этом пространстве Leap отслеживает движения и жесты человека с высокой точностью. Устройство распознает все десять пальцев, причем точность их передвижения улавливается до долей миллиметра. Задержки здесь практически сведены к минимуму. Хотя лаги, конечно, случаются, однако само расположение руки в пространстве устройство определяет довольно точно – вплоть до 0,01 миллиметра.

Интересно, что само устройство Leap представляет собой очень скромную, компактную коробочку размером с обычную флешку. К компьютеру Leap подключается посредством кабеля USB. Далее нужно только установить специальное программное обеспечение, которое можно загрузить с официального сайта, и зарегистрировать устройство. Правда, пока доступных и интересных приложений под LeapMotion не так много, поэтому устройство можно рассматривать только как своего рода игрушку для любителей самых передовых технологий. Однако для LeapMotion уже открылась широкая область применения – она может быть реализована в различных мобильных компьютерах и гаджетах. Например, зачем покупать дорогостоящий ноутбук с сенсорным экраном, когда можно просто подключить к своему старенькому мобильному ПК через USB-порт контроллер LeapMotion и получить потрясающие возможности управления.

На сегодняшний день LeapMotion является одной из самых лучших технологий для отслеживания движений и управления компьютером без прикосновений. Она опять-таки постоянно развивается и в последних версиях данной системы захват движений стал еще более реалистичным, плюс были решены разные мелкие проблемы. Причем положительные изменения были достигнуты сугубо программными средствами.

Технология LeapMotion не могла не привлечь внимание производителей мобильных компьютеров. В частности, уже выпущен в продажу ноутбук HP Envy 17 LeapMotion SE со встроенной технологией управления жестами LeapMotion. Помимо обычных устройств ввода, этот ноутбук предлагает пользователю возможность управлять происходящим на экране, просто махнув рукой или пошевелив пальцами. Интегрированный модуль LeapMotion специально разрабатывался для встраивания в мобильные устройства и поэтому получился на семьдесят процентов меньше предшествующей версии. Контроллер размещается под клавиатурой и позволяет с помощью простых жестов и движений руками совершать стандартные операции, например, прокручивание списков, увеличение масштаба фотоизображений и многое другое.

. Управление взглядом

Шведская компания TobiiTechnology в конце 2013 года представила публике свое новое творение – это гаджет EyeMobile, с помощью которого можно работать на Windows-планшетах, используя не жесты, а только взгляд. Устройство основано на действии невидимого инфракрасного излучения. Основное предназначение EyeMobile заключается в том, чтобы помочь взаимодействовать с планшетом тем людям, у кого имеются серьезные проблемы со здоровьем. Речь идет, прежде всего, о больных параличом, людях с травмами в области спинного мозга или заболеваниями двигательных нейронов. Таким людям с трудом удается поднимать руки, чтобы поводить ими по сенсорному дисплею. Впрочем, новинка может понравиться и поклонникам высоких технологий, кто гоняется за покупкой самых инновационных устройств.

Гаджет EyeMobile способен работать с Windows-планшетами, например, с SurfacePro., а также с обычными компьютерами и ноутбуками, на которых установлена полноценная Windows. Он идет в комплекте с подставкой, позволяющей прикрепить планшет к столу и взаимодействовать с мобильным компьютером через USB-порт. При этом устройство располагается в нижней части этой подставки.

Принцип работы EyeMobile заключается в использовании двух камер, отслеживающих движение глаз пользователя. Тем самым, устройство позволяет выполнять стандартные операции только движением глаз. Например, выбор нужного пункта из списка или прокручивание Интернет-страниц. Устройство плавно следует за глазами человека, когда он читает страницу. Данная технология пока имеет определенные минусы, главным из которых остается высокая цена. За EyeMobile придется заплатить более четырех тысяч долларов.

Еще одна инновационная разработка в этой области – контроллер iMotion, который дает возможность управлять компьютерами и телевизорами с интегрированной камерой без прикосновений. Для выполнения простых команд достаточно лишь нескольких жестов. iMotion является универсальным устройством, поддерживающим разнообразные приложения и игры на ПК, мобильные приложения iOS и Android. Обычный телевизор в доме он может превратить в «умный» TV, в котором вместо пульта ДУ будет использоваться удобное жестовое управление.

Технология предусматривает создание виртуального сенсорного дисплея перед человеком и обеспечении функции тактильной обратной связи, чтобы пользователь мог получить физическое ощущение прикосновения к виртуальному объекту в игровом процессе или при работе с приложением. Само устройство выглядит как перчатка, которую просто нужно надеть на кисть. В этой перчатке имеются три ярких светодиода, которые размещаются в виде треугольника. Веб-камера призвана отслеживать их движение. iMotion способен распознавать команды в виде перемещения, вращения руки на дистанции до 5 метров от камеры.

Примечательно, что с самого начала iMotion задумывался исключительно как тренажер для обучения людей, в частности, стрельбе из оружия. Но потом концепция проекта поменялась и теперь это универсальное устройство может использоваться как интересное дополнение к игровой консоли, замена пульта ДУ для телевизора или удобный способ управления компьютером.

The EyeTribeTracker. Устройство управления при помощи глаз

В заключение, стоит упомянуть об инновационном устройстве от датской компании The EyeTrіbe, которое позволяет управлять планшетами и мобильными телефонами только с помощью взгляда. Кстати, эта компания была основана простыми студентами, посещавшими Институт информационных технологий в Копенгагене. Устройство TheEyeTribeTracker основывается на применении инфракрасного излучения, которое проецируется на зрачок человека и позволяет камере отслеживать любые его движения. Помимо этого, здесь используется революционное решение, направленное на предсказывание направление движения глаз пользователя.

Когда пользователь переводит взгляд с одной точки на другую, устройство получает команды на переход к соответствующим деталям пользовательского интерфейса. При этом моргания и подмигивания понимаются устройство как нажатие кнопки мыши. Для того, чтобы пользоваться возможностями устройства, человек должен располагаться от него на расстоянии от 45 до 75 сантиметров.

Есть и другое условие — для корректной работы диагональ планшетного компьютера или смартфона не должна превышать 24 дюйма. Подсоединяется устройство к мобильным гаджетам через USB-порт. С помощью этого девайса и управления взглядом можно просматривать страницы в глобальной сети и работать с приложениями. Датская компания призывает производителей планшетных компьютеров и смартфонов внедрять данную разработку.