ИИ научили определять активность руки пользователя смартфона по касаниям и свайпам

Исследователи из университетов Аалто и Лейпцига разработали модель, которая помогает оценить физические усилия, затрачиваемые на касания и свайпы экрана смартфона.

Авторы разработки задались вопросом: насколько физически утомительны для кисти руки эти движения? Их модель искусственного интеллекта позволяет моделировать активацию мышц и использовать энергию для определения уровня физической нагрузки при заимодействия со смартфоном.

«Это первый случай, когда кто-либо разработал инструмент, который может помочь дизайнерам и разработчикам быстро оценить, насколько физически утомительным может быть реальный мобильный пользовательский интерфейс», — говорит Антти Оуласвирта, профессор Университета Аалто и Института ELLIS в Финляндии.

Log2Motion — модель искусственного интеллекта, которая преобразует данные с экрана смартфона в имитацию движений человека. Движение этой модели опорно-двигательного аппарата основано на данных предыдущих исследований захвата движений.

В симуляции модель человека, состоящая из цифровых костей и мышц, двигает указательным пальцем, взаимодействуя со смартфоном, лежащим на столе. С помощью программного эмулятора модель может использовать реальные мобильные приложения в режиме реального времени. Она может воспроизводить данные, собранные у пользователей, чтобы показать, что происходило во время взаимодействия.

Затем модель Log2Motion оценивает движение, скорость, точность и усилие этих биомеханических движений.

Модель открывает совершенно новые горизонты для исследований использования смартфонов, а также для дизайна.

«Мы обнаружили, что некоторые жесты сложнее выполнять — в данном случае, свайпы вверх-вниз и вниз-вверх. Небольшие значки и области в углах экрана также требуют дополнительных усилий», — объясняет Оуласвирта.

Использование подобных симуляций на ранних этапах процесса может помочь дизайнерам создавать удобные для пользователя интерфейсы. Они также могут дать представление о потребностях пользователей с тремором, сниженной силой или использующих протезы.

«Модель Log2Motion можно масштабировать для моделирования других сценариев, например, более классического: лёжа на диване, держа телефон в одной руке и скролля большим пальцем», — говорит Уласвирта.

Исследователи надеются, что моделирование движений человека будет использоваться для разработки более эргономичных и приятных для пользователей интерфейсов. В будущем эти симуляции можно будет комбинировать с другими методами ИИ для оптимизации пользовательских интерфейсов в соответствии с потребностями пользователя.

Ранее группа американских и китайских учёных разработала методику PrintListener, которая позволяет обойти сканер отпечатков пальцев. С помощью этой методики возможно посредством анализа звука при свайпе восстановить рисунок папиллярных линий, который составляет отпечаток человеческого пальца.

Исследователи использовали спектральный анализ звуков свайпа, а также учли физиологические и поведенческие особенности пользователей, применили статистический анализ и разработали эвристический поисковый алгоритм.