Создайте интерактивную игру с использованием ИИ

В этом упражнении вы научитесь программировать интерактивную игру, реагирующую на жесты рук, и примените эти знания для разработки собственной интерактивной игры. Затем вы примете участие в проектировании, чтобы создать уникальные игровые элементы, изучить потенциал ИИ в играх и получить более глубокое понимание того, как работает ИИ. Приготовьтесь открыть для себя удивительные возможности искусственного интеллекта!

Обнаружение рук — это процесс, который компьютер использует для идентификации руки по изображению. Это важно в различных областях, таких как робототехника, компьютерное зрение и взаимодействие человека с компьютером. Точные модели обнаружения рук необходимы для того, чтобы машины могли эффективно взаимодействовать с людьми. С появлением методов обучения модели обнаружения рук стали более надежными и точными, что делает их пригодными для реальных приложений.

Например, модели обнаружения рук можно использовать для систем распознавания жестов, таких как SignAll, которые используют компьютерное зрение для распознавания и перевода американского языка жестов в текст или речь. Его модели машинного обучения обучены распознавать различные жесты языка жестов, что может помочь глухим или слабослышащим людям общаться с другими людьми, не знающими языка жестов.

Основная технология SignAll использует визуальную информацию, такую ​​как изображения и видео, и преобразует эту информацию в данные, которые могут быть обработаны компьютером.

Язык жестов — это выразительный визуальный язык, поэтому традиционным технологиям может быть сложно его интерпретировать. Благодаря SignAll камера телефона или компьютера используется для захвата, анализа и перевода основных элементов языка жестов.

Все эти элементы каталогизируются и интерпретируются компьютерным программным обеспечением, что позволяет ему понимать язык жестов пользователя. Когда приложение собирает эту визуальную информацию, оно сравнивает ее с базой данных тысяч потенциальных жестов языка жестов. Он использует машинное обучение, чтобы сузить возможности и предсказать наиболее вероятные варианты. Приложение представляет эти варианты пользователю, и он выбирает вариант, соответствующий тому, что он пытался сказать.

Машинное обучение может стать мощным инструментом для решения проблем общения глухих и слабослышащих людей. Глухие или слабослышащие люди часто сталкиваются с барьерами в общении при подписании контрактов с членами сообщества слышащих. ИИ может помочь преодолеть эти барьеры, разработав технологические решения, которые позволят глухим и слабослышащим людям спонтанно и эффективно общаться с другими людьми в любое время и в любом месте.

Теперь, когда вы знаете, как работает SignAll, подумайте над этими вопросами:

Если бы вы могли продвинуть эту технологию еще дальше, как бы это выглядело? Давай выясним!

В этом упражнении вы воспользуетесь идеями приложения SignAll и упростите их, чтобы создать интерактивную игру, которая распознает движения рук и реагирует на них. Вы будете перемещать руку по экрану, пытаясь коснуться случайно появляющихся объектов. Камера вашего компьютера будет следить за движением вашей руки, а искусственный интеллект будет отслеживать и понимать ваши движения.

Возможно, вы захотите поработать над этим проектом с партнером или группой, чтобы у вас были друзья, которые помогали бы обсуждать идеи, предлагать отзывы и отлаживать ваш код. Для выполнения этого действия вам не нужны какие-либо предварительные знания в области искусственного интеллекта или машинного обучения.

В этом проекте вы будете использовать программное обеспечение PoseBlocks от MIT. Этот бесплатный набор инструментов использует блоки перетаскивания для создания кода, очень похожего на популярный язык кодирования Scratch. Разница между ними в том, что в PoseBlocks есть специальные блоки для использования встроенного искусственного интеллекта, отслеживающего тело.

Чтобы создать свой код, вы щелкнете по спрайту среза и перетащите блоки в рабочую область. Рабочее пространство PoseBlock состоит из нескольких разделов. (Если вы знакомы со Scratch, это покажется вам очень знакомым.)

В области слева есть три вкладки с надписью «Код», «Костюмы» и «Звуки», каждая из которых включает в себя библиотеку предметов, которые вы можете использовать. Все блоки кода находятся в библиотеке кода, где они сгруппированы по функциям и имеют цветовую маркировку. Библиотека костюмов позволяет добавлять, изменять или рисовать спрайты. «Спрайт» — это имя объекта или персонажа в PoseBlock. Каждому спрайту может быть присвоен код, позволяющий что-то сделать в вашей программе. Когда спрайт имеет несколько форм, мы называем их костюмами. Например, спрайт элементов имеет девять костюмов. Нажмите на вкладку «Костюмы», чтобы их увидеть. (Вы можете использовать любой спрайт, который вам нравится. Вы даже можете нарисовать свой собственный.)