Робот-поводырь, удостоенный награды

Познакомьтесь с IC4U, роботом-поводырем для слабовидящих людей, и его создательницей Селин Аларой Орнек, которая начала создавать роботов в 10 лет. Название последнего робота Орнека на английском языке звучит как «I See For You» («Я вижу тебя»), и это кажется идеальным способом использовать робототехнику и искусственный интеллект в благих целях.

Вдохновение на создание робота-поводыря пришло после того, как мы увидели настоящую собаку-поводыря с ее слабовидящим хозяином и узнали, как собака помогает своему владельцу. Пережив потерю собаки, которая была ее лучшим другом, когда ей было 8 лет, Орнек была обеспокоена тем, как печально будет чувствовать себя слепой человек, если его собака умрет - не только потерять друга, но и снова лишиться глаз.

Решив создать собаку-робота, она связалась с ассоциациями собак-поводырей в США и Великобритании, которые предоставили ей информацию о том, как собаки-поводыри тренируются, ведут себя и как они взаимодействуют со слабовидящими людьми. Она обнаружила одну важную особенность: чтобы справляться с опасными ситуациями, собака-поводырь должна научиться не подчиняться командам слепого человека, а стать «разумно непослушной» и действовать соответственно и автономно.

Первую версию IC4U Орнек собрал в 2018 году, используя в качестве микропроцессора Arduino Uno. Помимо того, что IC4U стал финалистом в категории инноваций на конкурсе European Youth Awards 2018, он также победил в категории аппаратного обеспечения на конкурсе Coderdojo Coolest Projects, который проходил в Дублине, Ирландия.

Для второй версии IC4U Орнек использовала Rasppberry Pi 3B+ и установила Google AIY Voice Kit, который дал возможность слабовидящему человеку отдавать голосовые команды непосредственно роботу, а не через мобильное приложение. Она также установила сервомоторы и добавила коленные суставы, чтобы IC4U мог садиться, вставать и ложиться по команде. В этой версии впервые были использованы искусственный интеллект и машинное обучение для обнаружения объектов. Он обрабатывал изображения с помощью камеры Raspberry Pi, TensorFlow, библиотеки обработки изображений OpenCV и набора данных «MS COCO». iC4U v2 использовал платформу Dialogflow для общения со слабовидящим человеком и другими людьми, а также Google Maps, чтобы iC4U мог указывать направление.

Переходя к третьей версии, Орнек задумалась о добавлении лидара, чтобы IC4U мог отображать окружающую обстановку в 3D. Однако профессор Крис Верхувен (Chris Verhoeven) из университета TU Delft посоветовал ей, что это будет излишним. Вместо этого, следуя его совету, она добавила звуковые датчики, чтобы, услышав звук, IC4U v3 повернул голову и посмотрел в ту сторону, где находится объект, и широкоугольную 3D-камеру с искусственным интеллектом ZED 2i, чтобы обнаружить объект под более широким углом и определить его размер и скорость более точно и разумно. Для питания камеры ZED 2i и обработки высококачественных изображений она использовала NVIDIA Jetson Nano.

Орнек была настолько впечатлена работой камеры ZED 2i, что не захотела ограничивать ее использование простой задачей распознавания объектов и начала думать о том, как IC4U может помочь человеку с ослабленным зрением. В результате IC4U v3 может распознавать и сообщать стоимость банкнот. Кроме того, Орнек использовал Jetson Nano, чтобы добавить в IC4U функцию покупок с помощью веб-скраппинга из общедоступных ресурсов, намереваясь в будущем расширить ее за счет сотрудничества с интернет-магазинами.

Орнек выиграла награду Young Maker Award в конкурсе Amazing Maker Awards 2022 с проектом IC4U и получила приз за 3-е место в размере 2000 долларов в конкурсе OpenCV AI Competition 2023. Ее последняя награда - Karen McKellin International Leader of Tomorrow Award, стипендия, которая позволит ей учиться на бакалавра в области компьютерных наук в Университете Британской Колумбии.

В блоге Nvidia сообщается об истории Орнека:

В перспективе Орнек надеется использовать IC4U в «умных» городах и помещениях, продолжая изучать возможности применения ИИ с помощью платформ нового поколения, таких как Jetson Orin.

Nvidia предлагает студентам и преподавателям, имеющим действительный адрес электронной почты аккредитованного университета или учебного заведения, подписаться на покупку Jetson Orin Nano или Jetson AGX Orin Developer Kit со скидкой.