Роботы, которые учатся

Записи лекций и вебинаров из цикла лекций Robot Learning профессора Джитендры Малика из Калифорнийского университета в Беркли были опубликованы в виде плейлиста на YouTube.

Чтобы понять концепцию этих лекций, приведем несколько цитат:

«Самоуправляемые автомобили до сих пор не являются продуктом - тем не менее 16-летний подросток может научиться водить машину менее чем за 20 часов».

«Сравнительно легко заставить компьютеры демонстрировать показатели взрослого человека в тестах на интеллект или при игре в шашки, и трудно или невозможно привить им навыки годовалого ребенка, когда речь идет о восприятии и мобильности».

В этом и заключается магия человеческого разума: робот не может делать то, что может делать ребенок. Но почему так происходит?

Лектор считает, что в основном это связано с доступностью и типом оцифрованных данных, найденных в Интернете и используемых для обучения моделей машинного обучения:

У нас есть тонны текстовых данных - книги, Википедия, Reddit, код на Github и т. д. и т. п. - около триллиона слов, которые мы можем использовать для моделей типа GPT. Для обучения роботов нам понадобятся данные о моем внутреннем состоянии - то, что я воспринимаю, мои мозговые активации, мои мышечные команды - очень личные вещи - и затем передать их роботу. Не так-то просто. Так что же мы можем сделать?

Цель лекции - рассмотреть примеры использования машинного обучения в робототехнике и научить создавать машины, способные имитировать возможности человека и других животных в управлении двигателем.

Моторный контроль определяется как связь между восприятием и действием в физическом мире. Это рассматривается с разных и более тонких точек зрения на мобильность:

• ноги вместо колес
• многопалые руки вместо параллельных челюстных захватов
• богатое визуальное и тактильное восприятие по сравнению с минимальными ощущениями
• гуманоидные роботы в доме вместо специализированных роботов на производстве.

Концептуально это вращается вокруг:

• основы биологического управления двигателями для вдохновения
• парадигмы приобретения двигательных навыков роботами
• конкретные примеры локомоции, навигации и манипулирования

и включает в себя следующие лекции:

Лекция 1А-Введение
Лекция 1Б-Биомеханика ходьбы и бега
Лекция 2А - Механизмы роботов - кинематика и динамика
Лекция 2В - Человеческая рука и ловкое манипулирование предметами
Лекция 3A-Руки роботов
Лекция 3B-Проприоцепция и тактильное восприятие
Лекция 4A-Видение для действий
Лекция 4B-Развитие моторного контроля
Лекция 5A-Динамика, управление и планирование движения роботов
Лекция 5В - Перспективы вычислительной нейронауки в области прогнозирования и управления
Лекция 6AB - Обучение с подкреплением
Лекция 7AB-Клонирование поведения
Лекция 8AB-Визуальное подражание
Лекция 9AB-Контрольные исследования в области локомоции
Лекция 10АБ - Исследования навигации
Лекция 11AB - Конкретные исследования ловких манипуляций
Лекция 12AB-Долгосрочное планирование и роль языка

Цикл лекций сводится к попытке составить карту когнитивных процессов и нейромеханики, стоящих за человеческой локомоцией. Сюда входят такие темы, как биомеханика движения, анатомия руки, роль зрения и движения глаз, воплощенное познание, ловкость роботов, кинематика и динамика, системы координат, понимание движений тела и т.д.

Обратите внимание, что это курс для выпускников с большим количеством математики и требует предварительных знаний на уровне Deep Learning (Bishop, Springer) и Reinforcement Learning (Sutton & Barto, MIT Press).

Лекции доступны в виде плейлиста на Youtube, их продолжительность составляет от 45 до 90 минут каждая, а материалы для чтения можно найти в репозитории на Github. Ссылки ниже.

В заключение хочу сказать, что если вы действительно занимаетесь робототехникой или изучаете этот вопрос, или вы просто хотите понять механику того, как люди учатся и двигаются, и как это отражается на мире роботов, то это место, где вы должны быть.