Платформа работает по принципу, аналогичному большим языковым моделям. LLM предсказывает новый текст исходя из уже имеющегося, а LeRobot предсказывает движения манипулятора робота на основе изображения с камеры — то есть с помощью компьютерного зрения. Все материалы LeRobot доступны на Hugging Face Hub, но начинать работу удобнее с GitHub-репозитория, где даны все необходимые инструкции для новых пользователей.
Платформа LeRobot: доступное образование для каждой роборуки
Изображение создано с помощью нейросети
Платформа LeRobot: доступное образование для каждой роборуки
LeRobot — это PyTorch-платформа с готовыми моделями и датасетами машинного обучения роботизированных манипуляторов. В мае 2024 года LeRobot была представлена компанией Hugging Face, которая занимается популяризацией машинного обучения на своем ресурсе Hugging Face Hub. Команду проекта возглавляет Реми Кеден (Remi Cadene), за плечами которого докторская диссертация и почти 10 лет работы над Tesla Autopilot и Optimus.
Что представляет собой LeRobot, зачем она нужна и как помогает индустрии? Мы изучили вопрос и спросили мнение Олега Зобова — руководителя отдела робототехники производства YADRO.
Изображение создано с помощью нейросети
Из коробки LeRobot предлагает несколько уже натренированных моделей для управления манипуляторами. Наиболее доступной из них считается двойная роборука на основе оригинального дизайна Александра Коха, которая в сумме обойдется примерно в $ 500. Из указанных способов покупки деталей в России наиболее реалистичным выглядит китайский TaoBao.
Система манипуляторов состоит из ведущей и ведомой руки. Источник
На основе этого манипулятора LeRobot подготовили подробное руководство для новичков, включающее все этапы работы с программно-аппаратным комплексом:
- Заказ комплектующих и сборка робота.
- Конфигурирование и калибровка робота.
- Запись и визуализация датасета.
- Обучение робота.
- Эксплуатация робота.
В качестве визуальных сенсоров робот использует одну или несколько камер. Во время записи датасета вы вручную передвигаете ведущую руку, и ведомая будет повторять ваши движения. Затем вы обучаете нейросеть имитировать ваши движения, и в итоге робот взаимодействует с объектами уже автономно.
Для всех основных этапов работы Hugging Face сделали видеоуроки
Приведенный в руководстве манипулятор — самый доступный, но не единственный совместимый с LeRobot. Платформа поддерживает и другие, в том числе более продвинутые среды симуляции: ALOHA, SimXArm, PushT.
Репозиторий LeRobot хорошо структурирован, на главной странице сразу можно узнать, что в каких папках лежит, чтобы сразу включиться в работу. Здесь вы можете собрать все необходимое для работы согласно циклу, описанному выше, — в том числе для визуализации датасетов. Они же, в свою очередь, хранятся на HuggingFace Hub и имеют свой формат, который отдельно описан в GitHub.
Мы приветствуем появление DIY-китов, которые включают все больше передовых методов научной робототехники. Здесь хороший набор должен быть универсальным — иметь достаточный образовательный потенциал, чтобы максимально раскрыть свои возможности. Также важен thought-provoking эффект — набор не должен стеснять творческий подход. LeRobot, как программная часть такого набора, хоть и не подразумевает создание абсолютно произвольного робот, но зато наиболее полно раскрывает современные достижения ИИ в робототехнике.
Важная часть проекта LeRobot — это Discord-сообщество с отдельными тредами по программной и аппаратной составляющей, а также для нетворкинга. На многие сообщения отвечает сам Реми Кеден, так что на помощь точно можно рассчитывать. В конце октября HuggingFace планирует провести хакатон во Франции. Доступно онлайн- и офлайн-участие, для работы желательно иметь один из роботизированных манипуляторов, перечисленных в форме регистрации.
Для офлайн-участников, которые приедут на хакатон без роботов, организаторы подготовили целых 25 комплектов Moss-M1. Еще совсем недавно подобное мероприятие потребовало бы участия гигантов рынка робототехники, приглашения узких специалистов… да и вообще едва ли смогло пройти в таком легком и демократичном формате.
Сегодня и робототехника, и искусственный интеллект стали гораздо доступнее для энтузиастов. На стыке этих индустрий мы получаем машины будущего — автономных роботов, способных выполнять свою работу без участия человека, с учетом меняющихся условий окружающей среды. Проект HuggingFace активно приближает это будущее, обеспечивая всех желающих доступными инструментами для его созидания.
Следующий шаг по демократизации робототехники, на мой взгляд, должен быть сделан в хардверном направлении. Все остальное в отрасли уже накоплено: куча open source ПО, включая симуляторы, софт для управления роботами, нейросети. «Железо» же дешевле не становится. Здесь могут помочь большие концерны. Хотелось бы, чтобы за 5−10 тысяч долларов каждый желающий мог приобрести гуманоидного робота с вычислителем, пригодным для искусственного интеллекта и прочего управляющего ПО с достаточной для работы частотой.
Будь первым, кто оставит комментарий