Робот-повар учится готовить по видео: революция ИИ в кулинарии и здоровом питании

Будущее здорового питания: салат от шеф-робота

Представьте, что после тяжелого рабочего дня вас дома ждет свежий, идеально сбалансированный салат, приготовленный... вашим личным роботом-поваром. Это будущее гораздо ближе, чем кажется. Новое исследование Кембриджского университета, опубликованное в авторитетном научном журнале IEEE Access (издание Института инженеров электротехники и электроники), демонстрирует, как технологии искусственного интеллекта (ИИ) и компьютерного зрения позволяют роботизированному помощнику распознавать, анализировать и успешно воспроизводить новые кулинарные рецепты, просто наблюдая за действиями человека на видео.

Интеграция робототехники в кулинарную сферу способна произвести революцию в нашем отношении к еде. «Роботы-повара — это многообещающая технология, которая при повсеместном внедрении может принести значительную пользу для здоровья и принести ощутимый экономический эффект», — отмечает ведущий автор исследования Гжегож Сохацки. Вместе со своими коллегами по Кембриджскому университету — Арсеном Абдулали, Наргес Хадем Хоссейни и профессором робототехники Фумией Иидой, возглавляющим Лабораторию биоинспирированных систем (Bio-Inspired Robotics Laboratory), — он работает над тем, чтобы сделать автоматизированную кухню доступной реальностью.

Сложности обучения роботов: почему готовить еду так трудно?

Для человека приготовление салата кажется тривиальной задачей. Мы интуитивно понимаем, как держать нож, с какой силой сжимать мягкий банан или твердую морковь, и как смешивать ингредиенты. Однако для машины этот процесс представляет собой комплекс сложнейших вычислений и сенсорных задач. Создание полноценного робота-повара требует от инженеров объединения множества дисциплин робототехники:

• Манипуляция объектами: способность аккуратно захватывать, удерживать, резать и перемещать продукты различной текстуры и формы без их повреждения.
• Сенсорика и обратная связь: использование датчиков давления и тактильного отклика для контроля прилагаемой силы.
• Принятие решений в реальном времени: планирование последовательности действий и быстрая адаптация к изменяющимся условиям среды (например, если ингредиент покатился по столу).
• Восприятие (перцепция): распознавание объектов, оценка их пространственного положения и понимание контекста происходящего.

Ключом к решению этой проблемы стало обучение робота методом наблюдения — так же, как учатся дети или начинающие повара, следя за движениями мастеров.

Технологическое ядро: как ИИ «видит» и понимает человеческие жесты

Чтобы робот-повар мог учиться по видео, исследователям требовалось создать алгоритм ИИ, способный мгновенно идентифицировать как ингредиенты, так и действия, совершаемые человеческими руками. Для этого кембриджская команда объединила две передовые технологии компьютерного зрения: OpenPose и YOLO.

Что такое OpenPose?

OpenPose — это первая в мире система обнаружения ключевых точек человеческого тела, лица, кистей рук и стоп на изображениях и видео в режиме реального времени. Разработанная исследователями из Университета Карнеги — Меллона, эта глубокая нейросеть способна мгновенно строить цифровой «скелет» человека. В контексте кулинарного эксперимента OpenPose отслеживает движения рук повара, фиксируя изгибы пальцев, траекторию движения запястий и их пространственное отношение к кухонной утвари и продуктам.

Что такое YOLO (You Only Look Once)?

Для распознавания продуктов питания ученые использовали модель YOLO (You Only Look Once — «Ты смотришь только один раз»). Это высокоэффективная архитектура искусственных нейронных сетей, предназначенная для обнаружения и классификации объектов на изображениях в реальном времени. В отличие от традиционных алгоритмов, которые сканируют изображение многократно с помощью скользящего окна, YOLO обрабатывает весь кадр целиком за один проход нейросети. Это делает ее невероятно быстрой.

Базовая версия YOLO, впервые представленная около восьми лет назад как программное обеспечение с открытым исходным кодом, способна обнаруживать объекты со скоростью до 45 кадров в секунду, что значительно превосходит скорость восприятия человеческого глаза. Благодаря этому робот мгновенно понимает, где на столе находится яблоко, где нож, а где миска.

«Использование готовых нейронных сетей для компьютерного зрения позволяет нам не изобретать велосипед, а фокусироваться на обучении робота пониманию причинно-следственных связей между действиями человека и изменением состояния продуктов» — отмечают исследователи.

Эксперимент с салатами: от теории к практике

Для проведения этого экспериментального исследования (так называемого proof-of-concept — доказательства концепции) ученые решили сосредоточиться на приготовлении свежих салатов. Выбор пал на салаты по нескольким причинам. Во-первых, свежие овощи и фрукты легко распознаются алгоритмами YOLO благодаря их характерной форме и цвету. Во-вторых, процесс приготовления салатов не требует сложной термической обработки, что упрощает первоначальную автоматизацию процессов на кухне и напрямую связано с концепцией здорового, осознанного питания.

В лаборатории Кембриджского университета были записаны видеоролики, на которых люди готовили восемь различных рецептов салатов, состоящих из пяти базовых ингредиентов:

• Апельсин
• Банан
• Брокколи
• Морковь
• Яблоко

Робот-повар внимательно смотрел эти видео через свою цифровую камеру. ИИ анализировал каждый кадр видеозаписи, вычисляя пространственную корреляцию между правой рукой человека и объектами на столе. Если рука долгое время находилась в непосредственной близости от яблока, а затем перемещалась к разделочной доске, алгоритм фиксировал действие «взять яблоко» и «положить на доску».

«Высокая степень корреляции между координатами руки и объекта является прямым свидетельством длительного взаимодействия с предметом, что, в свою очередь, указывает на выполнение определенного технологического действия», — объясняют ученые.

Математика кулинарии: Скрытые марковские модели

Однако видеозаписи из реальной жизни полны визуального шума: повар может случайно заслонить продукт телом, свет может упасть неудачно, или алгоритм YOLO может на долю секунды перепутать круглый апельсин с яблоком. Чтобы отфильтровать подобные ошибки распознавания (ложноположительные и ложноотрицательные сигналы), исследователи применили мощный статистический инструмент — Скрытые марковские модели (СММ, или Hidden Markov Models — HMM).

Названная в честь выдающегося русского математика Андрея Андреевича Маркова (1856–1922), марковская модель представляет собой стохастический (случайный) метод, используемый для моделирования систем, меняющихся случайным образом. Главное свойство марковских процессов заключается в том, что будущее состояние системы зависит исключительно от ее текущего состояния, но не от ее предыстории.

В Скрытых марковских моделях параметры, определяющие состояние системы, остаются скрытыми (недоступными для прямого наблюдения), но мы можем наблюдать другие переменные, которые напрямую зависят от скрытых состояний. СММ оперирует двумя типами вероятностей:

• Вероятность перехода (transition probability): вероятность перехода системы из одного скрытого состояния в другое (например, от действия «нарезка» к действию «смешивание»).
• Вероятность эмиссии (emission probability): вероятность того, что при определенном скрытом состоянии мы получим конкретное наблюдаемое проявление (например, если скрытое состояние — «нарезка моркови», то наблюдаемое проявление — это быстрая смена координат ножа около оранжевого объекта).

Благодаря Скрытым марковским моделям робот-повар смог успешно реконструировать логическую последовательность рецепта, игнорируя случайные помехи на видео.

Впечатляющие результаты и новые горизонты

Результаты исследования превзошли ожидания ученых. Робот-повар просмотрел 16 демонстрационных видеороликов. Применяя разработанные алгоритмы, он:

• Правильно распознал уже известные ему рецепты в 93% случаев демонстраций.
• Успешно идентифицировал новые, ранее не знакомые ему рецепты салатов и самостоятельно занес их в свою базу данных.
• Смог определить тонкие различия в пропорциях ингредиентов и вариациях нарезки.

«Наше исследование доказывает, что любительские кулинарные видеоролики и демонстрации являются жизнеспособным, богатым и невероятно масштабным источником данных для программирования роботов-поваров. В перспективе мы сможем масштабировать этот подход, используя миллионы общедоступных видео рецептов на таких платформах, как YouTube», — делятся планами автоники проекта.

Значение для повседневной жизни и физического благополучия

Развитие этой технологии имеет колоссальное значение для популяризации здорового образа жизни и правильного питания. Часто люди отказываются от приготовления свежих и полезных блюд (таких как сложные овощные салаты, смузи или супы-пюре) в пользу быстрой и вредной ультра-обработанной пищи просто из-за нехватки времени и сил на рутинную подготовку ингредиентов: мытье, чистку, нарезку.

Роботы-повара будущего возьмут эту монотонную работу на себя. Они обеспечат:

• Точное соблюдение КБЖУ (калорий, белков, жиров и углеводов) в соответствии с персональными диетологическими рекомендациями пользователя.
• Идеальную гигиену процесса приготовления пищи.
• Экономию пищевых продуктов благодаря сверхточной нарезке и оптимальному расходу ингредиентов.
• Поддержку пожилых людей и лиц с ограниченными возможностями здоровья, позволяя им питаться качественной свежеприготовленной домашней едой каждый день.

Кембриджский эксперимент заложил прочный фундамент для перехода домашних роботов из категории дорогой и бесполезной экзотики в категорию незаменимых помощников, способствующих нашему ежедневному физическому благополучию.