Роботы распознают предметы благодаря взгляду и прикосновениям

Исследователи из Лаборатории искусственного интеллекта МТИ (CSAIL) оснастили роботизированную руку KUKA тактильным датчиком GelSight — таким образом, искусственный интеллект смог изучить связь между визуальной и тактильной информацией, и объединить их.

Использованный тактильный датчик GelSight является электронной копией кончика человеческого пальца, в котором для создания трехмерной карты поверхности используется камера и чувствительная резиновая пленка.

В новом проекте датчик был установлен в робота KUKA, и объединен с искусственным интеллектом — таким образом роботизированная рука научилась на глаз определять рельефность предметов, и вслепую распознавать их форму. Для обучения системы использовался набор из 12 000 видеороликов с 200 объектами, такими как ткани, инструменты и бытовые предметы.

На данный момент робот способен выполнять работу только в контролируемой среде, и только с заранее известными ему предметами. Разработчики системы хотят расширить его возможности, дав искусственному интеллекту больше данных для изучения.

Роботы постоянно совершенствуются, и на данный момент даже умеют работать в команде.