Сбер создал первую мультимодальную нейросеть ruDALL-E

Сбер создал первую в мире нейронную сеть ruDALL-E, которая способна создавать изображения на основе текстового описания на русском языке. Использовать ее можно для создания вариантов дизайна интерьера, стоковых изображений или векторных иллюстраций, материалов для рекламы, копирайтинга, архитектурного и промышленного дизайна. Попробовать ruDALL-E можно уже на его сайте

Нейросеть одновременно обучается на двух видах данных — картинках и текстах, и позволяет создавать неограниченное число новых изображений по заданному описанию. Есть два варианта модели:

  • ruDALL-E XL, содержащая 1,3 миллиарда параметров;
  • ruDALL-E 12B с 12 миллиардами параметров.

Моделью ruDALL-E XL можно воспользоваться бесплатно, загрузив её с сервиса Github. Обе модели также вскоре будут доступны на платформе ML Space в хабе предобученных моделей и датасетов DataHub от SberCloud.

Создание изображений при помощи ruDALL-E происходит в три этапа: сначала одна нейросеть принимает текст на вход и генерирует заданное число картинок, затем следующая выбирает, какие из них наиболее удачны и максимально соответствуют описанию, а третья увеличивает их в размере без потери качества. Таким образом можно получить неограниченное количество новых изображений, подходящих под указанные характеристики.

Архитектура модели DALL-E для английского языка была впервые представлена OpenAI в 2021 году, однако эта модель так и не была полностью выложена в открытый доступ. На основе публикации OpenAI команды SberDevices и Sber AI при содействии SberCloud воспроизвели код и запустили обучение нейросети на платформе ML Space на базе суперкомпьютера Кристофари, получив аналогичный результат для русского языка. В результате получилась самая большая модель такого рода в мире, работающая с русским языком: обучение заняло 23 тысячи GPU-часов на массиве данных из 120 миллионов пар текст-изображение. Проект по обучению ruDALL-E стал самым большим нейросетевым вычислительным проектом в России и СНГ.

SberDevices — компания экосистемы Сбер, центр экспертизы по решениям на основе искусственного интеллекта в таких областях, как речевые технологии, технологии понимания естественного языка, лицевая и голосовая биометрия. Компания также фокусируется на создании умных устройств для конечных потребителей и корпоративных клиентов. SberDevices учреждена в мае 2019 года в качестве департамента блока «Технологии» Сбербанка.

Axiomtek представил безвентиляторный ПК AIE900-XNX с искусст…
Axiomtek — всемирно известный лидер, неустанно занимающийся исследованиями, разработками и производством …
Anker представила высокоскоростной 3D-принтер AnkerMake 5M…
Anker, компания, наиболее известная своими зарядными устройствами, начинает заниматься 3D-печатью. Компан…
NVIDIA представила коммутатор следующего поколения ConnectX-…
NVIDIA объявила о нескольких конфигурациях SKU Connect X-7, в том числе форм-факторе PCIe, NIC 3.0 и iC. …
В Linux 5.19 добавлена ​​поддержка графического драйвера Int…
Недавно ядро ​​Linux 5.19 получило дополнение к различной поддержке операционной системы с открытым исход…
GIGABYTE представит игровые инновации на выставке COMPUTEX 2…
Компания GIGABYTE TECHNOLOGY, ведущий производитель материнских плат, видеокарт и аппаратных устройств, с…
Суперкомпьютер ORNL Frontier официально стал первой экзафлоп…
Спустя много лет суперкомпьютерные гонки преодолели различные препятствия начиная MegaFlop, GigaFlop, Ter…
CyberLink запускает PowerDVD 22…
Корпорация CyberLink объявила сегодня о выпуске PowerDVD 22, последней версии своего отмеченного наградам…
Minisforum представила новый мини-ПК HX90G…
Minisforum представил свой мини-ПК HX90G - который оснащен с первым в мире дискретным графическим процес…
МегаОбзор
ЭЛ № ФС 77 - 68301. Выходные данные СМИМегаОбзор
Яндекс.Метрика
2006-2022
© MegaObzor