Использование Marigold в рабочем процессе ИИ-печати текста в 3D

За последний год предпринимались многочисленные попытки использовать ИИ для создания моделей для 3D-печати на основе простого ввода текста, но с разными результатами. Один из наиболее известных примеров — LumaAI, и вы, возможно, помните этот проект OpenAI в начале этого года.

В этой статье мы рассмотрим другой метод преобразования текста в 3D с помощью искусственного интеллекта, на этот раз с использованием программы под названием «Marigold», которая, согласно ее веб-сайту, «перепрофилирует изображение, основанное на диффузии». генераторы для монокулярной оценки глубины». Потому что создание ИИ-искусства — это одно, а придание ему реальной глубины, необходимой для 3D-печати, — это совсем другое. Но создатели Marigold, похоже, так и сделали.

Что такое бархатцы?

Marigold был разработан исследователями из ETH Zürich, и его функция — генерировать информацию о глубине из 2D-изображения. Созданная на основе платформы Stable Diffusion, Marigold использует синтетические данные для точной настройки, что позволяет эффективно переносить знания в незнакомые данные. Этот подход позволил Marigold превзойти ранее ведущий метод LeRes в этой области.

Наложены исходные данные и информация о глубине бархатцев. (Изображение предоставлено: Marigold) <п>Функциональность модели зависит от точной настройки компонента U-Net установки Stable Diffusion. Этот процесс включает в себя кодирование изображения и глубины в скрытое пространство с использованием оригинального стабильного диффузионного VAE с последующей оптимизацией цели диффузии относительно скрытого кода глубины. Примечательным аспектом является модификация первого уровня U-Net для приема каскадных скрытых кодов, что расширяет возможности оценки глубины.

Во время вывода Мэриголд кодирует входное изображение в скрытый код, который затем объединяется со скрытой глубиной. Эта комбинация обрабатывается через модифицированную, точно настроенную сеть U-Net. После нескольких итераций шумоподавления скрытая глубина декодируется в изображение, а его каналы усредняются для получения окончательной оценки глубины.

<зацикливание видео с автовоспроизведением без звука src="https://packaged-media.redd.it/492gvhfqxe7c1/pb/m2-res_720p.mp4?m=DASHPlaylist.mpd&v=1&e=1703192400&s=a0100b1d58a03b03aa70f7be8d9b855ae984442d#t=0">

<п>Сравнительные исследования показали превосходную производительность Marigold как в помещении, так и на открытом воздухе по сравнению с другими современными аффинно-инвариантными оценщиками глубины. Это особенно примечательно, поскольку Marigold достигает таких результатов без предварительного воздействия на образцы реальной глубины. Для всестороннего понимания методологий и тестов Мэриголд в подробном документе представлена ​​подробная (без каламбура) информация.</стр>

Итак, поскольку Marigold представляет собой решение для преобразования изображения в 3D, это означает, что вы можете использовать изображения, сгенерированные AI, в качестве источника. И это именно то, что сделал один пользователь Redditor, как вы можете видеть ниже.

DallE-to-3D

Используя искусственный интеллект DallE для преобразования текста в изображение, найденный в Bing, пользователь Redditor «fredandlunchbox» ввел запрос на создание изображения пластиковой фоторамки с современными функциями, висящей на стене.</стр>

DallE вывел изображение, которое вы можете увидеть ниже.

Концепт DallE. (Изображение предоставлено: u/fredandlunchbox) <п>Реддитор использовал Marigold для создания карты глубины, прежде чем отрендерить карту глубины в Cinema4D, а затем выполнил дополнительную ручную очистку в Blender и Fusion360. Когда модель была готова, он экспортировал ее в формате STL и распечатал. Весь процесс от текстовой подсказки DallE до окончательного напечатанного объекта занял менее 24 часов, а окончательную напечатанную часть вы можете увидеть на изображении ниже.

Окончательная версия, напечатанная на 3D-принтере. (Изображение предоставлено: u/fredandlunchbox)

The Rdditor отмечает, что этот процесс не является автоматическим, но создатели Marigold недавно объявили об обновлении, которое «позволяет пользователю создавать водонепроницаемый STL-файл, готовый к печати».

<стр>Насколько это водонепроницаемо, еще предстоит выяснить, но, похоже, с этим интересно поэкспериментировать в праздничный сезон.</стр>

Если вы хотите поэкспериментировать с оценкой глубины и функциями 3D-печати Marigold, вы можете перейти к веб-интерфейсу в разделе Hugging Face программы по этой ссылке. </п>