Чем различаются ИИ-генераторы изображений: диффузия и всё остальное, простыми словами

Что на самом деле делает генератор изображений

ИИ-генератор изображений превращает текстовое описание в картинку. За кулисами он выучил — на очень большой коллекции изображений с текстовыми подписями — статистические связи между словами и визуальными паттернами. Когда вы даёте ему промпт, он использует эти выученные связи, чтобы построить новое изображение, соответствующее описанию. Он не достаёт и не склеивает существующие картинки, а генерирует новые пиксели, опираясь на то, чему научился.

Почему диффузия стала стандартом

Сегодня доминирует техника, которую называют диффузией. Идея понятнее, чем кажется по названию. Во время обучения система берёт настоящие изображения и постепенно добавляет случайный шум, пока они не превратятся в помехи, на каждом шаге обучаясь обращать это разрушение вспять. Чтобы сгенерировать новое изображение, она начинает с чистого шума и раз за разом убирает его понемногу, на каждом шаге подталкивая результат к тому, что соответствует вашему промпту. После множества мелких шагов шумоподавления из того, что начиналось как случайность, проступает связное изображение. Такое пошаговое уточнение, как оказалось, надёжно даёт качественные и разнообразные изображения — поэтому диффузия и вытеснила более ранние подходы в большинстве инструментов.

Коротко о том, что было раньше

Предыдущие поколения генеративного ИИ для изображений часто использовали другую схему: две сети соревновались — одна генерировала изображения, другая пыталась отличить настоящее от поддельного, — заставляя друг друга совершенствоваться. Этот подход давал впечатляющие результаты, но был печально известен сложностью обучения и мог вести себя нестабильно. Более постепенный и предсказуемый процесс диффузии оказалось проще масштабировать и контролировать — это и есть главная причина, по которой о ней сейчас так часто говорят. Для пользователя лежащий в основе метод важен меньше, чем результат, но он объясняет, почему сегодняшние инструменты ощущаются более способными и стабильными, чем те, что были несколько лет назад.

Почему инструменты на схожих идеях всё равно различаются

Даже когда инструменты используют одну и ту же общую технику, ведут они себя по-разному, и причины вполне практические. Изображения и тексты, на которых обучалась модель, определяют, в чём она хороша: одни инструменты сильны в фотореализме, другие — в иллюстрации или в определённых стилях. Различаются и то, насколько точно инструмент следует вашему промпту, как он справляется с текстом внутри изображения, какая у него эстетика по умолчанию и сколько контроля над композицией он вам даёт. Эти различия идут от решений при обучении и настройки, а не от базового метода, поэтому единственный способ понять, что вам подходит, — прогнать одни и те же промпты по нескольким кандидатам.

Настройки, которые формируют результат

Помимо самого промпта многие инструменты дают настройки, в которых стоит разобраться: возможность задать размеры изображения, направить результат с помощью референсного изображения, дорисовать или отредактировать часть существующего изображения (inpainting), а также разменять скорость на качество, меняя число шагов уточнения. Освоение этих настроек обычно улучшает результат сильнее, чем смена инструмента, потому что большая часть разницы между посредственным и сильным результатом идёт от того, как вы направляете генератор, а не только от того, каким именно пользуетесь.

Чего ждать на практике

Современные генераторы хорошо создают привлекательные и разнообразные изображения по описанию, но с некоторыми вещами по-прежнему справляются плохо: точный текст, точное количество объектов, одинаковые персонажи на разных изображениях и мелкие детали вроде рук могут получаться ненадёжно. Знание этих ограничений помогает выбирать задачи, где технология сильна, и не разочаровываться там, где это не так. Сравнивая инструменты, смотрите дальше вылизанных витринных примеров и проверяйте их на том конкретном типе картинок, который вам действительно нужен, — именно там видны настоящие различия.