Как сделать одинаковое лицо на всех фото: обучение LoRA на RunPod

Зачем нужна LoRA

IP-Adapter держит похожесть «примерно», а LoRA — это дообученный слой модели, который знает твоего персонажа как отдельное «слово». После тренировки сотни выходных кадров выглядят как один и тот же человек — фундамент доверия аудитории и требование верификации на фан-платформах.

Датасет: 15–30 изображений

Качество датасета важнее параметров тренировки:

• 15–30 отобранных кадров одного лица (сгенерированных через hero image + IP-Adapter).
• Разнообразие: ракурсы (фас, три четверти, профиль), выражения, свет, 2–3 причёски-варианта, если планируешь их менять.
• Единообразие черт: выбрасывай кадры, где «поплыли» глаза, овал лица, родинки.
• Кропы: преимущественно лицо и по плечи; несколько в полный рост.
• Подписи (captions): краткие, без описания внешности — внешность должна «впитаться» в токен персонажа, а не в текст.

Откуда взять датасет, если персонажа ещё нет

Классическая проблема курицы и яйца: LoRA нужна для одинакового лица, но датасет требует 15–30 кадров с одинаковым лицом. Рабочая связка:

1. Генеришь hero image — один эталонный портрет (терпеливо, из десятков вариантов);
2. Через IP-Adapter с высоким весом (0.7–0.9) плодишь вариации: другие ракурсы, свет, выражения — лицо держится «примерно», этого хватает;
3. Жёстко отбираешь: из 100–150 генераций в датасет идут 15–30 лучших — где лицо максимально совпадает с hero image;
4. При необходимости точечно правишь глаза/родинки инпейнтингом до отбора.

Второй путь — FaceSwap хорошего лица на разнообразные позы-референсы — быстрее собирает разнообразие ракурсов, но требует аккуратности с качеством свапа: артефакты «впитаются» в LoRA навсегда.

Тренировка на RunPod

1. Возьми готовый темплейт LoRA-тренировки (kohya_ss / ai-toolkit для Flux).
2. GPU: RTX 4090 достаточно; полный цикл — около 2 часов, то есть ~$1.5–2.
3. Базовые параметры для Flux LoRA: rank 16–32, learning rate ~1e-4, 1500–3000 шагов, разрешение 1024.
4. Сохраняй чекпоинты каждые 500 шагов и сравнивай: недотрен — лицо «плавает», перетрен — артефакты и пластик.

Пошаговая механика самой аренды (под, volume, шаблоны, чтобы не платить за простой) — в статье «Создание персонажа в ComfyUI»; калькулятор всех расходов — в «каталоге инструментов».

Проверка качества

Тест-матрица после тренировки:

• 10 генераций с разными локациями/аутфитами — лицо должно быть идентичным.
• Дальний план + Face Detailer — проверка, что LoRA не ломает мелкие черты.
• Сравнение бок о бок с hero image.

Если похожесть ниже ~90% визуально — пересобирай датасет (чаще всего проблема там).

Использование

• Вес LoRA в воркфлоу: 0.8–1.0 для портретов, 0.6–0.8 для сложных сцен.
• Комбинация LoRA (персонаж) + identity prompt + Face Detailer = промышленная консистентность.
• Файл LoRA (~100–300 МБ) — твой главный актив. Храни в двух местах: это и есть «модель».

Типичные ошибки

1. Датасет из разных «людей» (недостаточно жёсткий отбор) — LoRA усредняет лицо.
2. Тренировка на кадрах с водяными знаками или текстом.
3. Слишком много шагов «для надёжности» — перетрен и пластиковая кожа.
4. Отсутствие бэкапа LoRA и датасета при удалении пода.
5. Тренировка «на живом человеке»: датасет из фото реального лица — прямая дорога к бану платформ и юридическим проблемам (см. «Закон и AI-контент»). Персонаж должен быть синтетическим с нуля.

LoRA v2: апгрейд через месяц работы

Первая LoRA почти никогда не финальная. Через 3–4 недели генераций у тебя накопятся сотни опубликованных кадров — из них собирается датасет второй версии: уже с реальным разнообразием локаций, аутфитов и ракурсов, которого не было в стартовых 20 картинках. LoRA v2 тренируется по той же схеме и обычно резко снижает процент брака на сложных сценах. Это стандартный цикл ниши: персонаж «взрослеет» вместе со своим датасетом.

Дальше: «Консистентность персонажа: продвинутые приёмы».