Перейти к основному содержимому

Генеративные медиа: ИИ для изображений, аудио и видео

Начальный

Большая часть AILmanac посвящена ИИ, который пишет и рассуждает — текстовым моделям вроде Claude. Но есть целая отдельная ветвь ИИ, которая создаёт медиа: картинки, видео, голоса и музыку из промпта. Эта страница — провайдер-нейтральная карта этого ландшафта: архетипы, заметные инструменты (существование каждого проверено), чем они отличаются от текстовых LLM, какие навыки переносятся и какие правила прав и этики нельзя пропустить.

What you'll learn
  • Знать главные архетипы генеративных медиа — изображение, видео, голос/музыка, речь-в-текст — и реальный инструмент в каждом
  • Понимать, чем медиа-модели отличаются от текстовой чат-модели вроде Claude
  • Освоить устойчивые навыки: промптинг для медиа, итерацию и референсные входные данные
  • Соблюдать обязательные правила: права на использование, происхождение/водяные знаки и этику дипфейков/согласия

Чем медиа-модели отличаются от текстовой LLM​

Если вы пользовались только чат-моделью, важны четыре отличия:

  • Другой вывод, другое «правильно». Текстовая модель возвращает один в основном детерминированный лучший ответ. Медиа-модель возвращает артефакт (изображение, клип, голосовой дубль), где нет единственного правильного ответа — есть только те, что нравятся больше или меньше. Вы генерируете несколько и выбираете.
  • Обычно нельзя отредактировать вывод, редактируя только промпт. Изменение одного слова может изменить всё изображение. Настоящий контроль исходит из референсных входных данных (стартового изображения, стилевого изображения, референсного голоса) плюс специфичных для инструмента настроек, а не только из слов.
  • Сиды и вариативность — часть рабочего процесса. Многие инструменты позволяют перегенерировать, варьировать или зафиксировать «сид» для воспроизводимости. Итерация — это норма, а не провал.
  • Единица стоимости другая. Текст тарифицируется по токенам; медиа — по изображению, секунде видео или символу/минуте аудио — и видео особенно может быстро становиться дорогим.
Pro tip
  • Ментальная модель: текстовая модель — это писатель, который даёт вам ответ; медиа-модель — это игровой автомат с рулём — вы дёргаете рычаг, а затем рулите референсами и перегенерациями, пока не получится как надо.
  • Генерируйте пакет и отбирайте. Ваш вкус — умение понять, какой из 4 выводов лучший — это половина навыка.

Карта: архетипы и заметные инструменты​

Мыслите архетипами — составы участников постоянно перетасовываются, но категории стабильны. Существование каждого инструмента, названного ниже, проверено по реальному URL (в Источниках); конкретные версии намеренно оставлены расплывчатыми, потому что они меняются.

Генерация изображений (текст-в-изображение)​

Превращает текстовый промпт — и опционально референсные изображения — в статичную картинку.

  • Midjourney — закрытый, хостируемый; известен сильной эстетикой по умолчанию и настройками стиля/референса.
  • Генерация изображений OpenAI (линейка DALL·E / GPT Image) — закрытая, хостируемая; тесно интегрирована в ChatGPT и API.
  • Генерация изображений Gemini от Google («Nano Banana») и Imagen — закрытые, хостируемые; встроены в Gemini и Google Cloud.
  • Adobe Firefly — закрытый, хостируемый; создан для творческих рабочих процессов и обучен с прицелом на коммерческое использование (см. права ниже).
  • Stable Diffusion (Stability AI) и FLUX (Black Forest Labs) — семейства моделей с открытыми весами, которые можно скачать и запустить самому, основа локальной/открытой экосистемы изображений.

Генерация видео (текст/изображение-в-видео)​

Генерирует короткие клипы — всё чаще с синхронизированным звуком — из промпта или стартового изображения.

  • OpenAI Sora — передовая видеомодель (примечание: отдельное потребительское приложение было закрыто; модель продолжила существовать через API — хрестоматийный пример того, почему версии/доступность устаревают).
  • Google Veo — передовое видео, с нативным звуком в недавних версиях.
  • Runway — творческий пакет, построенный вокруг видеомоделей серии Gen.
  • Kling (от Kuaishou) и Pika — быстроразвивающиеся видеоинструменты, популярные для контента для соцсетей/коротких форматов.

Голос, речь и музыка (аудио)​

  • ElevenLabs — закрытый, хостируемый; реалистичный синтез речи (text-to-speech) и голосовые инструменты (клонирование голоса имеет реальные последствия в плане согласия — см. этику).
  • Suno и Udio — генерируют полноценные песни (вокал + инструментал) из текстового промпта.
  • OpenAI Whisper — другое направление: речь-в-текст (транскрипция). Он имеет открытые веса (лицензия MIT), так что вы можете запустить его сами или вызвать хостируемый API. Речь-в-текст — тихая рабочая лошадка за субтитрами, голосовыми заметками и транскриптами встреч.
Pro tip
  • Самое большое разветвление (то же, что и для текстовых моделей): ЗАКРЫТЫЕ хостируемые инструменты (часто лучшего качества, минимум настройки) против моделей с ОТКРЫТЫМИ ВЕСАМИ вроде Stable Diffusion, FLUX и Whisper, которые можно развернуть самостоятельно ради приватности, контроля и меньшей стоимости при масштабе.
  • Не выбирайте по лидерборду. Для вашего реального вида/звучания сгенерируйте несколько настоящих примеров в 2-3 инструментах и судите собственными глазами и ушами.

Как получить хороший результат от медиа-модели​

Рабочий процесс больше похож на фотосъёмку, чем на поиск в Google. Эти шаги не зависят от инструмента:

Guided walkthrough1 of 6
  1. Начните с главного объекта, затем добавьте обстановку, действие и настроение. «Рыжая лиса» — слабо; «рыжая лиса, свернувшаяся во сне на свежем снегу, мягкий утренний свет» даёт модели, с чем работать.

Пример промпта для генерации изображения (носитель → объект → стиль → детали)

A cinematic wide-angle photograph of a lighthouse on a rocky cliff
at golden hour, waves crashing below, dramatic storm clouds parting.
Style: moody, high dynamic range, shot on a 24mm lens, shallow depth of field.
Mood: hopeful, epic. Aspect ratio 16:9.

Tip: if the result is close, change ONE element next pass
(e.g. "blue hour" instead of "golden hour") and re-roll —
or add a reference image to lock the look.

Права, происхождение и этика — обязательные к соблюдению​

Медиа-ИИ поднимает вопросы, которых у текстового чата обычно нет. Относитесь к ним как к части работы, а не как к второстепенному соображению.

Права на использование и коммерческие права. У каждого инструмента своя лицензия, и они сильно различаются. Некоторые ограничивают коммерческое использование, некоторые предоставляют его только на платных тарифах, а выводы могут напоминать защищённые авторским правом или товарным знаком работы. Adobe Firefly, к примеру, опирается на данные обучения, выбранные с учётом коммерческой безопасности — но вам всё равно следует прочитать саму лицензию для инструмента и тарифа, на котором вы находитесь, а не предполагать.

Происхождение и водяные знаки. Растущий стандарт, C2PA / Content Credentials, прикрепляет защищённые от подделки метаданные-«этикетку», фиксирующие, как актив был создан и отредактирован. Многие крупные инструменты для изображений и видео теперь встраивают его. Сохраняйте эти данные о происхождении и отдавайте предпочтение инструментам, которые их поддерживают — это становится нормой для заслуживающих доверия медиа.

Дипфейки, голоса и согласие. Реалистичная генерация лиц и голосов может выдавать себя за реальных людей. Не клонируйте голос или облик без явного согласия, никогда не используйте сгенерированные медиа для обмана и соблюдайте закон в своей юрисдикции. Согласие на клонирование голоса и раскрытие сгенерированного ИИ контента — это не просто этикет, всё чаще это юридические требования.

Watch out
  • Сгенерированные медиа могут нести ограничения прав на использование и риски дипфейков/согласия — проверяйте лицензию каждого инструмента и раскрывайте контент, сгенерированный ИИ.

Что переносится из ваших навыков текстового ИИ​

Хорошая новость: многое из того, что вы уже знаете, переносится.

  • Чёткий, конкретный промптинг — быть конкретным в том, чего вы хотите, лучше расплывчатых желаний, в любой модальности.
  • Итерация вместо одного захода — тот же цикл «черновик, критика, доработка», который вы применяли бы с Claude, работает и здесь, просто с перегенерациями и референсными изображениями вместо последующих сообщений. См. Основы промптинга.
  • Выбор правильного инструмента под задачу — фреймворк из Выбор модели (сначала ограничения, затем крошечный реальный тест) работает столь же хорошо и для медиа.
  • Понимание того, что модель есть на самом деле — знание того, что это обучающиеся на паттернах, а не магия, держит ваши ожидания и вашу этику в порядке. См. Основы.

Проверь себя​

Проверь себя

0/4
  1. Какой самый надёжный способ контролировать вид вывода медиа-модели — помимо слов?
  2. Что из этого — инструмент с ОТКРЫТЫМИ ВЕСАМИ, который вы можете скачать и запустить сами?
  3. Что такое C2PA / Content Credentials?
  4. Перед коммерческим использованием сгенерированных ИИ медиа самый безопасный шаг — это:

Флеш-карточки​

Нажмите Enter или пробел, чтобы перевернуть карточку. Используйте стрелки влево и вправо для перехода между карточками.Показан термин.
1 / 6
Key takeaways
  • Генеративные медиа — это отдельная ветвь ИИ, отличная от текстового чата: она создаёт изображения, видео, голос и музыку, и вы рулите ею референсами и перегенерациями, а не только словами.
  • Мыслите архетипами — изображение, видео, голос/музыка, речь-в-текст — и помните о разветвлении закрытое-против-открытых-весов (например, Midjourney против Stable Diffusion/FLUX; хостируемый TTS против открытого Whisper).
  • Устойчивые навыки переносятся из текстового ИИ: конкретный промптинг, итерация и выбор правильного инструмента под задачу.
  • Права и этика — часть работы: проверяйте лицензию для вашего инструмента и тарифа, сохраняйте данные о происхождении (C2PA/Content Credentials), получайте согласие для голосов/обликов и раскрывайте сгенерированные ИИ медиа.
  • Конкретика устаревает быстро — сверяйте версии, цены и возможности со страницей самого инструмента, прежде чем на них полагаться.

Источники и дополнительное чтение​