ComfyUI для работы с нейросетями:
изображение, анимация, звук

Онлайн | 18 групповых занятий | 450€

О курсе

ComfyUI это самый передовой, гибкий и широко используемый инструмент для визуальной генерации с помощью ИИ. В отличие от коммерческих веб-сервисов (Midjorney, Runway, Elevenlabs и подобных), ComfyUI позволяет работать без ограничений, запуская загруженные модели ИИ прямо на вашем компьютере или в облачных сервисах. Полный контроль над процессом генерации делает работу с нейросетями творческой и увлекательной, а результат адаптированным под задачу. Это активно развивающийся и поддерживаемый open-source сообществом инструмент, и, разобравшись с основами, вы сможете в нём работать с новыми ИИ моделями любого типа в дальнейшем.

Курс может быть интересен как тем, кто уже использует в работе ИИ-инструменты и хочет сделать следующий шаг, так и тем, кто только приступает к изучению возможностей ИИ и ищет фундаментальный и структурированный подход.

Работа в облаке

Вам не понадобится мощный компьютер для работы на курсе. Вы научитесь запускать ComfyUI в облачных сервисах с низкой стоимостью почасовой аренды. Зачастую это более экономически оправданно, чем покупка профессиональной видеокарты.

Подготовленный для быстрого и удобного запуска аккаунт, которым вы будете пользоваться на курсе, останется у вас после окончания, и вы сможете продолжать его использовать.

Формат и структура курса

  • Два месяца, 18 групповых дистанционных занятий, 2 раза в неделю в Zoom.
  • Продолжительность каждого занятия 3 часа.
  • Практические занятия совмещают изучение новых инструментов и их непосредственное использование.
  • Вместо домашних заданий на курсе будут выделены четыре занятия, посвящённые самостоятельной работе над творческими заданиями и итоговым проектом с обсуждением результатов и разбором возникающих трудностей.
  • Теоретическая часть даст общее понимание того, чем по сути являются генеративные модели ИИ, как они обучаются и как работают, а также как устроена инфраструктура вокруг них.
  • Онлайн-поддержка: чат с преподавателем и однокурсниками для вопросов и обсуждений между занятиями.

Результаты обучения

  • Вы научитесь работать с локальными моделями ИИ в ComfyUI и запускать как в облаке, так и на локальном компьютере.
  • Вы освоите возможности лучшей на сегодняшний день ИИ модели для генерации изображений Flux Dev, пришедшей на смену Stable Diffusion
  • Вы ознакомитесь с передовыми локальными ИИ моделями для видеогенерации, научитесь их использовать и оптимизировать.
  • Вы научитесь дообучать модели и натренируете Flux на собственных данных.
  • Вы научитесь таким применениям локальных ИИ моделей, как создание звуков, смешивание новых изображений из существующих, копирование позы, мимики и голоса.
  • У вас останется набор разобранных на занятиях файлов выполняющих самые разные генеративные задачи.
  • Созданные в рамках достаточно свободных творческих заданий изображения и видео могут стать началом вашего портфолио ИИ работ.

Кому это будет полезно

Курс адресован в первую очередь независимым авторам для обогащения их художественной практики, предполагающей свободу, понимание используемых инструментов и отсутствие ограничений.

  • Художникам, чтобы найти свой авторский подход и самостоятельно выполнять с помощью ИИ бóльшую сферу работы.
  • Фильммейкерам, чтобы свободно экспериментировать с передовыми технологиями в генеративном видео.
  • Дизайнерам, чтобы вывести работу с ИИ за рамки концептуализации, получая качественно новый уровень результата.
  • Архитекторам для применения ИИ в быстром создании настраиваемых и анимированных визуализаций.
  • Разработчикам и инженерам, чтобы использовать ComfyUI как бэкенд для интеграции в приложения, веб-сервисы и интерактивные инсталляции.
  • Исследователям и энтузиастам курс покажет доступные на сегодняшний день возможности и вызовы генеративного ИИ, и поможет глубже погрузиться в технологию.
  • Студиям и агенствам курс может помочь повысить эффективность бизнеса внедрив новые инструменты и сократив затраты на оборудование.

Требования

Курс, при всей его фундаментальности и технической глубине, задумывался как доступный и дружелюбный. ComfyUI станет в процессе обучения таким же понятным и привычным для вас, как графический редактор или программах для монтажа. Навыки программирования не требуются и не понадобятся. Для учёбы на курсе нужны только:

  • Шесть часов в неделю
  • Высокоскоростной интернет
  • Базовая компьютерная грамотность
  • Интерес и терпение

О преподавателе

Иван Якушев — цифровой визуальный художник и преподаватель.

С 2022 года преподаёт во Франции в национальной высшей школе искусства и дизайна ENSAD Nancy. С 2024 года ведёт практический курс по применению ИИ в искусстве для студентов-художников ENSAD Nancy и инженеров École des Mines Nancy.

Организовывал и проводил воркшопы по нейросетевому искусству для студентов художественных вузов Франции, Бельгии, Италии и Германии в рамках программы Erasmus. С 2015 по 2022 год преподавал в HSE Art and Design School визуальную коммуникацию и алгоритмическую графику.

Видеоработы принимали участие в таких фестивалях, как International Short Film Festival Oberhausen, MIEFF и др.

Персональная выставка художественных работ в Galerie S001 (Франция) в соавторстве с Александрой Карелиной. Видеоперформанс с риалтайм генерацией "Noms des eaux" для инициатив K1NO1 (Франция) и ACT (Германия). Участие в групповой выставке «ИИ: и? Нейронные сети и творческий процесс» в галерее Краснохолмская, Москва и др.

Программа курса

  1. Знакомство с ComfyUI и друг с другом
    • Воркфлоу, ноды, соединения, загрузка моделей. Примеры. ComfyUI Manager.
  2. Развёртывание ComfyUI в облаке
    • Требования к железу и откуда они берутся: NVidia CUDA, видеопамять. Облачные сервисы и docker контейнеры. Репозиторий ИИ моделей Hugging Face и управление файлами. Настройка аккаунта и первый запуск.
  3. Как работает генеративный ИИ
    • Ключевые концепции диффузионных моделей, Diffusion Models, CLIP, VAE, Steps, Latent space
  4. Генерация изображений: промпты и основные параметры
    • Создание изображений с использованием базовой модели Flux.
  5. Самостоятельная работа: творческое задание 1
    • Совместная рабочая сессия, комментарии и вопросы
  6. LoRA: Адаптация базовых моделей
    • Установка и активация готовых LoRA в ComfyUI. Персонаж, визуальный стиль, концепт. Репозиторий civit.ai. Подготовка датасета к обучению.
  7. LoRA: Тренировка модели на своих данных
    • Запуск в облаке обучения вашей собственной модели. Практическая отработка навыков с предыдущих занятий. Тест результата.
  8. Управление объёмом и контурами
    • ControlNet: Canny & Depth. Генерация и применение карт глубины.
  9. Самостоятельная работа: творческое задание 2
    • Совместная рабочая сессия, комментарии и вопросы
  10. Редактирование частей изображений
    • Inpainting, автоматическое выделение объектов и фона.
  11. Трансформация изображений с помощью компьютерного зрения
    • Визуальные адаптеры и VLM. Извлечение визуальных признаков из изображений для переработки.
  12. Видео на основе текста и изображений
    • Обзор актуальных моделей для генерации видео и их использования в ComfyUI.
  13. Видео: способы глубокого контроля
    • Интерполяция ключевых кадров. ControlNet и LoRA для движения.
  14. Речь и звук
    • Синтез и распознавание речи, копирование голоса, звуковые генерации. LivePortrait, Wav2Lip: управление мимикой, связь анимации лица с озвучкой.
  15. Самостоятельная работа: творческое задание 3
    • Совместная рабочая сессия, комментарии и вопросы
  16. Абстрактная экспериментальная анимация
    • Бесконечные и зацикленные анимации с AnimateDiff.
  17. Консультация по локальной установке ComfyUI и начало работы над итоговым проектом
    • Совместная рабочая сессия
  18. Презентация итогового проекта
    • Просмотр и обсуждение итоговых проектов сделанных за последнюю неделю

Набор закрыт

Групппа на первый поток сформирована, даты второго потока будут объявленны предположительно к концу апреля

Расписание первого потока

1 марта — 3 мая
Вторник 19:00 — 22:00
Суббота 13:00 — 16:00
[UTC+3]