Создаем аватарки с помощью нейросети Stable Diffusion и DreamBooth / Хабр

«Портрет, сделанный нейросетью» — все чаще читаем в новостной ленте, и каждый хотел бы сделать себе подобный, но удобные сервисы, просящие монету, или желание разбираться самому, отталкивают. Не нужно ничего скачивать. Час времени и каждый сможет сделать себе аватарку!

A epic and beautiful rococo painting of a young MossHubrGuide man half wolf covered in yellow cloth surrounded by wolves of ashes, standing before a desert of ashes. ultra-detailed. anime, pixiv, uhd 8k cryengine, octane render

Введение

Значительный скачок в эволюции ИИ совершили модели «txt2img» (преобразование текста в изображение), обеспечив высококачественный и разнообразный синтез изображений из заданного текстового запроса. org/getpro/habr/upload_files/7fd/b10/41d/7fdb1041dc56d37d7375d0c076b81e42.jpg» data-abbr=»Google DreamBooth» data-image-width=»1650″ data-image-height=»462″>DreamBooth представляет новый подход к «персонализации» моделей «txt2img», специализируя их на потребностях пользователей.

Предварительно обученная модель настраивается путем добавления всего нескольких изображений объекта и соответствующего имени класса (например, «человек») в качестве входных данных. Таким образом, чтобы ИИ научилась связывать уникальный идентификатор (в нашем случае слово) с этим конкретным объектом. 

Результаты и возможности DreamBooth

  • Художественные представления:

    Оригинальные художественные изображения собаки в стиле известных художников. Отмечается, что многие сгенерированные позы не были замечены в тренировочном наборе, например, в исполнении Ван Гога и Уорхола. Также, что некоторые работы, похоже, имеют новую композицию и точно имитируют стиль художника — даже предполагая некоторый творческий подход (экстраполяция с учетом предыдущих знаний).

Художественные представления

  • Изменение «позы» представления:

    Метод позволяет синтезировать изображения с заданными точками обзора для кошки (слева направо: вид сверху, снизу, сбоку и сзади). Обратите внимание, что сгенерированные позы отличаются от входных поз, а фон меняется реалистичным образом при изменении позы. Также подчеркивают сохранение сложных меховых узоров на лбу исследуемой кошки.

Изменение представления

  • Изменение свойств:

    Представляют изменения цвета в первом ряду (с помощью подсказок: «[цвет] [V] автомобиль») и скрещивания конкретной собаки и разных животных во втором ряду (с помощью подсказок: «порода [V] собаки и [целевого вида]»). Метод сохраняет уникальные визуальные особенности, которые придают предмету его индивидуальность или сущность, выполняя при этом требуемую модификацию свойств.

Изменение свойств

  • Добавление аксессуаров:

    Оснащение собаки аксессуарами. Личность субъекта сохраняется и к собаке можно применить множество различных нарядов или аксессуаров, учитывая подсказку типа: «[V] собака в костюме [полицейского / повара / ведьмы]». Наблюдается реалистичное взаимодействие между предметной собакой и одеждой или аксессуарами, а также большое разнообразие возможных вариантов.

Добавление аксессуаров

Подготовка

  1. Для начала стоит убедится что на вашем Google Drive диске достаточный объем памяти. Нам потребуется не более 4-5гб, но зная среднестатистического пользователя, диск пустует и имеет 10-15гб свободного места.

  2. Заранее стоит подумать какие фотографии вы возьмете. Критериев не много, но они в значительно мере могут повлиять на результат: 1) разрешение 512px*512px (можно воспользоваться сервисом BIRME или другим аналогом). 2) объект один на фото. 3) вменяемое освещение.

  3. Создать аккаунт на сайте Hugging Face, а далее в настройках создать новый токен с ролью «write» в соответствующем разделе. В результате сгенерируется ключ, который потребуется позднее.

Новый токен на сайте Hugging Face

Практика

  • В самом верху, первым пунктом, проверяем выданную нам видеокарту, в большинстве случаев это будет Tesla T4 ( лучший вариант). Если же выданная карта отличается — обновите страницу и повторите подключение. Так же сойдет видеокарта P100, но скорость работы может отличаться. В разделе ресурсов, по мимо «ОЗУ» и «Диск», появится соответствующий пункт «Оперативная память графического процессора».

*Хочу заметить, что каждый пункт будет сопровождается запуском кода по нажатию на кнопку «плей» ( треугольничек в кружечке в начале каждой ячейки).

  • Install Requirements

    Устанавливаем пакеты и зависимости на выданный нам сервер. По завершению выдаст сообщение «done», а слева от пункта появится зеленая галочка с временим выполнения.

  • Install xformers from precompiled wheel

    Данный пункт выполнится быстро, так как все уже скомпилировано.

    НО в случае возникновения ошибки, следует заменить первую строчку на код ниже и повторить. Перекомпиляция займет около 40 минут.

%pip install git+https://github.com/facebookresearch/xformers@4c06c79#egg=xformers

  • Settings and run

    Если есть желание воспользоваться моделью в следующий раз, то стоит установить галочку «save_to_gdrive».

    Имя и пути сохранения модели можно оставить стандартными.

    При запуске ячейки разрешите доступ к своему диску.

  • Start Training

    Самый большой пункт, где могут возникнуть вопросы.

    Встречает нас таблица, ее мы пропускаем, так как она предназначается продвинутым пользователям для гибкой настройки скорости, качества и веса модели.

    Нас же интересует, как мы будем связывать наш объект с текстом в списке concepts_list:

    Первый параметр instance_prompt — идентификатор нашего объекта

    class_prompt — класс, который связывает наш объект с объектами знакомыми для ИИ (пример: [ваше имя] — [guy/girl] или ElonMask — Man, TeslaModelX — Car и тд.)

    Параметры с названием директорий для удобства называем соответственно.

    Запускаем ячейку.

    Что должно получится: instance_prompt — MossHubrGuide (мой идентификатор), class_prompt — man (класс с которым ассоциирую).

Далее запускаем следующую ячейку, выбираем заготовленные изображения и ждем окончания загрузки.

По окончанию загрузки изображений, в следующей ячейке нас интересуют строки:

—max_train_steps — количество шагов для обучения ИИ (для портретов рекомендуется использовать значения 800-1500)

—save_sample_prompt — должен иметь значение как и у instance_prompt для сохранения промежуточных выборок вместе с весами в директории.

Запускаем выполнение ячейки, которая начнет скачивание модели, генерацию классов и обработку изображений. Продлится это ~30-40 минут в зависимости от того, сколько шагов выбрано для обучения. В процессе обработки могут появиться окна капчи с проверкой присутствия на странице, если не подтвердить — придется начать сначала.

Далее последовательно запускаем две ячейки, где первую оставляем пустой, а вторая сгенерирует 4 изображения «то как вас видит ИИ».

  • Convert weights to ckpt

    Данный пункт нужен если важно место на Google Drive, что сократит используемый объем до 2гб. Но для повторного использования весов пропускаем пункт.

  • Inference

    Так же последовательно запускаем обе ячейки.

  • Run for generating images.

    Вот начинается самое интересное!

    prompt — тот самый текст/контекст, который определяет что будет рисовать ИИ. Тут уж пишите, что душе угодно (на английском языке), но есть достаточно эффективные сайты с готовыми промптом, пример: PromptsDatabase, Lexica. Промпт может выглядеть совершенно не похожем на предложения в привычном понимании, но ключевые слова и контекст имеют большую силу.

    Для рисования объекта, добавленного в модель ранее, в строке prompt добавляем наш instance_prompt, а для большей точности вместе с ним и class_prompt.

    Пример: «A epic and beautiful rococo painting of a young MossHubrGuide man half wolf covered in yellow cloth surrounded by wolves of ashes, standing before a desert of ashes. ultra-detailed. anime, pixiv, uhd 8k cryengine, octane render«

    num_samples — количество генерируемых изображений.

    guidance_scale
    num_inference_steps — параметры для более точного совпадения текста с содержимым. Оставляем дефолтными, а зависимость значений на результат можно увидеть в примечании в примечании.

    height
    width     — размер получаемого изображения. Хотелось бы увеличить разрешение, но это может вызвать своеобразные артефакты. (*см. примечание)

Примечание

Зависимость значений guidance_scale и num_inference_steps можно увидеть на следующем изображении:

Зависимость значений guidance_scale и num_inference_steps на исходное изображение

При изменении высоты/ширины исходного изображения в отдельности от входящих возникают артефакты:

Запускаем ячейку!

Результат

Ниже приведу пример с несколькими не самыми удачными, но не менее интересными изображениями и их промптом.

A epic and beautiful rococo painting of a young MossHubrGuide man half wolf covered in yellow cloth surrounded by wolves of ashes, standing before a desert of ashes. ultra-detailed. anime, pixiv, uhd 8k cryengine, octane renderFuturistic hightailed MossHubrGuide man with robotic implants on its face. in space, wes andersona anthropomorphic MossHubrGuide man warrior, D&D, fantasy, intricate, highly detailed, digital painting, artstation, concept art, smooth, sharp focus, illustration, art by artgerm and greg rutkowski and alphonse muchaA portrait of a futuristic cyberpunk MossHubrGuide man soldier in war scene, epic scene, epic lighting, pink vibe, by greg rutkowski elon musk as superman, realistic portrait, symmetrical, highly detailed, digital painting, artstation, concept art, smooth, sharp focus, illustration, cinematic lighting, art by artgerm and greg rutkowski and alphonse mucha

Нейросеть для создания аватарок: какая лучше

С появлением нейросетей нам больше не нужно перелистывать тысячи изображений для выбора себе красивой аватарки или тратить часы на освоение Фотошопа и редактирование картинки. В наше время достаточно лишь зайти на сайт нужной нейросети или запустить соответствующее приложение и ввести текстовое описание картинки. Все остальное искусственный интеллект сделает самостоятельно.

Весь вопрос лишь в том, какую нейросеть для этого выбрать. Давайте посмотрим, на что они способны в плане создания креативных и необычных аватарок.

Содержание

  • Midjourney
  • Stable Diffusion
  • Starryai
  • Dream
  • ruDALL-E Kandinsky
  • Итоги

🔹  Яндекс.Дзен🔹  Вконтакте🔹 Телеграм🔹  Пульс Mail.ru

Мы уже писали о Midjourney и особенностях работы с этой нейросетью, а недавно даже испытали ее возможности по визуализации русских пословиц и поговорок. Получилось, на наш взгляд, просто отлично. Но эта нейросеть способна на намного большее, и, конечно, для нее не составит никакого труда нарисовать аватарку по любому, даже самому заковыристому текстовому описанию.

Более того, под каждое описание система сгенерирует четыре варианта изображения. Вы сразу сможете выбрать понравившееся и увеличить его качество. Если же первый блин оказался комом, вы сможете немного поправить описание, сделать акценты на каких-то деталях картинки или убрать из нее лишние элементы.

О том, как это сделать, мы уже рассказывали. Поэтому не будем останавливаться на этом лишний раз, а лишь отметим, что вся работа с Midjourney ведется в открытом чате Discord.

Еще одна популярная нейросеть, умеющая рисовать картинки по текстовому описанию, справляется со своей работой, на наш взгляд, похуже Midjourney. Но ее фишка в чрезвычайной простоте. Stable Diffusion не требует даже регистрации!

Просто зайдите на сайт нейросети, нажмите кнопку «Get Started for Free» и… все. Вы можете начинать творить. Для этого достаточно ввести текстовое описание картинки на английском и нажать «Generate image». Подождите несколько секунд, и вы увидите четыре изображения, а клик на любое из них позволит его увеличить и при желании сохранить на компьютер.

Еще одна популярная нейросеть интересна тем, что она доступна как в качестве web-сайта, так и в виде приложений для iOS и Android, а для начала работы с ней достаточно авторизоваться с помощью аккаунта Google или Apple. Она умеет создавать как «мультяшные», так и фотореалистичные изображения по текстовому описанию. Правда, делает это не сказать, чтобы прямо отлично. К примеру, вот так в представлении Starryai выглядит Нео с зубочисткой во рту:

Конечно, аватарки получились далеко не такими, как мы ожидали. Нео попеременно напоминает то Тринити, то графа Дракулу. Поэтому получить именно ту аватарку, которую вы хотите, здесь будет довольно проблематично, особенно с учетом того, что бесплатно сервис позволяет создать лишь 5 изображений. Хотя сама прорисовка картинок выглядит вполне на уровне.

Как и Starryai, нейросетью Dream можно пользоваться и через официальный сайт, и через приложения для Android и iOS. Просто введите текстовое описание аватарки на английском, выберите стиль изображения и нажмите «Create». Через несколько секунд нейросеть сгенерирует нужное изображение.

Эта нейросеть выгодно отличается от многих конкурентов тем, что умеет генерировать картинки по описанию более чем на 100 языках, включая и русский. Еще проще пользователям приложения Салют — они могут воспользоваться сервисом, просто сказав «Включи художника».

После ввода описания изображения останется выбрать один из множества стилей генерации и подождать несколько секунд до появления итогового изображения.

На наш взгляд, лучшей нейросетью для создания аватарок стала Midjourney. Она с большим отрывом обходит конкурентов и в плане качества изображений, и возможностей их тонкого редактирования и настройки в процессе генерации. Ну а в итоге вы получаете очень достойное и точно соответствующее описанию изображение, которое можно с удовольствием поставить на аватарку.

Среди других нейросетей можно выделить ruDALL-E Kandinsky. Она поддерживает русский язык и намного проще в работе по сравнению с Midjourney. Но и качество получаемых с ее помощью изображений оставляет желать лучшего.

Читайте также

  • Русские пословицы и поговорки глазами нейросети
  • Нейросети для улучшения качества фото: тестируем возможности

Автор

Дмитрий Мухарев

Редактор направлений «Компьютерное железо» и «Технологии»

Как создать свою иллюстрированную аватарку бесплатно (без Facebook!)

Селфи и постановочные фото для аватарки — это прошлый год, и мы думаем, что пришло время попробовать что-то новое. Но с чего начать, если вы не слишком креативны или у вас есть штатный аниматор в резерве?

К счастью, есть несколько приложений и онлайн-инструментов, которые можно использовать для создания цифровой версии самого себя. Некоторые из них веселые и причудливые, а другие немного сложнее. Но результат будет тот же: забавная аватарка, которая выглядит профессионально.

Для смеха вы также можете попробовать это бесплатное приложение, которое позволяет вам создавать поющие дипфейки всех, кого вы знаете. Но вам не нужно быть иллюстратором, чтобы использовать бесплатные приложения для создания аватаров, которые мы собираемся вам показать.

Avatoon

Обладая более чем 15 000 отзывов и средним рейтингом 4,6 звезды, Avatoon является одним из самых популярных вариантов. Приложение создает довольно реалистичную визуализацию вашего лица, а с помощью различных инструментов настройки вы можете настроить аватар по своему вкусу.

Изображение: Avatoon

Несмотря на то, что вы можете загрузить изображение для преобразования, одной из лучших особенностей Avatoon является технология распознавания лиц. Используя камеру вашего телефона, приложение сканирует ваше лицо и отображает мультяшную версию на основе ваших черт лица.

Загрузите версию для iOS здесь и версию для Android здесь. Приложение доступно бесплатно, но имеет встроенные покупки.

Bitmoji

Какое-то время казалось, что мультипликационные панели Bitstrips были повсюду в социальных сетях. В то время как это (к счастью) исчезло, другое предложение компании приобрело большую популярность. Bitmoji стал настолько успешным, что у него более 100 миллионов загрузок и более 3 миллионов отзывов.

Изображение: Bitmoji

Позволяет создавать «личные смайлики», которые можно использовать в Snapchat или в любом другом месте, где вы общаетесь с друзьями. Существуют также версии для iMessage от Apple, Gboard от Google и Bitmoji для Google Chrome. В приложении есть возможность сделать снимок с помощью камеры и создать аватар, очень похожий на ваше лицо.

Загрузите версию для iOS здесь и версию для Android здесь. Приложение доступно бесплатно.

Bemoji 3D Avatar Creator

Насчитывая более 5 миллионов загрузок и 49 000 отзывов, Bemoji является одним из крупнейших создателей смайликов и аватаров, доступных для Android. Приложение позволяет вам создать мультяшную версию самого себя с поразительной точностью с помощью сотен вариантов.

Ваше творение также можно использовать в Snapchat, Instagram и TikTok, а также в качестве стикеров в приложениях для обмена сообщениями. Приложение также имеет клавиатуру с эмодзи, так что вы можете использовать свои творения с любой клавиатурой по умолчанию. Извините, фанаты Apple, это доступно только для Android.

Загрузите версию для Android здесь. Приложение доступно бесплатно, но имеет встроенные покупки.

SP-Studio

Если вы поклонник мультсериала «Южный парк», вам подойдет немецкая SP-Studio. Веб-сайт, доступ к которому также можно получить с мобильного телефона, существует уже 19 лет и стал невероятно популярным.

(изображение: SP-Studio)

Он официально не связан с «Южным парком» или его создателями, поэтому сайт очень осторожен, чтобы не упоминать о явной корреляции. Однако сайт использовался в качестве рекламного инструмента на официальном сайте «Южного парка» несколько лет назад.

Навигация по сайту и создание собственного аватара очень просто с более чем 15 000 частей тела, одеждой, аксессуарами и опциями на выбор. Веб-приложение бесплатно для использования.

Вы можете посетить SP–Studio здесь.

5 шагов, чтобы легко создать потрясающий аватар из фотографии

Эмоджи личного аватара широко используются на веб-сайтах социальных сетей. Людям нравится использовать специальные аватары, которые действительно представляют их самих.

Итак.

Что такое фото аватара?

Аватар — это изображение, которое размещается в вашем профиле в социальной сети, ролевой игре или блоге, чтобы рассказать людям, кто вы есть. Аватары широко используются на веб-сайтах и ​​в ролевых онлайн-играх. Это лучший способ для других людей идентифицировать вас, как удостоверение личности в Интернете. Персонализированные аватары — один из лучших способов самовыражения в Интернете.

Вы также можете создать свой личный тональный мем с приложением Zmoji и поделиться им в социальных сетях.

Как сделать аватар из фото?

Существует множество веб-сайтов и приложений, позволяющих создать аватар из фотографий. В этой статье я бесплатно покажу вам основы создания вашего аватара просто с помощью телефона.

Шаг 1. Найдите приложение для создания аватаров

Существуют десятки приложений, позволяющих создавать такие типы изображений/аватаров. Что ж, мы рекомендуем вам Zmoji . Это одно из лучших приложений для создания аватаров, которое можно загрузить совершенно бесплатно. В этой статье мы будем использовать приложение Zmoji в качестве примера и научим вас создавать с его помощью аватар.

Приложение Zmoji доступно как для iOS, так и для Android.

Загрузка для iOS: apple.co/31SGtFu
Загрузка для Android bit.ly/34dMI8N

Вы также можете посетить веб-сайт Zmoji для получения дополнительной информации.


Шаг 2: Откройте приложение и приступайте к работе

После загрузки Zmoji откройте приложение Zmoji и следуйте указаниям.
Выберите пол -> Выберите стиль аватара -> Выберите распознавание лиц .

Конечно, вы можете изменить этот аватар вручную, если хотите что-то изменить.

Шаг 3: Сделайте селфи для аватара

После того, как вы выбрали функцию « Распознавание лиц », сделайте селфи самого себя. Затем приложение Zmoji автоматически сгенерирует ваш мультяшный аватар, похожий на фотографию селфи.

Если вы не хотите пробовать распознавание лиц, вы также можете выбрать функцию «Создание вручную», чтобы вручную создать собственный аватар. Отсюда у вас есть много вариантов для создания своего аватара. Вы можете одевать их в разные очки, шляпы и наряды, а также создавать бесчисленное количество наклеек с разными позами, выражениями и т. д.

Шаг 4: Сохраните свою работу

После того, как ваш мультяшный аватар выглядит так, как вы хотите, перейдите в « Галерея аватаров », нажмите кнопку «Поделиться», после чего вы сможете сохранить свой мультяшный аватар. Вы можете использовать их в любом текстовом сообщении, чате или обновлении статуса.

Шаг 5. Используйте смайлики личного аватара в сообщениях 

После создания аватара из фотографии вы увидите множество личных смайликов аватара, гифок и стикеров на выбор. Пришло время выразить себя с помощью личных смайликов.

Это намного проще, если вы настроите клавиатуру Zmoji. Поделитесь своими личными смайликами аватара в сообщениях или любых разговорах в любое время.

Шаг 6. Настройте свой профиль в социальной сети с помощью собственного аватара

Пришло время придать вашему социальному профилю новый потрясающий вид.

No related posts.