:format(webp)/YXJ0aWNsZXMvaW1hZ2UvMjAyNi8xMS9tb2JpbG55aS10ZWxlZm9uLTVfcDdtSnNnRS5qcGc.webp)
Нейросети научились сохранять сходство лиц на ИИ-фотосессиях
Ученые AIRI научили нейросети точнее сохранять лица на сгенерированных фотоИсследователи Института искусственного интеллекта AIRI разработали инструмент KandiShop, который помогает исправлять лица и надписи на уже созданных нейросетью изображениях. Он позволяет заменить неудачно сгенерированные детали на фрагменты из исходной фотографии человека или товара. Об этом «Газете.ру» сообщили в институте.
Проблема современных ИИ-фотосессий заключается в том, что при создании нового изображения нейросеть одновременно формирует позу, освещение и композицию, но не всегда точно воспроизводит черты лица или мелкие надписи на упаковке. По наблюдениям исследователей, при конфликте этих задач модель может сохранять общую картину, жертвуя деталями.
KandiShop разделяет процесс на несколько этапов. Сначала программа обнаруживает нужный объект и увеличивает соответствующий участок изображения. Затем она совмещает его с фотографией-образцом, после чего нейросеть обрабатывает фрагмент в двух режимах: с учетом окружающей сцены и с акцентом на точность лица или надписи. В итоге результаты объединяются.
Разработчики проверили метод на ста лицах. По их данным, открытая модель FLUX.2 klein без дополнительной обработки сохраняла сходство с оригиналом в 52% случаев, а с KandiShop — в 75%. Для Nano Banana Pro показатель составил 57%, для GPT Image 2 от OpenAI — 86%.
Научный сотрудник группы «Контролируемый генеративный ИИ» AIRI Вера Соболева отметила, что метод можно применять к изображениям, созданным разными нейросетями. В частности, при обработке снимков Nano Banana показатель сходства, по данным исследователей, повышается с 57 до 76%. На групповых фотографиях инструмент работает с каждым лицом отдельно, что помогает избежать смешения черт разных людей.
KandiShop не требует создания новой нейросети и работает поверх уже существующих моделей. Код инструмента опубликован в открытом доступе.
:format(webp)/YXJ0aWNsZXMvaW1hZ2UvMjAyNi8xMS92ZXRraS1saXN0dmEtb3NlbjFfY2QwVXRaRy5qcGc.webp)
:format(webp)/YXJ0aWNsZXMvaW1hZ2UvMjAyNi8xMS9rYWxlbmRhci0zMS1kZWthYnJqYV9zTzhINUhKLmpwZw.webp)
:format(webp)/YXJ0aWNsZXMvaW1hZ2UvMjAyNi8xMS9rbGp1Y2hpLW90LWt2YXJ0aXJ5X21yb3ZZQnIuanBn.webp)
:format(webp)/YXJ0aWNsZXMvaW1hZ2UvMjAyNi8xMS9kdWJvdnllLWxpc3RqYS1vc2VuX0UxY1lWT0ouanBn.webp)
:format(webp)/YXJ0aWNsZXMvaW1hZ2UvMjAyNi8xMS9ncmFmaWtpLW5vdXRidWstZ2VvbWV0cmlqYS0xMl9VYnV2azdDLmpwZw.webp)
:format(webp)/YXJ0aWNsZXMvaW1hZ2UvMjAyNi8xMS90c2Vya292LXJvemhkZXN0dmEtYm9nb3JvZGl0c3ktdi1tamFjaGtvdm8tcmFtZW5za29lX3R6cm5oUmYuanBn.webp)
:format(webp)/YXJ0aWNsZXMvaW1hZ2UvMjAyNi8xMS91a3Jhc2hlbmllLW5hLXphYm9yZS1pc2t1c3N0dmVubnlpLXZqdW5va19EZGpBMUllLmpwZw.webp)
:format(webp)/YXJ0aWNsZXMvaW1hZ2UvMjAyNi8xMC9hcHBldGl0bnlqLWxvc29zLXMtbGltb25vbS1pLXVrcm9wb21fMlJ0UWEyNy5wbmc.webp)
:format(webp)/YXJ0aWNsZXMvaW1hZ2UvMjAyNi8xMS90ZWxlZm9uLXYtcnVrZS0xNV9qcjd6cEU5LmpwZw.webp)
:format(webp)/YXJ0aWNsZXMvaW1hZ2UvMjAyNi8xMS9tYW51bC16b29wYXJrLXpoaXZvdG55ZS0xX2xzZ2FEc3AucG5n.webp)
:format(webp)/YXJ0aWNsZXMvaW1hZ2UvMjAyNi8xMS80MDIwMTFhMy1jNzJkLTQzOTUtYmEzNi1kYjZiOTBlZWRhOGNfNGxXUWU0Uy53ZWJw.webp)
:format(webp)/YXJ0aWNsZXMvaW1hZ2UvMjAyNi8xMS9vZmlzbmFqYS1yYWJvdGEtcmFib2NoaWotc3RvbC1rb2xsdHNlbnRyLTNfRHN0azBNQS5qcGc.webp)