FaceChain-SuDe: Building Derived Class to Inherit Category Attributes for One-shot Subject-Driven Generation

主题(文档) 弹丸 班级(哲学) 计算机科学 数学 人工智能 万维网 化学 有机化学
作者
Pengchong Qiao,Lei Shang,Chang Liu,Baigui Sun,Xiangyang Ji,Jie Chen
出处
期刊:Cornell University - arXiv [Cornell University]
标识
DOI:10.48550/arxiv.2403.06775
摘要

Subject-driven generation has garnered significant interest recently due to its ability to personalize text-to-image generation. Typical works focus on learning the new subject's private attributes. However, an important fact has not been taken seriously that a subject is not an isolated new concept but should be a specialization of a certain category in the pre-trained model. This results in the subject failing to comprehensively inherit the attributes in its category, causing poor attribute-related generations. In this paper, motivated by object-oriented programming, we model the subject as a derived class whose base class is its semantic category. This modeling enables the subject to inherit public attributes from its category while learning its private attributes from the user-provided example. Specifically, we propose a plug-and-play method, Subject-Derived regularization (SuDe). It constructs the base-derived class modeling by constraining the subject-driven generated images to semantically belong to the subject's category. Extensive experiments under three baselines and two backbones on various subjects show that our SuDe enables imaginative attribute-related generations while maintaining subject fidelity. Codes will be open sourced soon at FaceChain (https://github.com/modelscope/facechain).

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
刚刚
刚刚
悦悦完成签到,获得积分10
1秒前
neurospine发布了新的文献求助10
1秒前
li发布了新的文献求助10
2秒前
4秒前
5秒前
远了个方发布了新的文献求助10
5秒前
6秒前
远了个方发布了新的文献求助10
6秒前
远了个方发布了新的文献求助10
6秒前
6秒前
李爱国的应助被外向烨磊采纳,获得10
7秒前
Jasper的应助被DYY采纳,获得10
7秒前
隐形曼青的应助被neurospine采纳,获得10
8秒前
FashionBoy的应助被Liam采纳,获得10
9秒前
10秒前
李健的小迷弟的应助被taik采纳,获得10
10秒前
整齐芷文完成签到,获得积分10
11秒前
Justin完成签到,获得积分10
12秒前
夏夏发布了新的文献求助10
13秒前
13秒前
cube发布了新的文献求助10
15秒前
xz完成签到,获得积分10
17秒前
17秒前
17秒前
neurospine完成签到,获得积分10
17秒前
17秒前
远了个方发布了新的文献求助10
18秒前
司藤完成签到 ,获得积分0
19秒前
19秒前
20秒前
21秒前
Chen发布了新的文献求助10
22秒前
24秒前
ZX发布了新的文献求助10
24秒前
24秒前
25秒前
25秒前
26秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Handbook of Sport Coaching Research 1000
Orthognathic Surgery - 2 Volume Set 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8192903
求助须知:如何正确求助?哪些是违规求助? 9579346
关于积分的说明 21864636
捐赠科研通 7792529
什么是DOI,文献DOI怎么找? 3437107
关于科研通互助平台的介绍 2560653
邀请新用户注册赠送积分活动 2483937