已入深夜,您辛苦了!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!祝你早点完成任务,早点休息,好梦!

Uni-paint: A Unified Framework for Multimodal Image Inpainting with Pretrained Diffusion Model

修补 计算机科学 人工智能 概化理论 可扩展性 任务(项目管理) 图像(数学) 过程(计算) 情态动词 计算机视觉 概率逻辑 模式识别(心理学) 机器学习 数学 工程类 统计 化学 系统工程 数据库 高分子化学 操作系统
作者
Shiyuan Yang,Xiaodong Chen,Jing Liao
标识
DOI:10.1145/3581783.3612200
摘要

Recently, text-to-image denoising diffusion probabilistic models (DDPMs) have demonstrated impressive image generation capabilities and have also been successfully applied to image inpainting. However, in practice, users often require more control over the inpainting process beyond textual guidance, especially when they want to composite objects with customized appearance, color, shape, and layout. Unfortunately, existing diffusion-based inpainting methods are limited to single-modal guidance and require task-specific training, hindering their cross-modal scalability. To address these limitations, we propose Uni-paint, a unified framework for multimodal inpainting that offers various modes of guidance, including unconditional, text-driven, stroke-driven, exemplar-driven inpainting, as well as a combination of these modes. Furthermore, our Uni-paint is based on pretrained Stable Diffusion and does not require task-specific training on specific datasets, enabling few-shot generalizability to customized images. We have conducted extensive qualitative and quantitative evaluations that show our approach achieves comparable results to existing single-modal methods while offering multimodal inpainting capabilities not available in other methods. Code is available at https://github.com/ysy31415/unipaint.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
PDF的下载单位、IP信息已删除 (2025-6-4)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
一二宝发布了新的文献求助10
刚刚
刚刚
1秒前
2秒前
ovoclive完成签到,获得积分10
3秒前
lxgz发布了新的文献求助10
3秒前
leon111发布了新的文献求助10
5秒前
贺贺完成签到,获得积分10
5秒前
5秒前
空林饮溪完成签到 ,获得积分10
6秒前
浅音应助程依婷采纳,获得10
6秒前
烟花应助十分十分佳采纳,获得10
6秒前
Jing完成签到,获得积分10
8秒前
沦落而完成签到,获得积分10
9秒前
浮游应助橘涂采纳,获得10
9秒前
科研通AI6应助铮铮铁骨采纳,获得10
9秒前
Lydia发布了新的文献求助10
10秒前
11秒前
13秒前
义气的安白完成签到,获得积分10
13秒前
13秒前
爆米花应助王艺霖采纳,获得10
13秒前
禾苗发布了新的文献求助10
14秒前
15秒前
15秒前
luwenbin发布了新的文献求助10
16秒前
汉堡包应助务实的犀牛采纳,获得10
16秒前
张轩完成签到,获得积分10
16秒前
温存完成签到,获得积分10
17秒前
牛蛙丶丶发布了新的文献求助10
17秒前
18秒前
18秒前
nn发布了新的文献求助10
18秒前
18秒前
xnzhl发布了新的文献求助10
19秒前
Li发布了新的文献求助30
20秒前
ASD发布了新的文献求助10
21秒前
冷傲的小之完成签到,获得积分10
21秒前
22秒前
22秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
Zeolites: From Fundamentals to Emerging Applications 1500
Encyclopedia of Materials: Plastics and Polymers 1000
Architectural Corrosion and Critical Infrastructure 1000
Early Devonian echinoderms from Victoria (Rhombifera, Blastoidea and Ophiocistioidea) 1000
Hidden Generalizations Phonological Opacity in Optimality Theory 1000
Handbook of Social and Emotional Learning, Second Edition 900
热门求助领域 (近24小时)
化学 医学 生物 材料科学 工程类 有机化学 内科学 生物化学 物理 计算机科学 纳米技术 遗传学 基因 复合材料 化学工程 物理化学 病理 催化作用 免疫学 量子力学
热门帖子
关注 科研通微信公众号,转发送积分 4924963
求助须知:如何正确求助?哪些是违规求助? 4195117
关于积分的说明 13030291
捐赠科研通 3966853
什么是DOI,文献DOI怎么找? 2174302
邀请新用户注册赠送积分活动 1191684
关于科研通互助平台的介绍 1101172