Adaptive Light Estimation using Dynamic Filtering for Diverse Lighting Conditions

滤波器(信号处理) 渲染(计算机图形)
作者
Junhong Zhao,Andrew Chalmers,Taehyun Rhee
出处
期刊:IEEE Transactions on Visualization and Computer Graphics [Institute of Electrical and Electronics Engineers]
卷期号:27 (11): 4097-4106 被引量:1
标识
DOI:10.1109/tvcg.2021.3106497
摘要

High dynamic range (HDR) panoramic environment maps are widely used to illuminate virtual objects to blend with real-world scenes. However, in common applications for augmented and mixed-reality (AR/MR), capturing 360° surroundings to obtain an HDR environment map is often not possible using consumer-level devices. We present a novel light estimation method to predict 360° HDR environment maps from a single photograph with a limited field-of-view (FOV). We introduce the Dynamic Lighting network (DLNet), a convolutional neural network that dynamically generates the convolution filters based on the input photograph sample to adaptively learn the lighting cues within each photograph. We propose novel Spherical Multi-Scale Dynamic (SMD) convolutional modules to dynamically generate sample-specific kernels for decoding features in the spherical domain to predict 360° environment maps. Using DLNet and data augmentations with respect to FOV, an exposure multiplier, and color temperature, our model shows the capability of estimating lighting under diverse input variations. Compared with prior work that fixes the network filters once trained, our method maintains lighting consistency across different exposure multipliers and color temperature, and maintains robust light estimation accuracy as FOV increases. The surrounding lighting information estimated by our method ensures coherent illumination of 3D objects blended with the input photograph, enabling high fidelity augmented and mixed reality supporting a wide range of environmental lighting conditions and device sensors.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
PDF的下载单位、IP信息已删除 (2025-6-4)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
手拿大炮完成签到,获得积分10
刚刚
辛勤的毛毛完成签到 ,获得积分10
刚刚
9528保护我完成签到,获得积分10
1秒前
1秒前
归尘发布了新的文献求助10
1秒前
共享精神应助alho采纳,获得10
1秒前
3秒前
3秒前
Lucas应助Hazel采纳,获得10
4秒前
曾无忧应助奋斗的海豚采纳,获得10
5秒前
Xin_Tang完成签到,获得积分10
5秒前
李健应助qqq采纳,获得10
5秒前
5秒前
赫若魔应助Hhd采纳,获得10
5秒前
6秒前
英姑应助扯淡儿采纳,获得10
6秒前
6秒前
清脆语海发布了新的文献求助10
7秒前
李健应助合适阑悦采纳,获得10
7秒前
浮游应助细心的靖巧采纳,获得10
7秒前
明亮的寻芹完成签到,获得积分10
7秒前
Kiki完成签到 ,获得积分10
8秒前
橙子发布了新的文献求助20
8秒前
einspringen发布了新的文献求助10
8秒前
xiao发布了新的文献求助10
9秒前
打打应助吱吱吱吱在采纳,获得10
9秒前
十九完成签到,获得积分10
9秒前
Amos完成签到,获得积分10
10秒前
Xin_Tang发布了新的文献求助30
10秒前
左友铭发布了新的文献求助10
10秒前
xinxinqi完成签到 ,获得积分10
10秒前
10秒前
11秒前
11秒前
罐罐儿应助拼搏的金针菇采纳,获得10
11秒前
快乐一下发布了新的文献求助20
12秒前
科研通AI6应助Alex采纳,获得200
12秒前
量子星尘发布了新的文献求助10
13秒前
阿泽完成签到,获得积分10
13秒前
深情安青应助我不会积分采纳,获得30
13秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
SOFT MATTER SERIES Volume 22 Soft Matter in Foods 1000
Zur lokalen Geoidbestimmung aus terrestrischen Messungen vertikaler Schweregradienten 1000
Storie e culture della televisione 500
Selected research on camelid physiology and nutrition 500
《2023南京市住宿行业发展报告》 500
Food Microbiology - An Introduction (5th Edition) 500
热门求助领域 (近24小时)
化学 医学 生物 材料科学 工程类 有机化学 内科学 生物化学 物理 计算机科学 纳米技术 遗传学 基因 复合材料 化学工程 物理化学 病理 催化作用 免疫学 量子力学
热门帖子
关注 科研通微信公众号,转发送积分 4884137
求助须知:如何正确求助?哪些是违规求助? 4169517
关于积分的说明 12937642
捐赠科研通 3929850
什么是DOI,文献DOI怎么找? 2156330
邀请新用户注册赠送积分活动 1174727
关于科研通互助平台的介绍 1079546