Learning Modality-Specific Representations for Visible-Infrared Person Re-Identification

计算机科学 人工智能 判别式 模式 分类器(UML) 模式识别(心理学) 模态(人机交互) 计算机视觉 机器学习 社会科学 社会学
作者
Zhanxiang Feng,Jianhuang Lai,Xiaohua Xie
出处
期刊:IEEE transactions on image processing [Institute of Electrical and Electronics Engineers]
卷期号:29: 579-590 被引量:122
标识
DOI:10.1109/tip.2019.2928126
摘要

Traditional person re-identification (re-id) methods perform poorly under changing illuminations. This situation can be addressed by using dual-cameras that capture visible images in a bright environment and infrared images in a dark environment. Yet, this scheme needs to solve the visible-infrared matching issue, which is largely under-studied. Matching pedestrians across heterogeneous modalities is extremely challenging because of different visual characteristics. In this paper, we propose a novel framework that employ modality-specific networks to tackle with the heterogeneous matching problem. The proposed framework utilizes the modality-related information and extracts modality-specific representations (MSR) by constructing an individual network for each modality. In addition, a cross-modality Euclidean constraint is introduced to narrow the gap between different networks. We also integrate the modality-shared layers into modality-specific networks to extract shareable information and use a modality-shared identity loss to facilitate the extraction of modality-invariant features. Then a modality-specific discriminant metric is learned for each domain to strengthen the discriminative power of MSR. Eventually, we use a view classifier to learn view information. The experiments demonstrate that the MSR effectively improves the performance of deep networks on VI-REID and remarkably outperforms the state-of-the-art methods.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
大幅提高文件上传限制,最高150M (2024-4-1)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
伯爵完成签到 ,获得积分10
1秒前
rinuagene发布了新的文献求助10
1秒前
柔弱荔枝完成签到,获得积分10
1秒前
1秒前
kaww发布了新的文献求助20
2秒前
视野胤发布了新的文献求助10
2秒前
外向梦安发布了新的文献求助200
2秒前
机智张关注了科研通微信公众号
2秒前
博利完成签到,获得积分10
2秒前
2秒前
alex发布了新的文献求助10
2秒前
2秒前
2秒前
niluofan完成签到,获得积分10
3秒前
科研牛马完成签到,获得积分10
3秒前
3秒前
日暖月寒完成签到,获得积分10
4秒前
4秒前
lk65734完成签到,获得积分10
4秒前
5秒前
1s发布了新的文献求助10
6秒前
7秒前
mmmmmMM完成签到,获得积分10
7秒前
7秒前
asdadadad完成签到,获得积分10
8秒前
鲤鱼千风完成签到,获得积分10
8秒前
一禾发布了新的文献求助10
9秒前
若水发布了新的文献求助10
9秒前
mmmmmMM发布了新的文献求助10
9秒前
fufu发布了新的文献求助10
9秒前
ldgsd完成签到,获得积分10
9秒前
Hector发布了新的文献求助10
10秒前
10秒前
靓丽初蓝发布了新的文献求助10
11秒前
隐形曼青应助MOON采纳,获得30
12秒前
晓语发布了新的文献求助10
12秒前
1s完成签到,获得积分10
12秒前
xiaoming应助苹果树采纳,获得10
12秒前
12秒前
xiaomamx完成签到,获得积分10
13秒前
高分求助中
Tracking and Data Fusion: A Handbook of Algorithms 1000
Models of Teaching(The 10th Edition,第10版!)《教学模式》(第10版!) 800
La décision juridictionnelle 800
Rechtsphilosophie und Rechtstheorie 800
Academic entitlement: Adapting the equity preference questionnaire for a university setting 500
Arkiv för kemi 400
Machine Learning in Chemistry 400
热门求助领域 (近24小时)
化学 医学 材料科学 生物 工程类 有机化学 生物化学 物理 内科学 纳米技术 计算机科学 化学工程 复合材料 基因 遗传学 物理化学 催化作用 免疫学 细胞生物学 电极
热门帖子
关注 科研通微信公众号,转发送积分 2877336
求助须知:如何正确求助?哪些是违规求助? 2490329
关于积分的说明 6741288
捐赠科研通 2172046
什么是DOI,文献DOI怎么找? 1154161
版权声明 586070
科研通“疑难数据库(出版商)”最低求助积分说明 566681