Efficient single- and multi-DNN inference using TensorRT framework

计算机科学 吞吐量 深层神经网络 推论 调度(生产过程) 库达 人工神经网络 人工智能 并行计算 操作系统 无线 运营管理 经济
作者
Vyacheslav Zhdanovskiy,Lev Teplyakov,Philipp Belyaev
标识
DOI:10.1117/12.3023487
摘要

In the recent years, there has been a significant growth of interest in real-world systems based on deep neural networks (DNNs). These systems typically incorporate multiple DNNs running simultaneously. In this paper we propose a novel approach of multi-DNN execution on a single GPU using multiple CUDA contexts and TensorRT, state-of-the-art DNN inference framework. We show that it can lead to more efficient scheduling of multiple DNNs, especially in case when a lightweight and a heavy DNNs are inferred together. We show that our approach can provide an almost 7x increase in the throughput of a lightweight DNN at the cost of neglible throughput drop of a heavy DNN, compared to the baseline. Moreover, we compare two ways of improving throughput of a single DNN by processing multiple images together: standard batching and implicit batching by processing multiple images simultaneously using several TensorRT execution contexts. We show that meanwhile standard batching outperforms implicit batching at larger batch sizes, implicit batching can provide up to 43% more throughput for a smaller DNN using smaller batch size.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
PDF的下载单位、IP信息已删除 (2025-6-4)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
刚刚
1秒前
1秒前
忧伤的二锅头完成签到 ,获得积分10
1秒前
充电宝应助顺心的翠丝采纳,获得10
1秒前
栓Q完成签到,获得积分10
1秒前
2秒前
Demon完成签到,获得积分10
2秒前
Silvia发布了新的文献求助10
3秒前
3秒前
蝶舞天涯完成签到,获得积分10
3秒前
配你zzz关注了科研通微信公众号
3秒前
彬墩墩发布了新的文献求助10
3秒前
开心的小熊完成签到,获得积分10
3秒前
萧水白发布了新的文献求助100
4秒前
科研助手6应助sandy_bear采纳,获得10
4秒前
翻斗花园爆破手小胡完成签到,获得积分10
4秒前
4秒前
化学完成签到,获得积分20
5秒前
yiersan完成签到,获得积分10
6秒前
至幸发布了新的文献求助10
6秒前
pbj发布了新的文献求助10
6秒前
一一完成签到,获得积分10
6秒前
6秒前
1nbnbnb1完成签到,获得积分10
6秒前
7秒前
量子星尘发布了新的文献求助10
7秒前
ding应助yf37采纳,获得10
7秒前
Du发布了新的文献求助10
7秒前
贪玩的元彤完成签到,获得积分10
7秒前
liu完成签到,获得积分10
8秒前
花藏影完成签到,获得积分10
8秒前
Wxj246801完成签到,获得积分10
8秒前
www发布了新的文献求助10
9秒前
细腻晓露完成签到,获得积分10
9秒前
明月曾经川岸去完成签到,获得积分10
9秒前
风信子完成签到,获得积分10
9秒前
佐佐木淳平完成签到,获得积分10
9秒前
颖涵完成签到,获得积分10
9秒前
黄桂斌应助钱奕明采纳,获得10
10秒前
高分求助中
【提示信息,请勿应助】关于scihub 10000
The Mother of All Tableaux: Order, Equivalence, and Geometry in the Large-scale Structure of Optimality Theory 3000
Social Research Methods (4th Edition) by Maggie Walter (2019) 2390
A new approach to the extrapolation of accelerated life test data 1000
北师大毕业论文 基于可调谐半导体激光吸收光谱技术泄漏气体检测系统的研究 390
Phylogenetic study of the order Polydesmida (Myriapoda: Diplopoda) 370
Robot-supported joining of reinforcement textiles with one-sided sewing heads 360
热门求助领域 (近24小时)
化学 材料科学 医学 生物 工程类 有机化学 生物化学 物理 内科学 纳米技术 计算机科学 化学工程 复合材料 遗传学 基因 物理化学 催化作用 冶金 细胞生物学 免疫学
热门帖子
关注 科研通微信公众号,转发送积分 4009325
求助须知:如何正确求助?哪些是违规求助? 3549162
关于积分的说明 11301105
捐赠科研通 3283572
什么是DOI,文献DOI怎么找? 1810370
邀请新用户注册赠送积分活动 886205
科研通“疑难数据库(出版商)”最低求助积分说明 811301