| 标题 |
 基于多维优化的多出口 DNN 推理加速，实现边缘智能 相关领域
计算机科学
推论
试验台
延迟（音频）
边缘设备
GSM演进的增强数据速率
加速度
分布式计算
最优化问题
人工智能
分拆（数论）
云计算
算法
计算机网络
电信
数学
组合数学
操作系统
物理
经典力学
|
| 网址 | |
| DOI | |
| 其它 | 摘要：边缘智能作为加速 DNN 推理的前瞻性范式，主要通过模型分区实现，这不可避免地会产生 DNN 中间数据的巨大传输开销。一种流行的解决方案引入了多出口 DNN，通过启用提前退出来减少延迟。然而，现有的工作忽略了退出设置和协同推理之间的相关性，导致设备到边缘的不协调。针对这一问题，本文首先研究了边缘计算中执行多出口 DNN 的瓶颈，并构建了一种具有出口选择、模型分区和资源分配的推理加速新模型。为了解决棘手的耦合子问题，我们提出了一个基于 M 终极维 O ptimization （MAMO） 的 M 最终退出 DNN 推理 A 加速框架。在 MAMO 中，首先从原始问题中提取退出选择子问题。然后，采用双向动态规划来确定任意多出口 DNN 的最佳退出设置。最后，基于最优退出设置，开发基于 DRL 的策略来学习模型分区和资源分配的联合决策。我们将 MAMO 部署在真实世界的测试台上，并评估其在各种场景中的性能。大量实验表明，它可以适应异构任务和动态网络，并将 DNN 推理速度提高多达13.7×与最先进的相比。 |
| 求助人 | |
| 下载 | |
|
温馨提示：该文献已被科研通 学术中心 收录，前往查看
科研通『学术中心』是文献索引库，收集文献的基本信息（如标题、摘要、期刊、作者、被引量等），不提供下载功能。如需下载文献全文，请通过文献求助获取。
|
爱静静
嘉心糖
杳鸢
tuanheqi
Billy
模糊中正
Jarvis Lin
ocean
YifanWang
Singularity
pcr163
从容芮
Marciu33
年轻新晴
子车茗
andrele
科目三
大模型
自由一一
野性的柠檬
皖公网安备34019202002308
