标题 |
异构边缘计算中用于协作 DNN 推理的设备放置和模型分区的联合优化
相关领域
计算机科学
接头(建筑物)
推论
GSM演进的增强数据速率
边缘计算
分布式计算
人工智能
建筑工程
工程类
|
网址 | |
DOI | |
其它 | 摘要:EdgeAI 代表了一种通过模型分区在网络边缘部署 DNN 模型的引人注目的方法。然而,大多数现有的分区策略主要集中在同构环境中,而忽略了设备放置的影响及其对异构设置的不适用性。此外,这些策略通常依赖于数据并行或模型并行,每种策略都有自己的局限性,包括数据同步和通信开销。本文旨在通过利用设备之间的并行和顺序关系,通过设备管道系统提高推理性能。因此,多设备协作 DNN 推理问题是通过优化设备放置和模型分区来制定的,同时考虑到异构边缘资源和 DNN 模型的独特特性,以实现吞吐量最大化。为此,我们提出了一种进化设备放置技术,通过增强粒子群优化的变体来确定设备的管道阶段。随后,通过分别结合基于动态规划的层内和层间模型分区和 DNN 层的输入输出映射,开发了一种自适应模型分区策略,以适应边缘资源限制。最后,我们构建了一个仿真模型和一个原型,大量的结果表明,我们提出的算法优于当前最先进的算法。 |
求助人 | |
下载 | 求助已完成,仅限求助人下载。 |
温馨提示:该文献已被科研通 学术中心 收录,前往查看
科研通『学术中心』是文献索引库,收集文献的基本信息(如标题、摘要、期刊、作者、被引量等),不提供下载功能。如需下载文献全文,请通过文献求助获取。
|