标题 |
![]() 在支持TrustZone的消费者物联网设备上实现内存高效且安全的DNN推理
相关领域
计算机科学
推论
物联网
嵌入式系统
人工智能
|
网址 | |
DOI | |
其它 |
摘要: 边缘智能支持资源要求苛刻的深度神经网络 (DNN) 推理,而无需传输原始数据,从而解决了消费者物联网 (IoT) 设备中数据隐私的担忧。对于隐私敏感型应用程序,在硬件隔离的可信执行环境 (TEE) 中部署模型变得至关重要。但是,TEE 中有限的安全内存为部署 DNN 推理带来了挑战,并且模型分区和卸载等替代技术会带来性能下降和安全问题。在本文中,我们提出了一种在 TrustZone 中进行高级模型部署的新方法,该方法可确保在模型推理过程中进行全面的隐私保护。我们设计了一种内存高效的管理方法,以支持 TEE 中的内存需求推理。通过调整内存优先级,我们有效地缓解了内存泄漏风险和内存重叠冲突,导致可信作系统中代码修改 32 行。此外,我们还利用两个微型库:S-Tinylib (2538 LoC) (一个微型深度学习库)和 Tinylibm (827 LoC) (一个微型数学库),以支持 TEE 中的高效推理。我们在 Raspberry Pi 3B+ 上实现了一个原型,并使用三个著名的轻量级 DNN 模型对其进行了评估。实验结果表明,与 TEE 中的非内存优化方法相比,我们的设计显著提高了推理速度 3.13 倍,功耗降低了 66.5% 以上。 |
求助人 | |
下载 | 求助已完成,仅限求助人下载。 |
温馨提示:该文献已被科研通 学术中心 收录,前往查看
科研通『学术中心』是文献索引库,收集文献的基本信息(如标题、摘要、期刊、作者、被引量等),不提供下载功能。如需下载文献全文,请通过文献求助获取。
|