标题 |
CacheGen: KV Cache Compression and Streaming for Fast Large Language Model Serving
CacheGen:用于快速大型语言模型服务的KV缓存压缩和流式传输
相关领域
计算机科学
隐藏物
压缩(物理)
并行计算
材料科学
复合材料
|
网址 | |
DOI | |
其它 |
期刊: 作者:Yuhan Liu; Hanchen Li; Yihua Cheng; Siddhant Ray; Yuyang Huang; et al 出版日期:2024-07-31 |
求助人 | |
下载 | 该求助完结已超 24 小时,文件已从服务器自动删除,无法下载。 |
温馨提示:该文献已被科研通 学术中心 收录,前往查看
科研通『学术中心』是文献索引库,收集文献的基本信息(如标题、摘要、期刊、作者、被引量等),不提供下载功能。如需下载文献全文,请通过文献求助获取。
|