铠侠助力单台服务器实现 48 亿级高维向量数据库运行,借助 GPU 将索引构建时间加速 7.8 倍

通过 NVIDIA cuVS 库与 KIOXIA AiSAQ 技术对 1024 维向量进行索引构建,同时大幅降低 DRAM 内存占用

  • 2025 年 3 月 17 日
  • 铠侠公司

东京——全球存储解决方案领导者铠侠宣布,已成功演示基于其开源 KIOXIA AiSAQ™ 近似最近邻搜索(ANNS)技术,在单台服务器上实现可扩展至 48 亿个向量的高维向量搜索。同时,铠侠还展示了通过结合NVIDIA cuVS将打开页面浏览 库的 GPU 加速能力,显著缩短索引构建时间。这两项成果标志着检索增强生成(RAG)搜索解决方案取得重大进展。目前,铠侠正持续研发,以支持超过 48 亿向量的更大规模部署。

长期以来,大规模向量数据库的索引构建耗时过长,一直是行业核心痛点所在。在与 NVIDIA 的合作中,铠侠展示了在处理 1024 维高维向量时,KIOXIA AiSAQ 的索引构建性能提升 20 倍,端到端构建时间缩短 7.8 倍。 20 倍的性能提升意味着,如果仅使用 CPU ,索引构建需要 28.4 天;如果采用 4 颗 NVIDIA Hopper GPU将打开页面浏览 ,仅需要 1.4 天即可完成。端到端测试时间也从 31 天缩短至 4 天。*1

当前 AI 应用对存储于 SSD、规模达数百亿甚至更高量级的海量向量化数据需求日益增长。在数十亿级体量下,仅靠 DRAM 已不具备现实可行性。KIOXIA AiSAQ 技术打造出高度可扩展存储架构,在搭载 Milvus 向量数据库的单台查询服务器中实现数十亿级向量搜索,性能满足 RAG 应用的延迟要求;同时借助 GPU 加速索引构建,使 AI 大规模落地部署变得更加切实可行。

“对于需要实时跨域海量非结构化数据集来理解意图、上下文和相似性的应用而言,向量数据库提供了重要的底层支持,”NVIDIA 存储技术副总裁 Jason Hardy表示,“通过结合 NVIDIA cuVS 库的 GPU 加速索引能力,铠侠以空前高效的方式,支撑大规模高维向量数据库的扩展与索引构建。”

去年首次公布的 KIOXIA AiSAQ 开源软件技术直接从 SSD 层面执行向量搜索,降低了 DRAM 内存占用,有效解决了 RAG 的扩展性难题。该技术具备极强的扩展能力,既适用于用户共享环境(虚拟机),也支持大规模单体索引部署。其采用创新的全局索引算法,将混合聚类与图搜索相结合,可在超大规模下提供极为高效的向量搜索。KIOXIA AiSAQ 凭借灵活可调的参数配置,可在性能与海量向量扩展性之间实现平衡,让大规模部署更易落地、更易扩展。

“将向量数据库扩展至数十亿级规模,需要我们重新审视内存与计算的关系。”铠侠株式会社 SSD 部门副总裁兼常务总监横塚賢志表示,“通过将基于 SSD 的 KIOXIA AiSAQ 向量搜索技术与用于索引构建的 NVIDIA GPU 加速相结合,我们为大规模部署提供了切实可行的索引构建方案。作为行业创新者,我们将继续依托闪存技术探索并拓展 AI 的边界。”

铠侠始终致力于推进以存储为核心的 AI 解决方案,支持大规模智能数据处理,并将持续推动 KIOXIA AiSAQ 向万亿级向量部署方向发展。

 

KIOXIA AiSAQ 开源软件下载链接:

备注:

  1. 本次基准测试处理向量数据总量为 19.66 TB。性能及基准测试结果可能随主机设备、读写条件、数据大小及其他因素有所差异。
  • KIOXIA AiSAQ 是铠侠株式会社的商标。
  • 所有公司名称、产品名称和服务名称可能是其各自公司的商标。

 

关于铠侠

铠侠是全球存储器解决方案领导者,致力于开发、生产和销售闪存及固态硬盘(SSD)。东芝公司于1987年发明了NAND闪存, 在2017年4月铠侠前身东芝存储器集团从东芝公司剥离。铠侠致力于通过提供产品、服务和系统,为客户创造选择并为社会创造基于记忆的价值,以“记忆”提升世界。铠侠的创新 3D 闪存技术 BiCS FLASH™,正在塑造诸多高密度应用的未来存储方式,其中包括高端智能手机、PC、SSD、汽车、数据中心和生成式AI系统等。

 

Information in this document, including product prices and specifications, content of services and contact information, is correct on the date of the announcement but is subject to change without prior notice.