生成式 AI、大语言模型和智能代理正在改变存储行业

4个月前 30观看

分析:生成式 AI 正如决堤的洪水一样席卷整个 IT 行业。许多供应商将其视为继互联网之后又一个划时代的变革,但也有人担心这可能会演变成类似互联网泡沫的事件。aLn喜好网-记录每日喜好的科技时尚娱乐生活

无论如何,从内存-存储接口层面开始,AI 正在深刻地改变着 IT 存储领域,生成式 AI 的浪潮正推动着所有存储技术的发展。纵观存储领域,生成式 AI 正在通过六种方式改变着块存储、文件存储和对象存储的世界。aLn喜好网-记录每日喜好的科技时尚娱乐生活

在最底层,也就是存储系统与服务器内存交互的层面,Nvidia GPU 及其高带宽内存 (HBM) 的出现,使文件存储系统和阵列控制器处理器及其 DRAM 的主要任务变成了简单地让路,允许 NVMe 闪存驱动器通过远程直接内存访问和 GPUDirect 协议直接连接到 GPU 内存,实现高速数据传输。aLn喜好网-记录每日喜好的科技时尚娱乐生活

DapuStor、DDN、Dell、华为、IBM (Storage Scale)、NetApp、Pure Storage、VAST Data、WEKA、YanRong 以及 PEAK:AIO 和 Western Digital (OpenFlex) 等公司都在这一领域活跃。就连 Nutanix 也计划添加 GPUDirect 支持。aLn喜好网-记录每日喜好的科技时尚娱乐生活

这种非结构化数据传输方式正在扩展到对象存储领域,使得 PB 级的预留数据可以被释放出来用于 AI 训练,以及后续由 GPU 执行的推理过程。近几个月来,Cloudian、MinIO 和 Scality 都发布了相关新闻。aLn喜好网-记录每日喜好的科技时尚娱乐生活

存储媒体制造商也在对生成式 AI 作出反应。SSD 制造商和 NAND 生产商认识到生成式 AI 需要快速读取大量数据,这意味着他们必须生产使用经济实惠的 QLC (4bits/cell) 3D NAND 的大容量驱动器,如 62TB 和最近的 123TB SSD。生成式 AI 训练还需要快速作业检查点以实现更快的训练作业重启。aLn喜好网-记录每日喜好的科技时尚娱乐生活

Solidigm 在 2023 年 7 月就推出了 61.44TB D5-P5336 驱动器,随后 Micron、母公司 SK hynix 和三星也跟进。Phison 也进入这个市场,推出了与 Solidigm 最新的 122TB 驱动器相当的 Pascari D205V 122.8TB 驱动器。aLn喜好网-记录每日喜好的科技时尚娱乐生活

我们可能会在今年年底或 2026 年初看到容量翻倍的新产品。硬盘驱动器 (HDD) 并没有用于 AI 训练,因为它们太慢且容量有限。在使用 GPU 进行 AI 推理时,出于相同的速度和容量考虑,SSD 肯定也会是存储的首选,这对 x86 服务器来说也是如此。如果 AI PC 流行起来,基于相同的原因,它们也都将使用 SSD 而不是 HDD。aLn喜好网-记录每日喜好的科技时尚娱乐生活

这意味着 HDD 只能用于生成式 AI 的二级存储,到目前为止,这种情况还没有大规模发生。希捷、西部数据,毫无疑问还有东芝,都将 HDD 市场扩张的希望寄托在生成式 AI 的数据存储需求上,并且似乎对此充满信心。aLn喜好网-记录每日喜好的科技时尚娱乐生活

磁带市场完全没有受到生成式 AI 数据存储需求的直接影响,而且可能也不会受到影响。aLn喜好网-记录每日喜好的科技时尚娱乐生活

在存储堆栈的驱动器媒体之上,我们有块存储阵列、文件服务器和对象存储系统。如上所述,几乎所有的文件服务器供应商和对象存储供应商都受到了支持 GPUDirect 访问驱动器的影响。一些供应商构建了专门的 AI 系统,如 Pure Storage 的 Airi 产品。VAST Data、DDN、WEKA 等公司通过获得 Nvidia SuperPOD 认证,销售额有所增长。aLn喜好网-记录每日喜好的科技时尚娱乐生活

随着生成式 AI 聊天机器人在非结构化数据上进行训练并转换为向量嵌入,块存储并没有提供类似 GPUDirect 的访问,而块存储对事务数据库和 ERP 系统至关重要。aLn喜好网-记录每日喜好的科技时尚娱乐生活

在知识图谱领域,像 Graphwise 和 Illumex 这样的公司正在努力使这些数据可用于 AI 训练。aLn喜好网-记录每日喜好的科技时尚娱乐生活

存储阵列和数据平台供应商都在改造他们的软件,以支持添加专有和最新的非结构化数据,来增强由较旧和更通用数据训练的生成式 AI 大语言模型 (LLM) 的推理能力。这些数据必须向量化,并将生成的向量存储在数据库中,供 LLM 在检索增强生成 (RAG) 中使用。aLn喜好网-记录每日喜好的科技时尚娱乐生活

现有的非 RDBMS 数据库、数据仓库和数据湖供应商正在向其产品添加向量存储功能,如 SingleStore。像 Pinecone 和 Zilliz 这样的数据库初创公司已经开发了专门的向量数据库,承诺提供更好的性能和增强对 LLM 的支持。aLn喜好网-记录每日喜好的科技时尚娱乐生活

数据仓库和数据湖供应商正在疯狂地进行以生成式 AI 为中心的开发,以成为 AI 训练和推理数据的数据源。其中最引人注目的是 Databricks 在去年年底获得了 100 亿美元的风险投资,用于继续其生成式 AI 业务的发展。aLn喜好网-记录每日喜好的科技时尚娱乐生活

第五个受生成式 AI 影响很大的存储领域是数据保护,供应商已经意识到他们的备份存储中包含大量可被生成式 AI 代理使用的数据。像 Cohesity、Commvault 和 Rubrik 这样的供应商正在提供自己的 AI 代理,如 Cohesity 的 Gaia,并且也在开发 RAG 支持设施。aLn喜好网-记录每日喜好的科技时尚娱乐生活

总的来说,没有数据存储供应商能够忽视 RAG,因为预计所有数据存储都必须为其提供数据。提供这些数据并不像简单地给 LLM 提供 API 访问并让模型提取所需的任何数据那么简单。一个组织通常会有许多不同的数据存储,要使其内容得到适当过滤,排除完全私密的信息或低于访问 LLM 权限的数据,需要建立生成式 AI 版本的提取、转换(成向量)和加载 (ETL) 管道设置。aLn喜好网-记录每日喜好的科技时尚娱乐生活

像 Arcitecta、Datadobi、DataDynamics、Hammerspace 和 Komprise 这样的数据管理和编排供应商都在发挥各自的作用,包括映射数据源、提供单一虚拟存储库,以及构建数据管道将他们管理的数据输入到 LLM 中。aLn喜好网-记录每日喜好的科技时尚娱乐生活

存储供应商也开始在自己的产品中使用生成式 AI 代理,例如用于支持,或简化和改进存储产品的管理和安全性。这将影响所有存储系统供应商,而 AIOps 将通过生成式 AI 代理的使用而转型;可以将其理解为代理式 AIOps。aLn喜好网-记录每日喜好的科技时尚娱乐生活

网络弹性领域将需要抵御生成式 AI 代理辅助的恶意软件攻击,并且肯定会使用生成式 AI 代理来构建对此类攻击的响应。aLn喜好网-记录每日喜好的科技时尚娱乐生活

我们将在整个 2025 年看到存储世界被生成式 AI 持续改变。这种趋势似乎无法阻止,除了恶意软件代理外,应该是有益的。aLn喜好网-记录每日喜好的科技时尚娱乐生活

本文链接:http://www.xihao.site/showinfo-1-67090.html生成式 AI、大语言模型和智能代理正在改变存储行业

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com。天上从来不会掉馅饼,请大家时刻谨防诈骗