每经记者｜杨卉 每经编辑｜魏官红
DeepSeek 爆火后，算力成本终会降低成了行业共识。但选择哪一路径，是数据中心、一体机还是推理服务器，业内尚未有统一的定论和参考模式。6 月 13 日，在 「2025 红帽媒体 Open 讲」 线下交流会上，红帽全球副总裁兼大中华区总裁曹衡康告诉 《每日经济新闻》 记者，在红帽看来，今年是 AI（人工智能） 的推理元年。AI 进入了推理后，意味着所有的 AI 应用将正式开始上线运行，并且为企业带来业务收入以及内部成本控制等实际效益。
红帽大中华区方案架构部总经理王慧慧还透露，目前业界的推理技术栈里大概有两个主流的技术方向，红帽选择的是其中一个——「vLLM」（一个高性能大语言模型推理框架，现已成为开源领域的事实标准推理服务器，支持多种加速器和分布式部署，广泛应用于生产环境）。
「这是目前最热的一个推理社区。我们发现，来自中国的贡献者占到这个社区 35% 的贡献量。这也印证了也许推理在中国将会是最热，也是第一个带来企业价值的。」 王慧慧提到，在做推理的过程中有两个技术点较难克服：怎样用最小的硬件设备、最小的成本完成最高性能推理；可不可以不把推理的工作量集中在单一台服务器，而是分散到不同的服务器上，做一个分布式的推理引擎。
基于这一背景，红帽在 2025 年推出了推理服务器。根据红帽方面介绍，使用推理服务器的最大优势就是降低企业的算力成本。不过，该公司高管也在采访中多次强调，红帽不做硬件，只做软件。
随着未来算力成本的降低，行业对芯片算力卡的需求是否会有变化？曹衡康告诉 《每日经济新闻》 记者，在他看来，目前 AI 的应用还不够多。「毕竟用 AI 成本太高。假设今天 （原本） 有 1000 家企业用 （AI），成本降低了会是 1 万家、10 万家、100 万家企业用。GPU（图形处理器） 的量一定会起来的。现在我们的做法就是让门槛更低。」 曹衡康称。
封面图片来源：视觉中国-VCG211322973159
文章转载自 每经网