算力两极分化，边缘计算AI升级

据 IDC 发布的《全球边缘计算支出指南》预测,全球边缘计算支出在 2024 年将达到 2280 亿美元,预计到 2028 年将增长至 3780 亿美元。

在中国,边缘计算同样展现出强劲的发展势头,2023 年中国边缘计算市场规模达到 732 亿元,预计 2024 年将增长至 975.8 亿元。

而归纳边缘计算产业得以提速发展的原因,行业大模型的应用无疑是重要推动因素之一。

边缘计算迎来产业爆发

今年以来,随着大模型向行业侧倾斜,越来越多应用场景涌现,也带动了计算产业的发展。从目前发展态势上看,算力正呈现出两极化发展的趋势。

一方面,大参数模型的预训练过程,推动算力向着集群化发展,目前已有不少万卡集群涌现,未来将会出现更多万卡集群,集群效应也让大模型的训练更快、更高效。

另一方面,在行业应用侧来看,企业本地化、私有化部署的需求正在推动边缘 AI 算力的发展。目前大多数企业选择本地部署小模型 + 云端调用大模型的方式来赋能场景。对此,浪潮信息边缘计算产品部高级产品经理刘香男告诉钛媒体 APP,边缘 AI 可以提供靠近数据源,更低延时,更快的 AI 计算,同时有效节省数据流量的带宽,能够对一些业务密集型包括实时性要求比较高的应用提供很好的支持。

英特尔公司网络与边缘事业部高级副总裁兼总经理 Sachin Katti 也曾表示,人工智能的未来将依赖于开放的生态系统,人工智能的应用正在从数据中心向边缘侧延伸。

随着 AI 大模型的行业应用加速,边缘计算成为科技企业布局的焦点。Gartner 也对边缘侧 AI 应用做出了预测,数据显示,到 2026 年,全球 80% 的企业将在其业务中引入生成式 AI,其中边缘场景下的 AI 普及率将达到 50%,AI 将成为边缘场景的重要负载。

浪潮信息边缘计算产品线总经理孙波对钛媒体 APP 表示,边缘 AI 让智能更接近设备本身,提供低延时、更安全、更强数据隐私保护的智能算力,边缘计算到边缘智算的迈进将重塑企业的业务模式、运营模式。

英特尔公司副总裁兼网络与边缘事业部中国区总经理陈伟也曾在与钛媒体 APP 的对话中表示,从发展趋势上看,单就英特尔的客户而言,今年探索基于边缘大模型落地的解决方案的客户更多," 今年完全不一样。今年基本上可以说一半以上的客户都在探索基于边缘大模型的落地解决方案,也有非常多的实际案例。" 陈伟进一步指出。

从目前应用上看,在边缘侧的模型参数要比通用大模型的参数小很多,目前在边缘侧的模型参数大多在 7B~10B 之间,而这时候,模型的压缩就成了一件很重要且困难的事。目前主流的模式是,在压缩的同时,将行业专属知识灌进去,也就是俗称的渐进式剪枝的技术方案。

从边缘计算到边缘智算,仍面临四大挑战

当下的边缘计算与传统的边缘计算也有着一些差别,当下的边缘计算应该具备智算的能力,具备承接多元异构算力的能力,所以,准确的说,现在及未来我们需要的是边缘智算。

在边缘计算向边缘智算的发展过程中,也面临着诸多挑战。这其中,最大的一个挑战就是多元异构算力的融合。原有的边缘计算的架构几乎都是基于 CPU 架构展开的,但随着 AI 技术在边缘侧的应用越来越多,边缘侧需要具备人工智能算力的能力,其设备整合 GPU 芯片,混合 GPU、CPU 架构,实现异构算力在边缘侧的融合、协同发展已成为当下边缘计算向边缘智算转变过程中行业首要需要解决的问题。

对此,孙波告诉钛媒体 APP,AI 应用推理场景复杂,业务需求多样,在边缘侧需要多元化、分布式的边缘智算力。企业需要为人工智能、机器学习和大模型建设全新的 IT 基础架构,异构计算将成为主流。边缘侧的异构计算能使企业拥有更高的并行计算和低延迟的计算能力,支持更大容量的内存,以满足当下实时负载增加的需求。此外,边缘 AI 场景还需要计算设备提供更多的外置硬盘插槽,并广泛支持 NVMe/PCIe 等协议,以满足数据洪流的需求。

其次,与传统边缘计算一样,边缘智算也面临着环境带来的挑战,在边缘侧的算力往往部署在高温、高湿等极端环境中。这些环境条件对服务器的稳定性和可靠性提出了更高的要求。" 需要采用先进的散热技术、材料科学和制造工艺来确保服务器在极端环境下仍能保持稳定的运行状态。" 刘香男指出。

再次,因为边缘侧设备分散在各个节点,分布式、跨地域的异构边缘节点从应用场景、算力性能和环境资源等方面都存在差异性,管理难度较高。因此需要远程对硬件、算法和应用进行智能化的运维,并且与云端联动,实现边缘自治、云边资源协同管理等需求。

最后,在刘香男看来,生态的建设也是边缘智算发展面临的重要挑战。边缘智算作为新兴技术趋势,在推动与人工智能应用融合落地的过程中,面临产业和技术链条不相匹配、系统间相互独立,在不同行业、不同企业的生产环境中存在大量不同种类的设备、协议和应用程序,设备接口难统一的问题。这就需要构建更加开放的产品标准,推动产业链上下游的联合创新落地。

厂商积极布局

基于这些挑战,包括浪潮信息、英特尔等众多厂商也在边缘智算方面开始展开积极的布局。

以浪潮信息为例,浪潮信息针对边缘智算的发展趋势,提出了 "4+3+X" 的全栈产品布局。 其中,"4" 代表了浪潮信息四类全新元脑边缘算力产品,包括元脑边缘微中心、元脑边缘服务器、元脑便携 AI 服务器和元脑边缘微服务器;"3" 则是在硬件产品之上,推出了缘视、缘脑、缘智三大智能化管理平台,分别满足不同设备的运维监控;"X" 则是指面向多元场景的各类方案,为用户提供整合上下游产业生态的产品方案能力。

孙波表示,AI 大模型在边缘侧拥有广阔的应用场景,但制造、交通、能源等不同行业和企业的边缘应用场景百花齐放,垂直行业 / 企业的大模型算法开发成本高昂、算力需求多样、模型优化和迁移管理复杂。" 浪潮信息全面升级边缘智算产品家族,4 大硬件产品线全部支持 AI 算力,3 大管理平台也融合了智能化,同时还和伙伴开发了近百种边缘场景化解决方案。" 孙波如是说。

浪潮信息边缘计算产品部高级架构师李宁告诉钛媒体 APP,交通行业的车路云一体化、智慧交通方案是边缘智算发展最为迅速的领域之一。城市可以通过在路侧部署强大的边缘计算设备,实现各个路口智能 " 感知 " 路口事故、拥堵等交通问题,并通过交通流量均衡等算法实时的调控路口交通,不仅疏解拥堵,保障道路安全畅通,也为未来车路云一体化和自动驾驶的落地提供了重要支撑。

英特尔在教育、零售等行业也有重点布局。其中,教育方面,英特尔联合希沃推出了 "AI+ 教育 " 的解决方案,借助英特尔 ® 酷睿TM Ultra 处理器,希沃无需依赖云端计算资源,即可在本地完成 AI 教学大模型的运行,从而提高系统响应速度和稳定性,确保教学过程中的流畅体验。

在零售业方面,多乐之日通过边缘计算技术,打造了智慧门店解决方案。该解决方案可借助门店已有的音视频采集设备,并通过数据整合及优化的管理平台,针对不同门店需求和特点,为其打造一套专属数智化门店模型,提供从商品陈列、门店服务、门店卫生、员工规范、到人群洞察、客流洞察的不同功能,提升了多乐之日门店运营差异化的管理能力、提高了管理效率、降低了人工巡店成本投入并强化了员工规范的执行,加速烘焙行业的智能化发展。

除了整体的解决方案,众多云厂商也开始积极布局边缘侧的平台型产品,阿里云是推出边缘计算平台 " 云边一体 ",能够实现低延迟、高带宽的计算和数据处理,广泛应用于智能制造、智慧城市等领域;京东云推出的边缘计算平台则是着重在京东集团传统优势产业,据悉,平台能够支持多种应用场景,如智能制造、智慧物流等。

硬件厂商、整体解决方案供应商、云厂商等积极布局边缘智算,推动了边缘智算应用的不断涌现,也为千行百业智慧化转型注入了新动能。备受市场和企业关注的边缘智算,将成为竞争激烈的算力市场中的新蓝海。(本文首发于钛媒体 APP,作者|张申宇,编辑丨盖虹达)