IDC发布2024大模型评估报告

6月12日,国际数据公司IDC发布《中国大模型市场主流产品评估,2024》,从基础能力到应用能力7大维度对11家大模型厂商的16款市场主流产品进行实测。IDC认为,从2024年二季度开始,中国市场迎来了一波基础大模型及产品的更新升级,2024年产业界更加关注大模型和生成式AI的落地,技术供应商需持续优化生成质量,提高生成速度并降低大模型使用成本,加快大模型技术的应用与普及。

据介绍,IDC此次采取实测的方式,成立产品测试团队,通过多个维度对基础大模型及相关产品进行评测,并邀请外部专家团队深入分析各个产品答案准确性、合理性等,在审核委员会的监督下,最终得出各厂商的评估结果,供用户选型参考。百度、OpenAI、阿里、商汤、科大讯飞、百川、智谱、昆仑万维等11家大模型厂商参与了本次评估。

结果显示,百度旗下生成式AI产品文心一言和文心一格在问答理解类、推理类、创作表达类、数学类、代码类的基础能力,toC通用场景类、toB特定行业类的应用能力等7大维度均具备领先优势。

其中,在基础能力评测中,大模型产品在问答理解类、推理类和创作表达类的成熟度较高。应用能力评测主要评估大模型产品在办公工具、生活助手等toC通用场景类和toB特定行业类的表现。评测结果显示,百度文心大模型在搜索、写邮件、文生图表等办公场景和衣食住行、生活服务、闲聊创意等生活助手场景中都具备优势。此外,文心大模型已经在能源、金融、媒体、医疗、通信、制造、交通、互联网等行业形成广泛的落地应用生态。