首个人工智能国家标准评测基准体系——“求索”正式发布
- 2024/11/26 16:08:01 184
- 来源：中国电子技术标准化研究院
【仪表网 行业标准】人工智能是新一轮科技革命和产业变革的重要驱动力量，正在引领全球经济发展。如何准确、客观、全面衡量当前人工智能系统能力，成为产学研用各界关注的重要问题。为提升产业规范化水平和促进技术路线收敛，完善配套评测基准，打造智能化时代的新“标尺”，电子标准院会同产学研用优势机构，共同打造“求索”人工智能国家标准评测基准体系。围绕算力、大模型、软硬协同等重点方向，孵化了12项国家标准，开发了系列评测基准工具：人工智能系统性能测试基准(AISBench)；大模型评测基准(LMBench)；人工智能软硬件适配测试工具(AICL)。
21日会上，“求索”人工智能国家标准评测基准体系由中国电子技术标准化研究院副院长刘贤刚、国家能源集团数据中心总经理张延生、中国物流集团有限公司科技创新部总经理张晖、中国建筑集团有限公司信息化管理部副总经理王剑涛、中国铁建股份有限公司科数部副总经理隋舟、中石油昆仑数智科技有限责任公司首席技术专家罗革新、中国钢研科技集团有限公司人工智能首席张云贵、中国移动研究院管理运营部副总经理刘伟东、中国电信研究院大数据与人工智能研究所所长王峰、中国电力科学研究院人工智能研究所党委书记/副所长周飞、南方电网人工智能科技有限公司副总经理梁寿愚、宝山钢铁股份有限公司数智技术创新中心主任张伟共同发布。
人工智能算力测试基准(AISBench):对标MLPerf、SPEC等国际先进计算基准，聚焦我国计算产业发展特色需求，围绕人工智能加速卡、服务器、集群、人工智能计算中心等多种计算产品形态，建设涵盖评测指标、评测方法、模型负载、评测工具等多项关键要素的智能算力测试基准体系，对人工智能计算能力进行全面和量化的评估。AISBench旨在提供一个公平且可重复的基准框架，确保不同智能计算系统能够在相同条件下进行比较，有效指导用户选型。
基础通用大模型测试基准和行业大模型测试基准(LMBench):通过主客观相结合的大模型评测方法，从语言、语音、视觉、多模态等任务领域，以及通用性、智能性等系列维度指标开展大模型能力验证，以大模型评测平台为支撑开展大模型测评，帮助用户优中选优。LMBench也可为智能体、具身智能、空间智能等前沿领域的大模型技术创新提供有力支撑，以及推动大模型技术在不同产业场景中的深度融合与协同发展。
人工智能软硬件适配测试工具(AICL):面向异构人工智能计算设备协同以及软硬件南北向互联互通需求，建立跨架构、跨平台的标准化适配技术体系，指导大规模人工智能软硬件系统和算力设施兼容适配。AICL旨在实现人工智能计算接口“大一统”，清除CUDA、oneAPI、OpenCL等国外适配体系的技术路线限制，引领自主智能算力产业生态建设。为适应人工智能计算技术日新月异的趋势，AICL依托开源开放社区，根据技术产业发展情况动态更新、实时滚动。
目前，AISBench、LMBench、AICL已经得到50余家单位的支持和参与，形成了科学化、体系化的基准体系。未来，以国家标准为核心指引的“求索”人工智能国家标准评测基准体系，将持续秉持开放合作的态度，持续完善人工智能基准评测标准规范，不断优化评测指标、评测方法和评测工具，及时回应产业界、学术界对人工智能规范化发展的热切关注，引领产业生态建设，更好满足人工智能产业高质量发展对标准化的迫切需求，有力支撑人工智能赋能新型工业化。
全部评论