中国信通院可信 AI 代码大模型和智能开发工具新一轮评估报名启动

2024-07-30 06:07

软件工程与大模型的深度交叉融合带来软件软件工程领域深刻变革，在大模型强力赋能下，软件工程正逐步走出一条持续融合、创新发展的“人工智能 +”道路。中国信息通信研究院（以下简称“中国信通院”）高度关注软件工程领域智能化发展动态，成立智能化软件工程（AI4SE）工作组，联合工商银行牵头，与科大讯飞、华为云、平安银行、阿里云、中金、东吴证券、中信银行、蚂蚁、360、天翼数字生活、交通银行、网易数帆、深圳集义等四十余家相关行业重点企业，共同编制和发布了《智能化软件工程技术和应用要求第 1 部分：代码大模型》和《智能化软件工程技术和应用要求第 2 部分：智能开发能力》标准。

代码大模型标准聚焦大模型在软件工程领域展现的服务能力，评价指标覆盖通用能力、专用场景能力和应用成熟三大能力域；智能开发标准围绕基础能力和高级能力两大维度，从技术、使用、安全和工程化等角度，对智能开发工具和落地能力提出了全栈技术要求。

2024 年 5 月至 6 月，中国信通院完成首批可信 AI 代码大模型能力评估并发布评估结果，智谱 CodeGeeX 代码大模型、阿里通义灵码代码大模型、商汤小浣熊代码大模型、华为云盘古研发大模型通过评估。2024 年 7 月，中国信通院启动了首批智能编码工具能力评估，评估结果和解读将于近期正式发布。

图 1 可信 AI 代码大模型评估结果发布

为了进一步推动智能化软件工程高质量发展，现正式启动代码大模型和智能开发工具的新一轮评估报名工作。

一评估对象

本标准适用于金融、科技、互联网、电信、软件等各行业，生产、使用或计划使用代码大模型或智能开发工具的企业。一是为模型厂商提供代码大模型能力的评价和指导标准，帮助提升产品能力；二是为模型应用方提供有效衡量其能力水平的标准依据，帮助企业提供选型参考；三是提供评估软件工程领域配套工具智能化能力水平的标准，推动行业智能化进程。

二代码大模型评估内容

代码大模型评估以《智能化软件工程技术和应用要求第 1 部分：代码大模型》为依据，包含 3 个能力子域、16 个能力项、20+ 个能力子项及 100+ 个能力要求。

图 2 代码大模型标准结构

三智能开发工具评估内容

《智能化软件工程技术和应用要求第 2 部分：智能开发能力》包含 6 个能力项、21 个能力子项近 300 项能力要求。报名参评的企业可根据情况选择如下评估内容，包括智能编码工具评估、低代码智能开发能力评估、代码质量检查工具评估。

图 3 智能开发工具标准结构

四评估流程

中国信通院将持续关注和跟踪智能化软件工程（AI4SE）领域动态，并联合 AI4SE 工作组进一步推动行业发展。目前在开展评估工作的同时，工作组已启动智能测试相关标准的编制，以及基于大模型的智能运维相关标准的研讨等各项工作，欢迎更多企业加入。

现正式启动代码大模型和智能开发工具的新一轮评估报名，报名截止 2024 年 8 月 23 日。

报名请联系

中国信通院人工智能研究所

闫老师：13041008356 (微信同号)
齐老师：18686962307 (微信同号)
秦老师：13488684897 (微信同号)

中国人工智能产业发展联盟（AIIA）智能化软件工程工作组（AI4SE 工作组），于 2023 年 9 月正式成立，旨在进一步发挥生成式 AI、大模型等人工智能技术在软件工程领域的潜力，充分释放 AI 赋予软件工程的价值。AI4SE 工作组已吸纳 130+ 成员单位，覆盖金融、电信、软件等诸多行业，欢迎更多企业加入，请联系上述联系人。