6月最新中文通用大模型测评出炉:360智脑多项能力国内持续领跑

6月19日,中文通用大模型基准(SuperCLUE)最新发布“6月榜单”,三六零集团(601360.SH,以下简称360)自研认知型通用大模型“360智脑”多项能力蝉联国产大模型第一,部分能力评分已超越GPT-3.5甚至超越GPT-4。

SuperCLUE是针对中文可用的通用大模型测评基准,代表时下中文大模型的发展效果情况。SuperCLUE从基础能力、中文特性、学术与专业能力三个层面对国内外通用大模型产品进行测试,“360智脑”在以上三方面均位列国内第一,世界第三。

上月出炉的SuperCLUE榜单中,360智脑已取得“国产大模型第一”的成绩。为避免“刷题”,确保结果公正客观,SuperCLUE在6月新一轮测评中采用了全新独立的评测数据集,同时数量级扩大近10倍到3714道题。测试结果显示,360智脑与GPT-3.5的总分差距从上月的8分缩小至本月的5分以内,同时在上下文对话、语义理解、计算等能力上,评分已追平甚至超越GPT。

据了解,过去3个月内,360智脑已完成从1.0版本到4.0版本的迭代,刷新了国产大模型的“中国速度”。“360智脑4.0”已具备跨模态生成能力,并依托该能力全国首发大模型定制“AI数字人”和“文生视频”功能。