酷搜科技 智能生活 谁说国产AI不行了?清华大模型报告最新评测出炉!

谁说国产AI不行了?清华大模型报告最新评测出炉!

由清华大学基础模型研究中心联合中关村实验室研制的SuperBench大模型综合能力评测框架,正式对外发布202…

由清华大学基础模型研究中心联合中关村实验室研制的SuperBench大模型综合能力评测框架,正式对外发布2024年3月版《SuperBench大模型综合能力评测报告》。评测共包含了14个海内外具有代表性的模型,结果显示:文心一言4.0中文理解、数学等多能力全球第一。

图片

评测显示,文心一言4.0表现优异,在中文推理、中文语言等评测上遥遥领先,和其他模型拉开明显差距。中文理解上,文心一言4.0领先优势明显,领先第二名GLM-4
0.41分,GPT-4系列模型表现较差,排在中下游,并且和第一名文心一言4.0分差超过1分。

在语义理解中的数学能力上,文心一言4.0与Claude-3并列全球第一;
GPT-4系列模型位列第四五,其他模型得分在55分附近较为集中,明显落后第一梯队;而在语义理解中的阅读理解能力上,文心一言4.0超过GPT-4
Turbo、Claude-3以及GLM-4拿下榜首。

在企业选择大模型最看重的安全性评测上,国内模型文心一言4.0表现亮眼,力压国际一流模型GPT-4系列模型和Claude-3拿下最高分(89.1分),Claude-3仅列第四。

(来源:ITBEAR)

免责声明:本文上述内容出于传递更多信息之目的,并不意味着赞同其观点或证实其描述,也不构成任何其他建议。其文中陈述文字和内容来源于第三方或网络,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。如有稿件内容、版权等问题请及时联系我们进行处理。http://www.kusoukeji.com/25654.html

作者: usere678u6eu

发表评论

联系我们

联系我们

微信:nvshen2168

在线咨询: QQ交谈

邮箱: 8253665@qq.com

工作时间:周一至周五,9:00-17:30,节假日休息

返回顶部