实测阿里版ChatGPT:回答问题注重逻辑,比想象中更聪明

ChatGPT的出现引领新一轮技术创新,各行各业将会如何被颠覆是2023年外界最关心的话题。

文|另镜 刘雨婷

编辑|陈彦旭

科技技术在改变人与工具的交互方式。PC时代的Apple Lisa电脑,是首次采用图形用户界面和鼠标的个人电脑;到智能手机时代,iPhone定义了触控交互。下一步,ChatGPT类的多模态大模型又将影响未来AI的发展方向和人类的工作方式。

未来科技产业注定是变革和颠覆的一年,新时代属于造梦者、勇闯者,甚至是孤独者。在外界看来,新的科技也许在不久的将来会打破现有的商业格局。大浪淘沙,敢为者先。

新浪潮下,另镜推出「Tech潮向」专题系列报道,洞察当下前沿科技新变革和发展趋势,报道前沿科技企业新战略、新思维,提供更多具有前瞻思考的价值信息。此篇为该系列报道第三篇,聚焦新一轮新科技ChatGPT开启。

4月7日,阿里版GPT官宣内测,自研大模型“通义千问”开始邀请用户测试体验,现阶段主要定向邀请企业用户进行体验测试。

最近一段时间以来,ChatGPT成了互联网领域最大的风口,国内受追捧热度同样高涨,百度文心一言率先发布,美团联合创始人王慧文早已宣布入场,360集团创始人周鸿祎也公开演示了其公司的聊天机器人。

ChatGPT的出现引领新一轮技术创新,各行各业将会如何被颠覆是2023年外界最关心的话题。

阿里此次发布的通义千问是达摩院自主研发的超大规模语言模型,可以回答问题、创作文字,以及表达观点、撰写代码。

另镜拿到“通义千问”首批邀测资格,在登陆“通义千问”后,其主页页面主要突出了四个功能:职场助理、撰写短文、写封邮件和电影脚本。

在二级入口“百宝袋”中,通义千问举例了更多应用场景,包括提升工作效率的写提纲、SWOT分析、商品描述生成;生活类的菜谱、小学生作文、接文续写;以及娱乐类的彩虹屁、情书、写诗。

另镜通过邀测码对通义千问进行了体验,从问题回答、观点表达、逻辑计算等多个方面对“通义千问”进行测试,并与文心一言、ChatGPT(GPT-4)的回答进行对比。

能写英文推荐信

首先,另镜测试了几个大模型对于最新热点的了解,提问其是否了解最近刚刚成为网络热点的熊猫“花花”。

通义千问给出了回答,识别出提问者是想了解具体熊猫个体“花花”,但可惜或受限于语料资料,并未能给出正确介绍。

通义千问答案

正确信息:花花,本名和花,雌性大熊猫,2020年7月4日出生在成都大熊猫繁育研究基地月亮产房。

文心一言、ChatGPT则是未能理解提问者的具体意图,均未能将问题回答落实到具体个体上。

文心一言答案

ChatGPT答案

这也在一定程度上体现了几个大模型对于新闻热点的滞后捕捉问题。作为国外的语言大模型,ChatGPT在中英文互译过程中的信息理解偏差也是使用者要面临的问题。

之后,另镜测试了通义千问对于问题的逻辑理解能力。另镜用一个藏有逻辑“陷阱”的问题进行测试:眼镜没发明出来之前,眼镜蛇叫什么?

在首次测试中,通义千问未能正确解答问题,但在第二次重新回答后,其回答眼镜蛇有另一个名字——眼镜王蛇,以及该名称来源,但这也并未能避开“眼镜”这个问题。

通义千问答案

文心一言则是给出了眼镜蛇的其他名称,避开了“眼镜”字眼。

文心一言答案

ChatGPT则是成功理解了问题逻辑,解开了文字矛盾,并介绍了眼镜蛇的命名方式。

ChatGPT答案

在接下来的提问中,另镜特意测试了“通义千问”对于中文诗句的理解:“云渺渺,水茫茫。征人归路许多长。相思本是无凭语,莫向花笺费泪行”是什么意思?

通义千问答案

与百度文心一言、ChatGPT相比,通义千问的回答要更简洁一些,文心一言、ChatGPT详细解释了每句诗词的意思和情感表达。

文心一言答案

ChatGPT答案

接下来,另镜测试了通义千问对中文诗句的更深层理解,细化到具体诗句词语:“凄凄惨惨戚戚中”的戚戚是什么意思?

在这个问题上,通义千问并未能识别诗句出处,在中文文学理解方面还略有不足。

通义千问答案

文心一言回答出了诗句原文,但并没能对具体词语进行解释。

文心一言答案

ChatGPT虽然回答出了具体词语意思,但也并未回答诗句出处,并将“凄凄惨惨戚戚”错误理解成了四个形容词。

ChatGPT答案

除中文语料测试外,另镜也测试了通义千问的英文输出能力。另镜要求通义千问用英文写一封推荐信,推荐学生申请硕士,通义千问给出了相应推荐信模板。

通义千问答案

有理科生气质

在观点表达方面,通义千问、文心一言、ChatGPT体现了不同的分析框架。

另镜要求三者评价马斯克和他的登月计划:

通义千问从技术才华、商业才华、人品道德三方面,分条展现了评价马斯克的角度,这个评价框架具有一定的通用性、

通义千问答案

与通义千问偏“理科生”的逻辑性回答不同,文心一言的回答更像是一篇“文科生”的感性作文。

文心一言答案

ChatGPT则是回答了大众对于马斯克的看法,直接介绍了马斯克的身上的标签,更加有针对性。

ChatGPT答案

在评价马斯克后,另镜要求三者分析其太空移民计划能否成功。与上个问题相似,通义千问分条回答了该问题,文心一言写了一段小作文。

通义千问答案

文心一言答案

ChatGPT则是深入分析了太空移民计划目前面对的困难,有针对性的分析了能否成功的具体因素,回答也更实际。

ChatGPT答案

还不能替小学生写作业

在数学逻辑方面,通义千问、文心一言、ChatGPT都遇到了困难。另镜挑选了两道小学六年级奥数题,在回答第一道逻辑判断题问题时,通义千问和ChatGPT回答正确,文心一言则出现判断错误。

通义千问和ChatGPT通过语言逻辑解答了问题,但在更具体的数学公式搭建上却遇到困难。

在回答第二道数学计算问题时,通义千问、文心一言、ChatGPT都出现错误。三者给出了解答公式,进行推算,但是都未能给出正确答案。

正确答案是:20小时。

写在最后

目前,各个大模型的表现都不算完美。但正如通义千问所介绍的,语言大模型的未来是非常广阔的。

随着人工智能技术的不断发展和普及,语言大模型将被越来越多的应用于自然语言处理领域的各种任务。例如,语言大模型可以用于翻译、问答系统、智能客服、机器翻译、文本分类等。

同时,语言大模型也将促进人工智能技术在其他领域的应用,例如智能驾驶、医疗健康、金融服务等。未来,语言大模型将会持续发展和创新,为人类社会带来更多的便利和效益。

无论现在OpenAI、百度、阿里旗下的聊天机器人表现如何,这也只是AI技术迭代的最开始,未来的路还有很长。

声明:本文内容仅代表该投稿文章作者观点,不代表蓝鲸号立场。 未经授权不得随意转载,蓝鲸号保留追究相应责任的权利