大模型扎堆「赶考」,语文还是国产AI行,文言文能力超过95%考生
2023-06-09 03:30:11 来源: 量子位

鱼羊 萧箫 发自 凹非寺

量子位 | 公众号 QbitAI


(资料图片)

ChatGPT诞生后的第一场全国高考,考生忙,大模型们也很忙。

这不,高考还没结束,AI挑战高考题就成了刷屏热搜话题,各家大模型都被拉出来写起了高考作文,甚至是参与整场考试。

(不知是不是巧合,Bard还在下午数学高考后,紧急升级了一波数学推理能力……)

结果,竟然有大模型写的作文,把资深高中老师都骗过了!

就在考试当天,百度搜索正在内测的“AI伙伴”,现场直播挑战了一套语文试题。

从“基础题”文言文翻译、阅读填空、古诗词赏析,到“拉分题”微写作和作文,AI伙伴全部上手做了一遍。

结果,当9份“混进”了AI伙伴作品的高考作文送到语文老师庄临旭手上时,他完全没发现有篇是AI写的:

我是真没想到,AI还能写文言文作文

紧接着,AI伙伴展现的文言文理解能力,更是把资深老师吓了一跳:

凭借我的教学经验来看,超过95%的同学没问题。

一整场直播下来,就连围观了AI伙伴考试全程的毕导都感慨:

再来一次高考语文,我可能考不过它……

所以,集成了百度语义检索技术+大模型能力于一身的AI伙伴,整场考试表现具体如何?

咱们一项一项展开来看。

“AI考生”现场挑战语文高考

先来看看大模型的“基础题”——古诗词赏析

面对情感和写法的“找不同”问题,百度搜索AI伙伴胸有成竹,不仅给出了明确的修辞手法,还进一步分析了古诗的来历和情感,属实是阅读理解十分到位了:

再到阅读填空。面对文章解读和“续写句子”能力,AI伙伴同样毫不逊色:

那么,来看看大模型的“拉分题”写微作文,依旧没什么问题!

要是小作文体现不出来,再来看看AI伙伴作诗的能力。不仅现代诗手到擒来,甚至连藏头诗都能搞定:

不过,要是再仔细一点搞搞提示词工程,AI伙伴似乎就答得更好了。

以高考语文题目中的古诗词理解为例,这里我们先在不给提示词的情况下,把题目原样“喂”给AI伙伴:

AI伙伴给出来的答案虽然也不错,但对于高考题目来说,这答案着实有亿点长,也有点太仔细了:

接下来,给AI伙伴换上强调“最重要的三个意象”的提示词。

果然,AI给出了更精准的回答,指出包括病柏、丹凤和鸱鸮在内的三个意象,是最关键的:

但是,上述都还只是直播中展现出来的效果。像AI伙伴这类有大模型加持的功能,其使用效果是否真的和提示词工程强相关?

为了测测AI伙伴的“真正实力”,我们亲自上手测了测它做高考题的效果。

直播中已经做过了全国甲卷的作文题目,那么我们再来试试今年上海卷的作文。

第一轮,我们直接把题目甩过去:

看起来,AI伙伴虽然理解了文章“主旨”,但写出来还差点意思:论点不够明确,作文的结构也不太清晰。

第二轮,我们试着换了一下提示词,给AI伙伴设置一个“角色扮演”效果。

首先,强调它是一名高考考生,然后给它“灌输”一些高考作文的写作技巧:

这一轮,AI伙伴写得就有高考作文内味了。

不仅给出了10字以内的标题,还按照总分总、夹叙夹议的方式,很好地写出了一篇议论文:

看起来,挖掘大模型的潜力,很大程度上确实要依靠提示词工程。

在直播中,百度集团副总裁、搜索平台负责人肖阳还给我们列举了一个非常简洁的提示词公式:

提示词 = 任务 + 角色 + 上下文背景 + 细节补充。

有了它,不用再担心大模型输出和设想无关的答案了。

当然,作为百度“用大模型重塑搜索能力”的终极杀器,AI伙伴能实现的功能,也远不止是做做高考题而已。

最早在2023万象·百度移动生态大会上官宣发布的AI伙伴,目前已经开启内测,获得试用资格后,可以直接从百度搜索界面进入:

它的本职工作,更像是一个搜索引擎端的全能AI助理,不仅具有智能搜索能力,还兼具创作生成技艺:

一方面,AI伙伴相当于一个对话版智能搜索工具。用它查资料,不需要再按关键词搜索,直接“用人话”提问就行:

不仅如此,每一句回答都有理有据,如果想要“追根溯源”,直接点链接就能跳转到对应的网站:

这样一来,就不用担心它会出现像ChatGPT整理文件那样,出现“无中生有”一些案件的操作了。

另一方面,它又相当于一个多模态大模型创作助手

不仅可以帮助查资料、写周报、画头像,还能陪你模拟面试、甚至替你约会(?)。

这里我们借助AI伙伴的“程序猿小助手”,来试试生成一段代码的能力。

以面试可能会考到的冒泡排序算法为例。

很快啊,几乎没有怎么思考,AI伙伴就给出了一段带注释的冒泡排序算法,最关键的是,它自己已经运行过,并成功输出了一段结果

这意味着我们不需要再自己去跑一遍这段代码,而是能直接将它交给面试官了(doge)

从上面这些展现的能力来看,AI伙伴所能做到的,远非仅仅提供高考试题“参考答案”而已。

这次选择用它挑战高考题,大家伙可能看的是个新鲜劲儿,但“术”的表象之外,更值得关注的是“道”的变化:

使得AI伙伴能在高考题面前依旧“神采飞扬”的大模型技术,正在以搜索引擎的代际变革为基点,席卷各行各业,甚至改变每个人的工作方式。

正如ChatGPT搅动风云之初,微软CEO纳德拉预测的那般:搜索正面临巨变。

并且变化的不仅仅是搜索的技术、产品本身,这一次,更与每一个个体有了更紧密的关联。

搜索三变

百度CEO李彦宏同样认为,“大模型即将改变世界”。基于这样的判断,李彦宏2023年一季度OKR,便指向了“引领搜索体验的代际变革”。

现在,三个月过去,大模型究竟如何变革搜索,现在答案已经越来越清晰。

从技术的角度出发,大语言模型的爆发,正在重新定义人机交互

对于人类而言,最自然的交流方式就是语言沟通。而大模型的代际突破,最直观的一点体现,就是机器自然语言聆听表达能力的飞速提升。

回答来自百度搜索AI伙伴

搜索本身,就是一种人机交互的核心方式。其本质的技术追求,就是要让机器更高效地理解、推理、表达,化复杂问题为直观的第一条搜索结果。

因此可以说,大语言模型的突破,正在全面激发搜索全新的潜能。

值得关注的一点是,伴随着AI的发展,搜索始终都是最前沿AI技术最先落地的场景。

以百度搜索为例,围绕“降低用户表达需求门槛”、“降低用户获取内容和服务的门槛”、“丰富搜索引擎的内容供给”这三个目标,百度搜索一直在AI技术上大量投入。

引入大模型之前,百度搜索已经实现:

千亿级全网索引;

全球领先的深度语义理解技术,相关成果曾获2020年国家技术发明奖二等奖;

最大中文知识图谱,覆盖50亿实体。

从产品的角度看,过去三个月,数据已经证明,对话式搜索正在成为搜索引擎市场的一个新变量。

百度集团副总裁、搜索平台负责人肖阳就透露,大模型加持下的AI伙伴,在内测阶段就已爆火,相关搜索问答量激增。

这进一步佐证大模型带来的新人机交互方式,更能满足人们对搜索“快速”、“有效”的诉求。

牵一发而动全身,在现在这个时间节点,围绕搜索的内容生产和创作领域,创新模式也开始逐渐显现,并被积极地探索实践。

同样是在万象大会上,百度搜索还配合AI伙伴,推出了AI BOT解决方案。目的就是向内容、服务生产者释放大语言模型和AI技术能力,降低其与新搜索模式融合的门槛。

具体来说,百度搜索提供了创作者、商家、机构、服务和品牌等各类型的AI BOT,让他们能够利用自身优势和独特的内容、知识、服务,创造虚拟分身,直接回答用户的问题。

在技术和产品之外,更与每个人息息相关的,是用户搜索方式的改变

正如前文所展示的,大模型时代,“提问题”的能力正在变得越来越关键。

体现在现阶段,就是提示词写得好不好,会直接影响搜索生成结果的质量。是否掌握提示词工程能力,就像互联网时代开启时,是否掌握搜索能力一样关键。

对此,肖阳提到了“搜商”的概念:

未来不仅要卷智商、情商,还要卷“搜商”。

更好地使用提示词,更好地使用AI伙伴,获得的优势会越来越大。

也就是说,找到合适提示词的能力越强,越能在大模型落地应用的时代里,充分利用大模型的强大生产力。

可以说,大模型刮起的时代风暴之下,搜索三变,既是内在技术瓶颈的代际突破,亦是外在人类接触信息方式的彻底变革。

无怪乎肖阳作为技术变革的一线亲历者,会有这样的判断:

语义检索技术与大语言模型结合,促进搜索的理解、推理、组织和创作潜能进一步释放,有望在多方面催生颠覆式创新,促成搜索奇点降临

并且这一次,或许每一个人都会真真切切感受到这种代际变革带来的影响。

One More Thing

说起来,就在高考这两天,AI加持下的百度搜索,忙的还不止有刷题这件事儿。

每年此时,百度都会启动专门的高考服务,通过搜索和AI核心技术,为考生和家长提供便利。

今年,百度还基于AI技术,首次推出了高考搜索指数,涵盖专业搜索热度及变化趋势、“院校PK”等信息。考生家长在择校选专业的时候,可以更方面地参考对比。

AI志愿助手也进行了重大升级,能更直观地展示志愿预测结果,提供相关数据来辅助考生家长做决策。

对了,利用高考搜索指数和其他高考相关搜索数据,百度还联合中国教育在线掌上高考发布了不少有意思的数据:

高校方面,搜索热度最高的本科院校里,南方高校霸榜双一流和非双一流大学前十。

专科院校中,山东是搜索职业教育最多的省份。

专业方面,医学搜索热度断层第一,航空航天热度攀升最快。

而最有“钱”景的,是船舶电子电气工程……

关键词:
责任编辑: 梅长苏