3月16日,百度正(zhèng)式(shì)发(fā)布大(dà)语(yǔ)言模型、生成式AI产(chǎn)品“文心一言”。百度创始(shǐ)人、董事(shì)长兼首席执行(háng)官李彦宏及百度首席技术官王海峰出席发布会。李彦(yàn)宏展示了文心一言在文(wén)学创(chuàng)作、商(shāng)业(yè)文案创(chuàng)作、数理推算(suàn)、中文(wén)理解、多模态生成五个(gè)使(shǐ)用场景中的综合(hé)能力。
“生(shēng)成式AI代(dài)表着新的技术范式,是任(rèn)何企(qǐ)业都(dōu)不应错过的大机会。”李彦宏说,“这段时(shí)间(jiān)不断有人问我,为什么现(xiàn)在发布(bù),你们是(shì)不是真的ready了?其实(shí),百度在过去十几年中持续在AI研发(fā)上坚持投入,文心大模型第一个版(bǎn)本2019年就发布了(le),此后的每一年(nián)都发布一个新版本,从这个意义上说(shuō),文心一言(yán)的发布(bù)只是我们过去多年(nián)努力的一个自然延续。”
李彦宏(hóng)表示,大家的期(qī)望值是要对(duì)标ChatGPT,甚至要对标(biāo)GPT-4,这(zhè)个门槛还是很高的。全球的大厂当中,百度是第一个“发布”的。他(tā)说(shuō),内测中(zhōng)“文心一言”并不完(wán)美,之所(suǒ)以(yǐ)现在要发布,原因在于市场(chǎng)有强烈(liè)需求。其定(dìng)位是通用大模型。
李彦宏认为,多模(mó)态是生成(chéng)式AI一(yī)个明确的发展趋(qū)势。未(wèi)来,随着百度多(duō)模态统一大(dà)模(mó)型(xíng)的能(néng)力增强,文心一言(yán)的(de)多模态生成能力也会不断提升。而大(dà)模型会带(dài)来三大产业(yè)机会(huì):新型云计算、行业模型精调、应用开发。
发(fā)布(bù)会举行时(shí),截至14时22分,百度集团(09888.HK)股价跌幅(fú)扩大(dà)至近10%,报120.5港元/股。
演示(shì)五个(gè)场景下的(de)能力
发布会上,百度播放了“文心一(yī)言”的(de)演示视频,以下为演(yǎn)示(shì)实录。
文(wén)学创作

问(wèn)题:
· 《三体》的作者是哪里人?
· 可(kě)以总结一下《三体》的核心内容吗?如果要(yào)续写(xiě)的话(huà),可以从哪(nǎ)些角度出发(fā)?
· 如何从(cóng)哲学的(de)角度续写?
· 电(diàn)视剧《三(sān)体》演员都有谁?
· 于和伟和(hé)张鲁一(yī)有哪些共(gòng)同点?
· 于和(hé)伟(wěi)和张鲁一谁更高?
李彦宏:刚才(cái)的演示(shì)中,“总结三体(tǐ)的核心内容”,体现的是文心一言的总结(jié)、分析能力。续写《三体》,体现(xiàn)的是内容创作生成能力。
《三体》的作者是谁?他是哪里人?电视剧三体演员都有谁?文心一言(yán)回答是正确(què)的。大家可能知道,生(shēng)成式AI这类产品,在(zài)回答事实性(xìng)问题(tí)时,有时候(hòu)会(huì)出错。文心(xīn)一言(yán)延续(xù)了百度知识增强的(de)大模型理念,大幅度提升(shēng)了事实性问题的准(zhǔn)确率。
于和伟和张鲁一(yī)有哪(nǎ)些共同(tóng)点、于和伟和(hé)张鲁一(yī)谁更高?这类(lèi)问(wèn)题(tí)背后,则体现的是(shì)文心(xīn)一言的(de)推理能力。比如,它得先知(zhī)道两人的准确身高,才能得出(chū)正确答(dá)案。
商业文案创作

问题:
· 如果要成立一个用大模型服务中小(xiǎo)企业数(shù)字化升级的(de)科(kē)技服(fú)务公司,可以起个什么公司名?
· 数智云(yún)图(tú)这个名称不错,给我起一个(gè)公司的服务Slogan,表达共(gòng)赢的(de)概(gài)念。
· 帮我生成(chéng)一篇(piān)公司成(chéng)立(lì)的新闻稿,数智云图(tú)以(yǐ)共赢的服(fú)务(wù)理念(niàn)用(yòng)大模型(xíng)服(fú)务中小企业数(shù)字化升级(jí)。字数600字。
李彦宏(hóng):刚才(cái)的演示(shì),展现了文(wén)心一言连(lián)续三(sān)次内容创作生成。
AI要写好一篇(piān)稿子(zǐ),除了需要准确理(lǐ)解我们的意图,还(hái)要(yào)有清(qīng)晰(xī)的表达(dá)能力。
这(zhè)背(bèi)后(hòu)有一个基础,就是庞大的数据规模。人(rén)类常说“读万卷书”,而(ér)AI可以说是 “读书破千亿卷”。文心一言大模型的训练数据就包括,万亿级网页数据,数十亿的搜索数据和图片数据,百亿(yì)级的(de)语音日均调用(yòng)数据,以及5500亿事实的(de)知识图谱等,这让百度在中文语言(yán)的处理上,能够(gòu)处于独(dú)一无二的位(wèi)置。
有(yǒu)研究表明,数据规模足够(gòu)大(dà),参数达到千亿级,大模型就可(kě)能发生“智能涌现(xiàn)”,即使在没有专门训练(liàn)过的领域,也能涌现出知识理解和逻(luó)辑推理(lǐ)能力。
数理逻(luó)辑(jí)推算任务

问题(tí):
· 下面我们来玩(wán)一个鸡兔同笼(lóng)的游戏。1只鸡有2只脚1个头,1只(zhī)兔子(zǐ)有4只脚1个头(tóu)。那么,如果有一个(gè)笼子(zǐ)里有9个头,40只脚,应该有多少只鸡,多少只兔子(zǐ)?
· 下面我们来(lái)玩一个鸡兔同笼的游戏。1只(zhī)鸡有2只脚1个(gè)头,1只兔子有4只脚1个头。那么,如果有一个笼子(zǐ)里有9个头,30只脚,应该有多少只鸡,多少只兔子?
李彦宏:对于第一道题,文心一言经(jīng)过演算,认(rèn)为可能是题出错了。对于第二道,文心一言不但给出了正确结果,还(hái)详细给出解题步骤。可以看出,文心一言(yán)能(néng)理解题意,并有正确的解题思路(lù),进而像学生做(zuò)题一(yī)样,按正确的步骤,一步(bù)步算(suàn)出正确答案。
文心一言(yán)已具(jù)备了一定的思维能(néng)力,能够(gòu)学会数学推演及(jí)逻辑推理这类相对复杂(zá)任务。当然(rán),现阶段准(zhǔn)确率还不是100%,我们还(hái)需(xū)要给它更多的时间(jiān)来(lái)学习和成长。
中文理解能力(lì)

问题:
· “洛阳纸贵”是什么意思(sī)?
· 当时洛阳(yáng)的纸到底有多贵(guì)?
· 这个成语在现在的经济学原理(lǐ)里(lǐ),对应的理论是什么?
· 用洛阳纸贵(guì)四个字写(xiě)一首藏头(tóu)诗。
李彦宏:“洛阳纸(zhǐ)贵”,“藏头诗”,这很考验AI对中文和中国文化(huà)的理解。
作(zuò)为扎根(gēn)于中国市场的大(dà)语言模型,文心一言具(jù)备(bèi)中文领(lǐng)域最先(xiān)进的自然(rán)语言处(chù)理能(néng)力。这个例子(zǐ)就比较清楚(chǔ)地展(zhǎn)示了我们在中文上的优势。
相对应的,文心(xīn)一言目前对英文语种、代码场景的训练还不够多,表现还不够好,接下来我们还要加紧训练,不断(duàn)完善这(zhè)些能力。
多模(mó)态生成

问(wèn)题:
· 请为2023世界智能交通大会创作一张海报。
· 你认为智能交通最适合哪(nǎ)个城市(shì)发展?
· 请用四川话将以上内(nèi)容讲(jiǎng)出来。
· 请将以上内(nèi)容生成视频。
李彦宏:刚才这一段演示,文心一言生成了文(wén)本、图片、音(yīn)频和视(shì)频,展示了多模(mó)态生(shēng)成(chéng)能力。目前(qián)的版本(běn),已经能够生成文字、图片和语音。生成视频因为(wéi)成本(běn)比较高,还没有对所有用户开放,未来我们会逐(zhú)步接入。但是熟悉(xī)百家号(hào)创(chuàng)作的朋友(yǒu),应该都(dōu)体验过这个功能了,每天(tiān)有几万篇文章通(tōng)过(guò)这个能力转成视频(pín)内容(róng)在百(bǎi)度分(fèn)发。
多模态是生成式AI一个明确的发(fā)展趋势。未来(lái),随着百度多模(mó)态统一大模型的能力增强,文心一言(yán)的多模态生成能力,也(yě)会不(bú)断提升。
“四层架(jià)构的每一层都(dōu)有(yǒu)领(lǐng)先产(chǎn)品”
在结(jié)束演(yǎn)示(shì)后,李彦宏总结道:“从文心一言的表(biǎo)现看,某种(zhǒng)程度上它具有了对人类意图的理解能力,回(huí)答的准确性(xìng)、逻辑性(xìng)、流畅(chàng)性(xìng),都逐渐接近人类水平。但整体(tǐ)而言(yán),这类大语言模型还(hái)远(yuǎn)未到(dào)发展(zhǎn)完善的阶段,它们有时候会有很惊艳的表(biǎo)现,但不(bú)少(shǎo)场景下(xià),细究起来还有明(míng)显的bug,进(jìn)步(bù)空(kōng)间(jiān)很大。未(wèi)来这(zhè)段时(shí)间它一定会(huì)飞速发展,日新月异。”
李彦宏表示,通过定向微(wēi)调,可以在百度内外部各类产品上逐步展(zhǎn)示出(chū)惊人的亲和(hé)力(lì),让每一个产(chǎn)品离自己的用户和(hé)客户更近。文心一言这样的大语(yǔ)言模型(xíng),会成为(wéi)每个人必(bì)不可少的生产力工具。不过,无论是(shì)哪家公司,都不可能靠突击几个月就能做出这样的大(dà)语言模型。深(shēn)度学(xué)习、自然(rán)语言处理(lǐ),需(xū)要多年的坚持和积累,没(méi)法速(sù)成(chéng)。
“人类进入人工智能时代,IT技(jì)术(shù)的技(jì)术栈发生了根本性变(biàn)化。过去基本分为三层:芯片层,操作系统层和应用层。现在可以分为四层:芯片(piàn)层、框架层、模型(xíng)层和应用层。”他介绍说,“今天,百度是全球为数不多、在这四层进行全(quán)栈布局的人工(gōng)智能公司,从高端芯片昆仑芯,到飞桨深度学(xué)习(xí)框架,再到文心预训练大模型,到搜(sōu)索、智能云、自动驾驶、小度等应用(yòng),各(gè)个层面都有领先业(yè)界的自研技术。”
文心(xīn)一言位于(yú)模(mó)型层。2019年(nián),百度(dù)推出了文心大模型(xíng)ERNIE 1.0。目前,ERNIE 3.0每天(tiān)接(jiē)受数十亿次用户的(de)搜索请求。这(zhè)让文(wén)心一言能够基于(yú)一个庞(páng)大的、高效的数据池,快速地(dì)学(xué)习和改进。
“大模型训练堪称暴力美学(xué),需要有大算力、大(dà)数据和(hé)大模型,每一次训练(liàn)任务都耗(hào)资巨大。全栈(zhàn)布局的优势在于,可(kě)以在技术栈的四层架构(gòu)中,实现端到端优化,大幅提升效率。尤其是,框架层(céng)和模型层之间(jiān),有很强(qiáng)的协(xié)同作(zuò)用,可以帮助(zhù)构建更高效的(de)模型,并显著降低成本。事实上,超大规模模型的训练和推理,给深度学习框架带(dài)来了很大考验。比如,为了支持千亿参数模型的高效分布式训(xùn)练,百度飞桨专(zhuān)门研发了 4D 混合并行技术。”李彦宏介绍道。
“另外,芯片、框架(jià)、大模型和终端(duān)应用场景,可以形成一个高效(xiào)的反馈闭环,帮助(zhù)大(dà)模型不断去调优迭代,越做越好(hǎo)。更好的(de)大模(mó)型(xíng),会让(ràng)用户体验不断升级。”
最后(hòu),李彦宏强调:“在全球范围内,在四层架构的(de)每一层都有领(lǐng)先产品(pǐn)的公司几乎没有,百度的优势非常独特(tè),相(xiàng)信(xìn)大(dà)家(jiā)会在后(hòu)续文心的迭代(dài)速度上有明显感受(shòu)。”