5月17日，谷歌在其I/O開發(fā)者大會上發(fā)布的最新通用大語言模型PaLM2使用的訓(xùn)練數(shù)據(jù)，幾乎是2022年的上一代模型的5倍。該模型采用了3.6萬億個令牌（token）進(jìn)行訓(xùn)練。之前版本的PaLM發(fā)布于2022年，當(dāng)時使用的令牌為7800億個。
新的模型比之前的大語言模型更小，這就意味著該公司的技術(shù)效率得以提升，但卻可以完成更加復(fù)雜的任務(wù)。PaLM2基于3400億個參數(shù)訓(xùn)練，這項(xiàng)指標(biāo)可以說明該模型的復(fù)雜程度。最初的PaLM則基于5400億個參數(shù)訓(xùn)練。
因此，該模型在編程、數(shù)學(xué)和創(chuàng)意寫作方面的表現(xiàn)更為優(yōu)秀。
根據(jù)公開披露的信息，PaLM2比現(xiàn)有的任何模型都更加強(qiáng)大。Facebook在2月份宣布的LLaMA大語言模型采用1.4萬億個令牌。OpenAI上一次披露GPT-3的訓(xùn)練規(guī)模時表示，它當(dāng)時基于3000億個令牌。OpenAI今年3月發(fā)布GPT-4時表示，它在許多專業(yè)測試中展示出“與人類媲美的表現(xiàn)”。
谷歌和OpenAI都在努力吸引想要用聊天機(jī)器人代替?zhèn)鹘y(tǒng)搜索引擎，從而直接獲取答案的用戶。
谷歌在一篇關(guān)于PaLM2的博文中表示，該模型使用了一種名為“計(jì)算機(jī)優(yōu)化擴(kuò)張”的新技術(shù)。這就讓大語言“更高效、整體性能更好，包括加快推理速度、減少參數(shù)調(diào)用和降低服務(wù)成本。”
該模型針對100種語言進(jìn)行訓(xùn)練，可以執(zhí)行更廣泛的任務(wù)。它已經(jīng)被用于25項(xiàng)功能和產(chǎn)品，包括該公司的實(shí)驗(yàn)性聊天機(jī)器人Bard。按照從小到大的規(guī)模劃分，該模型共有4種，分別是壁虎（Gecko）、水獺（Otter）、野牛（Bison）和獨(dú)角獸（Unicorn）。
隨著新的人工智能應(yīng)用快速進(jìn)入主流，圍繞底層技術(shù)的爭議也越來越激烈。
谷歌高級研究科學(xué)家艾爾·邁赫迪·艾爾·麥哈麥迪（El Mahdi El Mhamdi）于今年2月辭職，主要原因就是人工智能技術(shù)缺乏透明度。本周二，OpenAI CEO山姆·阿爾特曼（Sam Altman）出席美國國會針對隱私和技術(shù)舉行的聽證會，他也認(rèn)為需要設(shè)立一套新的制度來應(yīng)對人工智能的潛在問題。