谷歌发布最新AI大模型“PaLM2”,相比较“PaLM”数据量扩充5倍

据报道,谷歌在本月早些时候的 I/O 开发者大会上发布了最新的通用大语言模型 PaLM2。内部文件显示,这个模型在训练时使用了 3.6 万亿个令牌,几乎是之前版本 PaLM 使用令牌数的五倍。这些令牌指代单词串,可以教导模型如何预测字符串中下一个可能出现的单词,是训练大语言模型的重要基础。

PaLM2 在编程、数学和创意写作等方面表现更出色,因为它可以执行更广泛的任务。使用了一项名为“计算机优化扩张”的新技术,该模型的整体性能更好,包括推理速度更快、参数调用更少、服务成本更低。

虽然谷歌和 OpenAI 都没有透露具体的训练数据规模和其他细节,但有些业内人士呼吁企业加强透明度。这与底层技术的争议越来越激烈有关。许多人工智能研究人员认为,随着新的人工智能应用不断进入主流,越来越多的企业应该开放更多的数据和算法。

从 PaLM2 的发布来看,谷歌希望展示其人工智能技术的实力,以及嵌入搜索、电子邮件、字处理和电子表格后的效果。但该公司却依旧不愿公开其训练数据规模和其他细节。微软支持的 OpenAI 也没有透露其最新的 GPT-4 大语言模型的细节信息。这些公司表示,不透露这些信息是出于商业竞争的考虑。谷歌和 OpenAI 都在努力吸引追求更快捷的答案的用户,希望用聊天机器人替代传统搜索引擎。

PaLM2 是针对 100 种语言进行训练的,可以执行更广泛的任务。它已经被用于 25 项功能和产品,包括该公司的实验性聊天机器人 Bard。按照从小到大的规模划分,该模型共有 4 种,分别是壁虎(Gecko)、水獭(Otter)、野牛(Bison)和独角兽(Unicorn)。据谷歌的博客文章介绍,这项新模型去掉了之前版本中冗余的参数,更高效,同时表现也更加优秀。此外,谷歌在发布 PaLM2 时证实了媒体此前的报道:PaLM2 比现有的任何语言模型都更加强大。

谷歌并非唯一一家实行商业竞争策略的公司。Facebook 于今年 2 月份宣布的 LLaMA 大语言模型采用了 1.4 万亿个令牌,OpenAI 上一次披露 GPT-3 的训练规模时表示,它基于 3000 亿个令牌进行训练。今年 3 月,OpenAI 发布的 GPT-4 在许多专业测试中显示出“与人类媲美的表现”。

随着新的人工智能应用程序不断进入主流,围绕底层技术的争议也越来越激烈。爱尔•麦哈迪•艾尔•迈赫迪(El Mahdi El Mhamdi)是一位谷歌资深研究科学家,于今年 2 月份辞职,他认为人工智能技术缺乏透明度。本周二,OpenAI CEO 山姆•阿尔特曼(Sam Altman)出席美国国会的听证会,表示需要制定一套新的制度以应对人工智能可能带来的问题。

“对于一种新技术,我们需要一套新的框架。”阿尔特曼说,“当然,像我们这样的公司应该为我们推出的工具承担许多责任。”

发评论,每天都得现金奖励!超多礼品等你来拿

登录后,在评论区留言并审核通过后,即可获得现金奖励,奖励规则可见:查看奖励规则
暂无评论...