据报道，谷歌在本月早些时候的 I/O 开发者大会上发布了最新的通用大语言模型 PaLM2。内部文件显示，这个模型在训练时使用了 3.6 万亿个令牌，几乎是之前版本 PaLM 使用令牌数的五倍。这些令牌指代单词串，可以教导模型如何预测字符串中下一个可能出现的单词，是训练大语言模型的重要基础。

PaLM2 在编程、数学和创意写作等方面表现更出色，因为它可以执行更广泛的任务。使用了一项名为“计算机优化扩张”的新技术，该模型的整体性能更好，包括推理速度更快、参数调用更少、服务成本更低。

虽然谷歌和 OpenAI 都没有透露具体的训练数据规模和其他细节，但有些业内人士呼吁企业加强透明度。这与底层技术的争议越来越激烈有关。许多人工智能研究人员认为，随着新的人工智能应用不断进入主流，越来越多的企业应该开放更多的数据和算法。

从 PaLM2 的发布来看，谷歌希望展示其人工智能技术的实力，以及嵌入搜索、电子邮件、字处理和电子表格后的效果。但该公司却依旧不愿公开其训练数据规模和其他细节。微软支持的 OpenAI 也没有透露其最新的 GPT-4 大语言模型的细节信息。这些公司表示，不透露这些信息是出于商业竞争的考虑。谷歌和 OpenAI 都在努力吸引追求更快捷的答案的用户，希望用聊天机器人替代传统搜索引擎。

PaLM2 是针对 100 种语言进行训练的，可以执行更广泛的任务。它已经被用于 25 项功能和产品，包括该公司的实验性聊天机器人 Bard。按照从小到大的规模划分，该模型共有 4 种，分别是壁虎（Gecko）、水獭（Otter）、野牛（Bison）和独角兽（Unicorn）。据谷歌的博客文章介绍，这项新模型去掉了之前版本中冗余的参数，更高效，同时表现也更加优秀。此外，谷歌在发布 PaLM2 时证实了媒体此前的报道：PaLM2 比现有的任何语言模型都更加强大。

谷歌并非唯一一家实行商业竞争策略的公司。Facebook 于今年 2 月份宣布的 LLaMA 大语言模型采用了 1.4 万亿个令牌，OpenAI 上一次披露 GPT-3 的训练规模时表示，它基于 3000 亿个令牌进行训练。今年 3 月，OpenAI 发布的 GPT-4 在许多专业测试中显示出“与人类媲美的表现”。

随着新的人工智能应用程序不断进入主流，围绕底层技术的争议也越来越激烈。爱尔•麦哈迪•艾尔•迈赫迪（El Mahdi El Mhamdi）是一位谷歌资深研究科学家，于今年 2 月份辞职，他认为人工智能技术缺乏透明度。本周二，OpenAI CEO 山姆•阿尔特曼（Sam Altman）出席美国国会的听证会，表示需要制定一套新的制度以应对人工智能可能带来的问题。

“对于一种新技术，我们需要一套新的框架。”阿尔特曼说，“当然，像我们这样的公司应该为我们推出的工具承担许多责任。”