PaLM 2：Google的下一代大型语言模型

Google最近推出了新一代的大型语言模型，名为PaLM 2。这款模型建立在Google在机器学习和负责任的人工智能研究的丰富历史之上，比Google之前的最新技术，包括PaLM，都有更高的性能。它在包括代码和数学，分类和问答，翻译和多语言能力，以及自然语言生成等高级推理任务上表现卓越，这要归功于其在建造过程中结合了计算优化的扩展，改进的数据集混合，以及模型架构的改进​¹​。

PaLM 2有能力将复杂的任务分解成更简单的子任务，并且比以前的大型语言模型，如PaLM，更好地理解人类语言的细微之处。例如，PaLM 2擅长理解谜语和习语，这需要理解词语的模糊和象征性含义，而非字面意思​²​。

PaLM 2在平行多语言文本以及比其前身PaLM更大的不同语言语料库上进行了预训练，使得它在处理多语言任务方面表现出色​³​。此外，PaLM 2还在大量的网页，源代码和其他数据集上进行了预训练，使得它不仅擅长处理流行的编程语言如Python和JavaScript，也能生成Prolog，Fortran和Verilog等专业编程语言的代码。结合其语言能力，可以帮助跨语言的团队进行协作​⁴​。

在构建PaLM 2的过程中，研究者们采用了三项在大型语言模型中的重大研究进展：计算优化的扩展，改进的数据集混合，以及更新的模型架构和目标。这些进步使得PaLM 2比PaLM小，但性能更高，包括更快的推理速度，更少的参数需求，以及更低的服务成本​⁵​。

在评估PaLM 2的性能方面，它在WinoGrande和BigBench-Hard等推理基准任务上达到了最新的结果。相较于之前的大型语言模型PaLM，PaLM 2在XSum, WikiLingua和XLSum等基准上表现出更高的多语言能力。此外，PaLM 2在葡萄牙语和中文等语言上的翻译能力也超过了PaLM和Google Translate。而在负责任的人工智能开发和安全承诺方面，PaLM 2也做出了持续的努力【58†source】。