北京智源人工智能研究院在6月10日的“2023 北京智源大会”发布了悟道3.0大模型系列,包括悟道・天鹰(Aquila)语言大模型系列、基于“天秤(FlagEval)”大语言评测体系及开放平台开发的评测体系以及悟道・视界视觉大模型系列。
其中悟道・天鹰Aquila语言大模型系列是第一个中英文双语大模型,支持商用并且遵循数据合规要求,在中英语料库的基础上训练得出。该系列模型中的7B、33B和AquilaChat对话模型、AquilaCode文本代码生成模型均获得发布。
在技术上,7B、33B以GPT-3、LLaMA等架构设计为基础,采用高效的底层算子实现、中英双语的重新设计的tokenizer以及升级的BMTrain并行训练方法,实现了比Magtron+DeepSpeed ZeRO-2将近8倍的训练效率。同时,AquilaCode-7B 代码模型从Aquila-7B基础模型衍生而来,是一种用小数据集和小规模参数实现高性能,同时支持双语的代码模型。
另外,评测体系“天秤”涵盖了30多种能力、5种任务和4大类指标,共计大约600维,支持多种芯片和多种深度学习框架。在视觉大模型方面,悟道・视界多模态大模型Emu、最强十亿级视觉基础模型EVA、性能最强的开源CLIP模型EVA-CLIP、通用视觉模型Painter、视界通用分割模型以及零样本视频编辑方法vid2vid-zero等都在发布会上亮相。