首页 城市

快手自研大模型“快意 (KwaiYii)”亮相

发布时间:2023-08-21 15:48:05来源:开源中国


(资料图)

快手自研的大语言模型“快意”(KwaiYii)已开启内测,并为业务团队提供了标准 API 和定制化项目合作方案。

KwaiYii-13B在各大测评中表现亮眼。在最新的 CMMLU 中文向排名中,KwaiYii-13B 同时位列 five-shot 和 zero-shot 下的第一名。

根据官方介绍,「快意」大模型(KwaiYii) 是由快手AI团队从零到一独立自主研发的一系列大规模语言模型(Large Language Model,LLM),当前包含了多种参数规模的模型,并覆盖了预训练模型(KwaiYii-Base)、对话模型(KwaiYii-Chat)。

其中KwaiYii-13B 主要特点包括:

KwaiYii-13B-Base预训练模型具备优异的通用技术底座能力,在绝大部分权威的中/英文Benchmark上取得了同等模型尺寸下的State-Of-The-Art效果。例如,KwaiYii-13B-Base预训练模型在MMLU、CMMLU、C-Eval、HumanEval等Benchmark上目前处于同等模型规模的领先水平。 KwaiYii-13B-Chat对话模型具备出色的语言理解和生成能力,支持内容创作、信息咨询、数学逻辑、代码编写、多轮对话等广泛任务,人工评估结果表明KwaiYii-13B-Chat超过主流的开源模型,并在内容创作、信息咨询和数学解题上接近ChatGPT(3.5)同等水平。

开发团队还对 KwaiYii-13B-Chat 模型以及同等参数规模的行业主流模型,均与 ChatGPT(3.5) 进行了对比和人工评估,其各自的得分如下图所示。

从人工评估的结果来看,KwaiYii-13B-Chat超过了同等规模的开源模型,并接近ChatGPT同等水平。在内容创作、信息咨询、逻辑推理和数学解题上,基本与ChatGPT(3.5)效果相当。在多轮对话能力方面,KwaiYii-13B-Chat超过同等规模的开源模型,但与ChatGPT(3.5)仍有一定差距。

快手 AI 团队将持续迭代“快意”大模型,一方面将继续优化模型性能并研发多模态能力 ,另一方面也在推进更多 C 端与 B 端业务场景下的落地。

上一篇 下一篇
推荐阅读 more