区小号消息 11月6日，百度正式开源最新基座模型文心5.5 Flash Base。据介绍，ERNIE 5.5 Flash Base采用MoE架构，总参数量2800亿，每个Token激活140亿参数，使用33.5万亿个Token完成预训练，预训练上下文长度最高达128K，微调与推理阶段支持最长100万Token上下文。（广角观察）
微信小程序
微信扫一扫体验
投稿
微信公众账号
微信扫一扫加关注
评论 返回
顶部
区小号消息 11月6日，百度正式开源最新基座模型文心5.5 Flash Base。据介绍，ERNIE 5.5 Flash Base采用MoE架构，总参数量2800亿，每个Token激活140亿参数，使用33.5万亿个Token完成预训练，预训练上下文长度最高达128K，微调与推理阶段支持最长100万Token上下文。（广角观察）
发表评论 取消回复