您的位置:首页>聚焦>科技 >内容

参战万亿MoE模型!上海大模型独角兽出手,腾讯阿里米哈游参投

2024-04-18 13:33:59来源:
导读 编辑 | ZeR0智东西4月17日消息,今日,上海多模态大模型独角兽MiniMax正式推出abab 6.5系列模型,包含abab 6.5和abab 6.5s两个模型。M...

编辑 | ZeR0

智东西4月17日消息,今日,上海多模态大模型独角兽MiniMax正式推出abab 6.5系列模型,包含abab 6.5和abab 6.5s两个模型。

MiniMax成立于2023年1月,是当前国内估值最高的大模型公司之一。今年3月,MiniMax完成阿里参投的新一轮融资,投后估值超过25亿美元。此前米哈游、腾讯均有投资MiniMax。

在MoE尚未成为行业共识时,MiniMax已经押注MoE路线,今年1月发布其首款基于MoE架构的abab 6,并在过去3个月潜心研发出性能更强的万亿参数MoE模型abab 6.5,在核心能力测试中接近GPT-4、Claude 3 Opus、Gemini 1.5 Pro等顶尖大语言模型。

华为哈勃领投,清华系大模型创企完成数亿元融资

标注星号的是MiniMax调用API测试得到的结果,其余分数来自对应的技术报告。

abab 6.5和abab 6.5s采用相同的训练技术、数据,支持200k tokens上下文长度。abab 6.5s更高效,1秒能处理近3万字的文本。

MiniMax在200k tokens内进行了业界常用的“大海捞针”测试。在891次测试中,abab 6.5均能正确回答。

MiniMax团队称找到了越来越多加速实现Scaling Laws的途径,包括改进模型架构、重构数据pipeline、训练算法及并行训练策略优化等。今天发布的abab 6.5和abab 6.5s是其加速Scaling Laws过程的阶段性成果。

abab 6.5系列模型会滚动更新到MiniMax旗下的产品中,包括生产力产品海螺AI和MiniMax开放平台上。

华为哈勃领投,清华系大模型创企完成数亿元融资

免责声明:本文由用户上传,如有侵权请联系删除!

猜你喜欢

最新文章