DBRX
Databricks 推出的文本模型 · 发布于 2024-03
开源
文本
开源
API 可用
模型简介
DBRX 是数据平台巨头 Databricks 推出的开源 MoE 模型，采用细粒度专家混合架构。它在编程、数学和通用推理方面表现优异，在 MMLU 上达到 73.7% 的准确率。DBRX 是 Databricks 投入 1000 万美元训练的代表作，展示了企业级平台在大模型领域的实力。
核心特性
- 细粒度 MoE 架构
- 132B 总参数
- 36B 活跃参数
- 编程能力强
核心优势
- MoE 架构创新
- 企业级质量
- 开源可商用
技术规格
参数量
132B (36B 激活)
上下文窗口
32K tokens
API 支持
是
开源状态
开源
发布日期
2024-03
提供商
Databricks
价格信息
免费开源
基准测试
MMLU 73.7%, HumanEval 70.1%, 企业级开源模型标杆