Jamba 1.5
AI21 Labs 推出的文本模型 · 发布于 2024-08
开源
文本
开源
API 可用
模型简介
Jamba 1.5 是 AI21 Labs 推出的创新开源模型，融合了 Mamba 状态空间模型和 Transformer 架构的优势。它拥有 256K tokens 的超长上下文窗口，在处理长文档时具有极高的吞吐量和低内存占用。Jamba 1.5 在长上下文处理效率和推理质量上达到了新的平衡，Mini 版（52B）可在单 GPU 上运行。
核心特性
- Mamba+Transformer 混合架构
- 256K 上下文
- 高吞吐低内存
- Apache 2.0 协议
核心优势
- 长上下文效率极高
- 架构创新
- 开源灵活
技术规格
参数量
52B / 398B (MoE)
上下文窗口
256K tokens
API 支持
是
开源状态
开源
发布日期
2024-08
提供商
AI21 Labs
价格信息
免费开源
基准测试
MMLU 81.0% (Large), 长上下文处理效率超越 Transformer 模型