Jamba 1.5
AI21 Labs released the 文本 model · Launched on 2024-08
Open Source
文本
开源
API 可用
模型简介
Jamba 1.5 is an innovative open-source model launched by AI21 Labs, combining the advantages of the Mamba state space model and Transformer architecture. It has a 256K token ultra-long context window, providing extremely high throughput and low memory usage when processing long documents. Jamba 1.5 achieves a new balance between long-context processing efficiency and reasoning quality, with the Mini version (52B) running on a single GPU.
核心特性
- Mamba+Transformer 混合架构
- 256K 上下文
- 高吞吐低内存
- Apache 2.0 协议
核心优势
- 长上下文效率极高
- 架构创新
- 开源灵活
技术规格
参数量
52B / 398B (MoE)
上下文窗口
256K tokens
API 支持
Yes
开源状态
Open Source
发布日期
2024-08
提供商
AI21 Labs
价格信息
免费开源
基准测试
MMLU 81.0% (Large), 长上下文处理效率超越 Transformer 模型