Jamba 1.5
AI21 Labsの文本モデル · リリース日 2024-08
オープンソース
文本
开源
API 可用
模型简介
Jamba 1.5 は、AI21 Labs が発表した革新的なオープンソースモデルで、Mamba 状態空間モデルと Transformer アーキテクチャの利点を融合しています。256K トークンの超長コンテキストウィンドウを備え、長文書処理時に非常に高いスループットと低メモリ使用量を実現します。Jamba 1.5 は長コンテキスト処理効率と推論品質の新たなバランスを達成し、Mini 版（52B）は単一 GPU で動作します。
核心特性
- Mamba+Transformer 混合架构
- 256K 上下文
- 高吞吐低内存
- Apache 2.0 协议
核心优势
- 长上下文效率极高
- 架构创新
- 开源灵活
技术规格
参数量
52B / 398B (MoE)
上下文窗口
256K tokens
API 支持
はい
开源状态
オープンソース
发布日期
2024-08
提供商
AI21 Labs
价格信息
免费开源
基准测试
MMLU 81.0% (Large), 长上下文处理效率超越 Transformer 模型