AIwiki

Codestral Mamba

指示チューニング
開発者
Mistral AI
ライセンス
Apache-2.0
リリース日
2024/7/16
コンテキスト長
256,000 トークン
対応言語
en, code
知識カットオフ
2024-Q2
officialcode-generationmambassmlong-contextopen-source

Mamba 2アーキテクチャベースのコードモデル。2024年7月16日公開。State Space Models（SSM）により線形時間推論を実現。理論上無限長シーケンス対応。7Bパラメータで同サイズクラスのモデルを大幅に上回る性能。256Kコンテキスト。入力長に関係なく高速推論。

HuggingFace公式サイト

ベンチマーク

HumanEval
75
mbpp
68.5
spider
58.8

ソース: https://huggingface.co/mistralai/Mamba-Codestral-7B-v0.1

技術仕様

アーキテクチャ

Mamba 2, State Space Models (SSM), Linear-time inference

パラメータバリエーション

Codestral Mamba 7B(7B)

HuggingFace

7Bパラメータで同クラス最高水準の性能。10B未満で最高のコード性能。

VRAM4GB

GGUFファイルは登録されていません

関連モデル

Mistral 7B

6 バリエーション

Mixtral 8x7B

2 バリエーション

Mixtral 8x22B

2 バリエーション

Mistral Large

2 バリエーション

Mistral Small

4 バリエーション

Mistral Medium 3

2 バリエーション

Codestral

3 バリエーション

Mathstral

1 バリエーション

Mistral NeMo

2 バリエーション

Pixtral 12B

1 バリエーション

Ministral

2 バリエーション

Pixtral Large

1 バリエーション

Mistral Saba

1 バリエーション

Magistral

2 バリエーション

Voxtral

2 バリエーション

Devstral

5 バリエーション

Mistral Large 3

6 バリエーション

家系図

現在のモデル: Codestral Mamba