AIwiki

Mistral NeMo

ベースモデル
開発者
Mistral AI
ライセンス
Apache-2.0
リリース日
2024/7/18
コンテキスト長
128,000 トークン
対応言語
en, fr, de, es, it, pt, zh, ja, ko, ar, hi
知識カットオフ
2024-04
officialtext-generationmultilingualnvidiafp8long-contextopen-source

NVIDIAとの共同開発モデル。2024年7月18日公開。12Bパラメータ。128Kコンテキスト。量子化対応学習でFP8推論でも性能劣化なし。Gemma 2 9B、LLaMA 3 8Bを上回る性能。Mistral 7Bのドロップイン置き換え。中国語処理を大幅改善。

HuggingFace公式サイト

ベンチマーク

MMLU
68
hellaswag
83.5
winogrande
76.8
triviaqa
73.8

ソース: https://huggingface.co/mistralai/Mistral-Nemo-Base-2407

技術仕様

アーキテクチャ

Dense Transformer, FP8 native support, 128K context

パラメータバリエーション

Mistral NeMo Base (2407)(12B)

HuggingFace

ベースモデル。12Bパラメータ。NVIDIAとの共同開発。

VRAM7GB

GGUFファイルは登録されていません

Mistral NeMo Instruct (2407)(12B)

HuggingFace

指示チューニング版。サイズカテゴリで最高水準の性能。

VRAM7GB

GGUFファイルは登録されていません

関連モデル

Mistral 7B

6 バリエーション

Mixtral 8x7B

2 バリエーション

Mixtral 8x22B

2 バリエーション

Mistral Large

2 バリエーション

Mistral Small

4 バリエーション

Mistral Medium 3

2 バリエーション

Codestral

3 バリエーション

Codestral Mamba

1 バリエーション

Mathstral

1 バリエーション

Pixtral 12B

1 バリエーション

Ministral

2 バリエーション

Pixtral Large

1 バリエーション

Mistral Saba

1 バリエーション

Magistral

2 バリエーション

Voxtral

2 バリエーション

Devstral

5 バリエーション

Mistral Large 3

6 バリエーション

家系図

現在のモデル: Mistral NeMo