Granite 3.0

指示チューニング
開発者
IBM
ライセンス
Apache 2.0
リリース日
2024/10/21
コンテキスト長
4,096 トークン
トレーニングトークン
12T
対応言語
en, de, es, fr, ja, pt, ar, cs, it, ko, nl, zh
officialmultilingualenterprise

第3世代の汎用言語モデル。効率性とエンタープライズ用途に最適化。最大12兆トークンで学習。12言語対応(日本語含む)。MoE版(1B-A400M、3B-A800M)も提供。

技術仕様

アーキテクチャ

Decoder-only Transformer / MoE

プロンプトテンプレート

フォーマット: granite
システムプロンプト:
<|start_of_role|>system<|end_of_role|>{system}<|end_of_text|>
ユーザープロンプト:
<|start_of_role|>user<|end_of_role|>{prompt}<|end_of_text|>
アシスタントプロンプト:
<|start_of_role|>assistant<|end_of_role|}>

パラメータバリエーション

Granite 3.0 8B Instruct(8B)

HuggingFace

フラッグシップモデル。12Tトークンで学習。

VRAM4.5GB

GGUFファイルは登録されていません

Granite 3.0 2B Instruct(2B)

HuggingFace

軽量版。エッジデバイス向け。

VRAM1.5GB

GGUFファイルは登録されていません

Granite 3.0 3B-A800M(3B)

HuggingFace

MoE版。800M活性化パラメータで低遅延を実現。

MoEアクティブパラメータ: 800M
VRAM2GB

GGUFファイルは登録されていません

Granite 3.0 1B-A400M(1B)

HuggingFace

超軽量MoE版。エッジ・IoT向け。

MoEアクティブパラメータ: 400M
VRAM1GB

GGUFファイルは登録されていません

家系図

現在のモデル: Granite 3.0