OLMo 2
ベースモデル開発者Allen Institute for AI (AI2)ライセンスApache 2.0リリース日2024/11/27コンテキスト長4,096 トークン対応言語enベースモデルolmo-1 officialopen-sourceresearch
最大6Tトークンで学習した新世代モデル。RMSNorm、Z-loss正則化、学習率アニーリングなど安定性向上技術を導入。Llama 3.1 8Bを上回る性能。Tülu 3パイプラインでポストトレーニング。
技術仕様
アーキテクチャ
Decoder-only Transformer with RMSNorm
パラメータバリエーション
軽量版。4Tトークンで学習。
GGUFファイルは登録されていません
軽量版指示調整モデル。
GGUFファイルは登録されていません
主力モデル。MMLU 63.7%。4Tトークンで学習。
GGUFファイルは登録されていません
指示調整版。SFT + DPO + RLVR。
GGUFファイルは登録されていません
大型版。5Tトークンで学習。Qwen 2.5 7B超え。
GGUFファイルは登録されていません
大型版指示調整モデル。
GGUFファイルは登録されていません
最大版。6Tトークンで学習。
GGUFファイルは登録されていません
最大版指示調整モデル。
GGUFファイルは登録されていません
家系図
現在のモデル: OLMo 2
Press enter or space to select a node. You can then use the arrow keys to move the node around. Press delete to remove it and escape to cancel.
Press enter or space to select an edge. You can then press delete to remove it or escape to cancel.