OLMo

開発者: Allen Institute for AI (AI2)

AI2が開発した完全オープンソースの大規模言語モデルファミリー。モデルの重み、学習データ（Dolma）、コード、評価方法、中間チェックポイントなどすべてが公開されている。OLMoE（MoE版）、Molmo（Vision-Language）も展開。

家系図

ベース

派生

表示中

AI2初の完全オープンソース大規模言語モデル。学習データ（Dolma）、コード、チェックポイント、ログすべてを公開した画期的なリリース。OLMo 1.7/April 2024とJuly 2024版も含む。

最大6Tトークンで学習した新世代モデル。RMSNorm、Z-loss正則化、学習率アニーリングなど安定性向上技術を導入。Llama 3.1 8Bを上回る性能。Tülu 3パイプラインでポストトレーニング。

完全オープンな「モデルフロー」を提供する最新世代。Base、Instruct、Thinkの3バリアントを持ち、推論能力が大幅に向上。65Kトークンのコンテキスト長をサポート。Dolma 3（6T）で学習。

Mixture-of-Experts (MoE) アーキテクチャを採用した効率的なモデル。6.9Bの総パラメータ数で1.3Bのみをアクティブに使用し、同等コストのモデルを大幅に上回る性能を実現。64エキスパート、Top-8ルーティング。

AI2初の完全オープンマルチモーダルモデル。オープンなPixMoデータセットで学習し、プロプライエタリモデルへの依存なしにGPT-4Vに匹敵する性能を達成。画像のポインティング機能が特徴。

ビデオ理解、マルチ画像推論、オブジェクトトラッキングに対応した次世代VLM。GPT-5やGemini 2.5 Proを上回る性能を一部タスクで達成。SigLIP 2ビジョンエンコーダ採用。最大128フレームのビデオ処理。