Google DeepMind Decoupled DiLoCo:地理的に分散したデータセンター間のAI訓練ネットワーク帯域幅を20倍削減
Google DeepMindがDecoupled DiLoCo、AIモデル訓練のための分散アーキテクチャを発表しました。8つのデータセンター間で必要なネットワーク帯域幅を198 Gbpsから0.84 Gbpsに削減し、高障害率シナリオでのグッドプットを27%から88%に改善しています。
13 件
Google DeepMindがDecoupled DiLoCo、AIモデル訓練のための分散アーキテクチャを発表しました。8つのデータセンター間で必要なネットワーク帯域幅を198 Gbpsから0.84 Gbpsに削減し、高障害率シナリオでのグッドプットを27%から88%に改善しています。
vLLMはDeepSeekと同日、V4-ProとV4-Flashモデルの完全統合を発表しました。100万トークンコンテキストでV3.2比8.7倍のKVキャッシュ削減を達成。スパースアテンションと積極的な圧縮の組み合わせにより、標準GPUハードウェアでのサービング提供が可能になりました。
Allen Institute for AIがOlmoEarth Studioを発表しました。衛星画像エンベディング用に3サイズのモデル(Nano、Tiny、Base)を提供しています。わずか60個のラベル付きピクセルで地景セグメンテーションのF1スコア0.84を達成し、変化検出とPCA可視化もサポートしています。
Appleは今週リオデジャネイロで開催されているICLR 2026カンファレンスで5本の機械学習研究論文を発表しました。最注目はParaRNN——非線形リカレントニューラルネットワークの並列学習を可能にする手法で、逐次的アプローチと比べて665倍の高速化を達成し、RNNを数十億パラメータ規模に拡張してTransformerと競合できるようにします。
Linux Foundation AI & Dataは、9つの責任あるAIの次元を通じてRGAF(Responsible Generative AI Framework)を実装する方法を示す実践ガイドを公開しました。35の具体的なオープンソースツールのカタログとNIST AI RMF、EU AI法、ISO/IEC 42001、OECD原則への準拠が含まれています。
WorldDBはベクターデータベースとネストされた世界グラフおよびオントロジーを組み合わせたAIエージェント向けの新しいメモリエンジンです。書き込み時に知識を調整し、エージェントメモリの矛盾を防止し、LongMemEval-sベンチマークで96.40%の精度を達成しています。
BAR(Branch-Adapt-Route)は、Allen Institute for AIが提案した新しいモジュール型後処理トレーニング手法です。数学、コード、ツール使用、安全性といった分野のエキスパートを独立してトレーニングし、統合されたMixture-of-Expertsモデルに結合できます。OLMo 2 7Bでの結果:平均スコア49.1、数学で+7.8ポイント、コードで+4.7ポイントのベースライン比改善を達成しました。
AMD FLyは、ドラフトトークンをセマンティックに受け入れることでLlama-3.3-405Bで4.80〜5.21倍、Llama-3.1-70Bで2.74倍の高速化を実現する新しいトレーニング不要のSpeculative Decoding手法です。99%超の精度を維持しながら、追加のモデルトレーニングは不要です。
Gemma 4はGoogleの新世代オープンモデルで、モバイル向けE2B、エッジデバイス向けE4B、38億アクティブパラメータの26B MoE、および31B denseの4バリエーションがあります。31Bはオープンモデルのアリーナランキングで3位につけ、自身の20倍のパラメータを持つモデルを超えると言われています。26B MoEは6位。すべてのモデルはマルチモーダル(テキスト・画像・動画・音声)で、140言語をサポートし、最大256Kトークンのコンテキストを持ち、Apache 2.0ライセンスで公開されています。
HuggingFaceはSentence Transformersライブラリを使用してマルチモーダル埋め込みとリランカーモデルをファインチューニングするための詳細なガイドを発表しました。焦点はテキストと画像を共通の埋め込み空間に統合し、異種データ全体のセマンティック検索を可能にすることです。主な用途はドキュメント、テーブル、画像、スキャンの混合を処理するRAGシステムです。
HuggingFaceは、Claude CodeをApple Silicon向けMLX-LMプラットフォームへのTransformersモデル移植に使用する15,000語のTransformers-to-MLX skillを公開しました。skillにはLLM幻覚の問題を排除する結果を独立して検証するテストハーネスが含まれており、AIエージェントがプルリクエスト数を10倍に増やすオープンソースプロジェクトの増大する課題に対応しています。
LangChainはDeep Agentを使ったドキュメントの自動テストシステムを構築し、ドキュメント内の古くなったコード例を防止します。システムは複数のスキルを使ってインラインコードスニペットをスタンドアロンのテストファイルに移行し、GitHub Actionsで実行し、検証済みのスニペットを再生成することで、ドキュメントが常にAPIの実際の状態を反映するようにします。
Overworldが発表したWaypoint-1.5は、RTX 3090やApple Silicon MacなどコンシューマーGPU上で720p/60fpsの解像度でインタラクティブな仮想環境を生成するリアルタイム動画ワールドモデルです。モデルは前バージョンの約100倍のデータで訓練され、HuggingFace上でオープンソースとして利用可能です。