Allen Institute for AIがolmo-evalを公開:アクティブなLLM開発サイクル向け評価プラットフォーム
AI2はolmo-evalを公開した。OLMESスタンダードを単発のベンチマークから完全な開発ループへと拡張するオープンな評価プラットフォームだ。主要なイノベーションはチェックポイント間の個々の質問レベルでのペア比較で、実際の改善をデータのノイズから区別する統計的な手段を組み込んでいる。
15 件 — 🔴 1 重大 , 🟡 8 重要 , 🟢 6 注目
AI2はolmo-evalを公開した。OLMESスタンダードを単発のベンチマークから完全な開発ループへと拡張するオープンな評価プラットフォームだ。主要なイノベーションはチェックポイント間の個々の質問レベルでのペア比較で、実際の改善をデータのノイズから区別する統計的な手段を組み込んでいる。
vLLMチームはMiniMax M3のDay-0フルサポートを発表した――100万トークンのコンテキスト、ネイティブマルチモーダリティ、Mixture-of-Expertsアーキテクチャを持つモデルだ。主要なイノベーションはMiniMax Sparse Attentionであり、KVキャッシュを完全にマテリアライズすることなく長いコンテキストの実用的なサービングを可能にする。
研究者たちは、各スキルごとにエージェントの信頼性を測定する不均質なLLMエージェントスウォーム向けの条件付き信頼システムを提案している。14のAppWorldエージェントでテストされたこのアプローチはルーティングにおいて測定可能な改善をもたらすが、その有効性を高める同一のメカニズムがルーティングエラーを0から0.94に引き上げるレピュテーション乗っ取り攻撃を可能にする。
Boxは単一ドキュメントのQ&Aからフルエージェントシステムまで、3つのAI統合フェーズを経てきた。動的な親子モデルを使用するDeep Agentsと名付けられた新アーキテクチャは以前のアプローチよりも4倍速くデリバリーされ、新しいエージェントの開発期間は月単位から週単位に短縮された。
研究者たちは、複数のモデル、アルゴリズム、ツールをオーケストレートする複合AIシステムを設計するための形式的な方法論を提案する。8つの設計パターンと3つのケーススタディを通じて、複合構成がモノリシックモデルの精度に2.5〜4ポイントの差で到達でき、レイテンシを最大60%、コストを最大71%削減できることを示す。
研究者たちはエージェントパイプラインを数値解析教科書のLean 4への形式化に適用し、カーネルの受理――成功の標準的な指標――が意味論的エラーを組織的に隠蔽することを発見した。エージェントはコンパイルされるが弱体化または不完全な文を生成する。新しい3次元品質フレームワークは既存の評価メトリクスを超える。
世界最大級のIT企業の一つであるTata Consultancy Services(TCS)がAnthropicのパートナーネットワークに参加した。同社は56カ国の5万人の従業員にClaudeへのアクセスを提供し、金融・医療・保険向けのカスタムビジネスアプリケーションを開発する計画だ。Anthropicはインドが自社の第2位の市場であることを初めて公式に認めた。
Googleの研究チームは、写真から皮膚疾患を認識するAIツールに関する2つの研究――JAMA DermatologyとACM CHI 2026コンファレンス――を発表した。2345人の参加者を対象としたランダム化研究では正確性が3倍に向上したが、具体的な医療行動の推奨には弱点が残った。
Anthropicは6月12日に21時間未満の間にClaude Code v2.1.174、v2.1.175、v2.1.176をリリースした。アップデートはチーム向けの新しいモデル制御、改善された利用状況の追跡、およびBedrock、tmux、エンタープライズユーザー向けの一連の修正を提供する。
GitHubはCopilotコードレビューの新しい設定拡張を発表した:組織の管理者がすべてのリポジトリのデフォルトランナーを設定し、組織レベルでロックし、パスベースのコンテンツ除外を適用できるようになった。カスタムインストラクションの従来の4,000文字制限も廃止された。
2026年6月12日東部時間17時21分、米国政府はAnthropicに対し輸出規制指令を送達し、Claude Fable 5およびClaude Mythos 5へのグローバルアクセスの即時停止を命じた。対象には外国籍の従業員も含まれる。Anthropicは指令に従いながらも、その技術的根拠を公式に争っている。
MicrosoftのLLM自律エージェントProject Ireが、これまで確認されていないLOTUSLITEマルウェアの亜種を特定した――発見時点では72社中わずか1社のセキュリティベンダーのみが検出していた。Ireは人間の入力やコンテキストのメタデータなしに、純粋な静的リバース解析のみで動作した。
LangChainは本番システムにおけるAIエージェントの安全な分離のための理論的・実践的フレームワークを定義した。重要な概念は致命的なトライアド:機密データへのアクセス、信頼できないコンテンツへの露出、外部通信の能力の同時発生だ。解決策:サンドボックス内に秘密鍵を格納しない認可プロキシを備えたmicroVMアーキテクチャ。