Microsoft Phi-4: 小型高性能AIの新時代
Microsoftが発表したPhi-4は、サイズと能力のバランスを再定義する画期的なAIモデルファミリーです。効率性を重視して設計され、テキスト、画像、音声を同時に処理しながら、計算能力の消費を大幅に削減。'より大きいほど良い'というAIの常識を覆す、小型で強力なモデルです。
Tag: AIGC
RISC-VとAIの融合：オープンソースの勝利
DeepSeekの成功はオープンソースの力を証明した。オープンソースの命令セットアーキテクチャRISC-Vは、AI時代のネイティブアーキテクチャとして最良の候補として台頭している。
RokidのARグラス：中国エンタープライズAIの未来
中国のARデバイスメーカーRokidは、AI搭載の最新鋭グラスで注目を集めています。AlibabaのQwen LLMを搭載し、実用的で手頃な価格のAR体験を提供。ビジネスシーンでの活用が期待され、中国のAI技術の進歩を象徴しています。
Sopra SteriaとMistral AI提携
Sopra SteriaとMistral AIが提携し、ヨーロッパの大企業や行政機関向けに、主権的で産業化された生成AIソリューションを提供します。
Moonshot AI MuonとMoonlightを発表
Moonshot AIの研究者は大規模言語モデルの効率的な学習技術を最適化するMuonとMoonlightを発表しました。計算負荷を軽減しつつ高性能を実現します。
KimiオープンソースMoonlight300億/1600億パラメータ
Moonshot AIのKimiは300億/1600億パラメータのハイブリッド専門家モデルMoonlightを発表Muonアーキテクチャで57兆トークンで学習し計算効率を向上
BaichuanM1医療特化型言語モデル
Baichuan-M1は医療能力強化に特化し20兆トークンで訓練された大規模言語モデルの新シリーズです。
AIは世界史の理解に苦戦 研究が示す精度問題
AIの急速な発展にもかかわらず、世界史の理解において重大な欠陥があることが研究で明らかになりました。GPT-4などの高度なモデルでさえ、歴史的な質問に対して46%しか正解できず、その信頼性に疑問が投げかけられています。この問題は、教育、メディア、政策決定など、様々な分野に影響を及ぼす可能性があります。
拡散モデル推論スケーリング新パラダイム
拡散モデルにおける推論時のスケーリング効果を検証した研究を紹介します。計算資源を増やすことで生成サンプルの質が向上し、ノイズ探索が重要な要素であることが示されました。また、様々な検証器とアルゴリズムの組み合わせが検討され、テキストから画像生成への応用も検証されています。小規模モデルでも効率的なスケーリングが可能で、学習時の計算コストを推論時に削減できる可能性が示唆されています。
大規模言語モデル推論効率化 新しい注意機構MFAによるKVキャッシュ削減
大規模言語モデル(LLM)の推論効率におけるボトルネックであるKVキャッシュ問題を解決する新しい注意機構MFAとMFA-KRを紹介。MFAは従来のMHAと同等の性能を維持しつつ、KVキャッシュ使用量を大幅に削減。MQAやMLAと比較して、より高い性能とメモリ効率を実現し、LLMの応用を加速する可能性を秘めています。