Deepseekの16億ドルの開発：手頃な価格の神話を暴く

Deepseekの新しいチャットボットは、驚くべき能力を誇っています。事実上あらゆる質問に答えることです。中国のスタートアップの製品であるこのAIは、急速に主要な市場プレーヤーになり、Nvidiaの株価の大幅な低下さえも引き起こしています。

Deepseekの成功は、革新的なアーキテクチャとトレーニング方法に由来しています。重要なテクノロジーには次のものがあります。

• マルチトークン予測（MTP）：単語を個別に予測する代わりに、MTPは複数の単語を同時に予測し、精度と効率を高めます。
• 専門家（MOE）の混合：このアーキテクチャは、複数のニューラルネットワークを使用し、トレーニングの加速とパフォーマンスの向上を使用しています。 Deepseek V3は256のネットワークを利用して、トークンごとに8つをアクティブにします。
• マルチヘッド潜在的注意（MLA）： MLAは重要な文の部分に焦点を当て、情報の損失を最小限に抑え、微妙な意味を捉えるために重要な詳細を繰り返し抽出します。

Deepseekは当初、2048 GPUを使用した強力なDeepSeek V3モデルに対して、600万ドルのトレーニングコストが非常に低いと主張しました。

しかし、Semianalysisは、Deepseekが10,000 H800、10,000 H100、および追加のH20ユニットを含む約50,000のNvidia Hopper GPUを使用していることを明らかにしました。これは、サーバー総投資の約16億ドルと9億4,400万ドルの運用費用を表しています。

High-Flyer Hedge Fundの子会社であるDeepseekは、データセンターを所有しており、最適化とより高速なイノベーションを管理しています。自己資金のステータスは柔軟性を高めます。さらに、Deepseekはトップの才能を引き付け、一部の研究者は主に中国の大学から年間130万ドル以上を稼いでいます。

Deepseekの最初の600万ドルのトレーニングコスト請求は誤解を招くものです。研究、洗練、データ処理、インフラストラクチャを除く、トレーニング前のGPU使用のみをカバーしています。同社のAI開発投資の合計は5億ドルを超えています。しかし、その無駄のない構造は、より大きな官僚的企業と比較して、効率的なイノベーションを可能にします。

Deepseekの成功は、資金提供された独立したAI企業が業界の巨人と競争する可能性を強調しています。その「革新的な予算」の主張は誇張されていますが、その成功は否定できず、実質的な投資、技術のブレークスルー、強力なチームに起因します。 ChatGPT4の1億ドルと比較して、コストの違いは厳しいです。ただし、競合他社よりも安いです。