DeepSeek まとめ

中国オープンソースAI DeepSeekの登場で、米国ビッグテックAIに黄色信号 https://t.co/s39SmOuNgj pic.twitter.com/uOKqb6Jom9

— ShortShort News (@ShortShort_News) January 3, 2025

DeepSeekさん、蒸留のためか知らんが、OpenAIのAPI料金をケチるために、Botの大群でWebサービスとしてのChatGPT（サブスク）にアクセスして入出力していた可能性。
『OpenAIのポリシー違反』という出力って主にWebアプリとしてのChatGPTで出る出力だし、信ぴょう性高いかも。 https://t.co/edKl3j6EGF

— 炎鎮🔥 - ₿onochin - (@super_bonochin) January 30, 2025

おかしいなぁ。
DeepSeek R1とOpenAIは関係無いはずなのになぁ。
おかしいなぁ。 https://t.co/iB190hQbUP pic.twitter.com/zRaRh31Nkr

— 炎鎮🔥 - ₿onochin - (@super_bonochin) January 29, 2025

この辺の話、前に OpenAI の出力を一切使わずに学習させたモデルであっても事前学習時の知識から？『OpenAI のLLMなので…』と言う例が観測されてた記憶があるので意外とこれだけで確証は得られないと思ってる
だいたい "OpenAI" が含まれる会話データを機械的に除去するのは簡単にできる訳で…
仮に… https://t.co/asRS3cI9vZ

— Torishima / INTP (@izutorishima) January 29, 2025

DeepSeek-R1からChatGPTの話が出てくる現象が話題ですが、ここでClaude-2がリリースされた当初の会話を見てみましょう pic.twitter.com/b9AhIE4zYz

— EARLの医学ノート (@EARL_med_tw) January 30, 2025

DeepSeekの登場により、AIモデルの「蒸留」が注目を浴びています。

「蒸留」というのは簡単に言うと、あるAIモデル（教師モデル）の入力データと出力セータを利用して異なるAIモデル（生徒モデル）を学習させることで、教師モデルと同等の性能を持つ生徒モデルを作成することです。… pic.twitter.com/WiRJTnd2zn

— 柿沼　太一 (@tka0120) January 29, 2025

この辺りの話。蒸留とは何かを検討したが、やはりLlamaライセンスにおける「出力又は結果を使用」するケースであると考えられる。であるので、まず派生としての条件である名称先頭へのLlamaは必要だし、契約法のマジックによりライセンス契約が派生モデルへ継承されることになる。争うことは可能だが。 https://t.co/cA2EETN2zf

— Shuji Sado (佐渡 秀治) (@shujisado) January 28, 2025

ほんまやん草生えまくってるwwwwwwww
DeepSeekはMS公認になったでwwww https://t.co/M90tx9K02Q

— 神威/KAMUI (@ai_syacho) January 30, 2025

DeepSeek https://t.co/s0VgvM3HwI
・入力内容と出力内容は、サービス改善のために使用される可能性があります
・データは中国本土のサーバーに保存され、中国の法規制の対象となります
・（中国の）法執行機関などへの情報提供が必要になる可能性があります…

— 平岡 憲人(ノーリー: HIRAOKA, Norito) Stand with Ukraine (@onokoro48) January 7, 2025

【DeepSeekの利用は危険か】

LV.1 あんまり詳しくない人向けの答え:

利用規約的に入力したデータが裏でどう使われるかわからないので入力内容には注意してね。ぶっちゃけ精度はChat…

— 安野貴博 @ 新刊『1％の革命』が2/6発売予定です！ (@takahiroanno) February 2, 2025

海外のDeepseek R1セルフホストAPIコストのほぼ全ての料金をo3-miniがコストパフォーマンスで超越し、早くもR1のお株を奪い始めてます。

たった1週間ちょっとでこの急転直下。
うーむ、まじで2025/01やばい。

去年の3、4ヶ月分が乗ってきてる。 https://t.co/KN60DHeVNz

— まつにぃ (@yugen_matuni) January 31, 2025

トータル100万円でフルのDeepSeek R1 8bitを動かすビルドが紹介されてる

Gigabyte MZ73-LM0(EPYC 2スロのMB)、EPYC 9115 x2, DDR5 768GB, 他は適当、でのCPU推論構成

6-8token/s程度の性能が出るらしい
消費電力は400W程度 https://t.co/Sn5q3U8Gja

— Kai INUI (@_kaiinui) January 28, 2025

671Bの巨大なDeepSeek-R1だが、1.58bit量子化でCPU推論も現実的になった！
生成速度、約5 tokens/s https://t.co/JF75zpnUuC pic.twitter.com/ztnHqT8Azx

— Q*Satoshi⏩ (@AiXsatoshi) January 28, 2025

なんか需要ありそうなのでDeepSeek R1 1.58-bitのMac Studioでの動作動画。

環境
- Mac Sudio M2 Ultra 192GB
- LM Studio 0.3.9 Build 3
- llama.cpp b4585
- iogpu.wired_limit_mb=180000

もう限界状態で動作させてるから録画の影響で生成速度落ちているけど、録画してなければ15.5 tok/sはでてる pic.twitter.com/8oCVk4a2Vd

— はる猫大福(haru_arc) (@haru_arc) January 30, 2025

フルDeepSeek-R1、IQ2なら作動するTetrisを作ってくれた
CPU only推論速度も4-5 tok/sで、そう変わらない

実用上は最低IQ2以上、IQ3-Q4ぐらいが良さそう https://t.co/4bWrHI1M53

— Q*Satoshi⏩ (@AiXsatoshi) January 29, 2025

DeepSeek-V3-Q2_K_XS
システムのメモリ交換したら
CPU推論で、速度 7.7 tokens/s まで改善した！

DDR4-2933 4本→DDR4−3200 8本
Threadripper pro 5975wx

Total 685Bあるけど、active 37BのMoEだからか、CPUだけでも結構いけるぞ pic.twitter.com/Zy0CiNaMo3

— Q*Satoshi⏩ (@AiXsatoshi) January 9, 2025

「CPU何使ってるんですか?」
「Ampereだよ」
って会話が理解できなかったCUDA脳の私ですけど
Ampere社のArmサーバらしい
お値段もご立派だけどH200よりは断然安い
nvidiaが一番遅いのが笑いどころ https://t.co/dtpfVsa23R

— 🌌🐈‍⬛くʓ ʓ 🍃✨🌸🍑👽👑🦪 (@currnya) January 9, 2025

一方、AMDはDeepSeekとの連携を強化し、Instinct GPUへの最適化を進めてます。NVIDIAへの競争圧力も増しそうで、GPU市場の構図がどう変わるか目が離せませんね。 https://t.co/2pXrGYVFcx

— Shunta Furukawa (@shunta_furukawa) January 27, 2025

今話題となっているDeepSeek-V3について話したことがまとまっています。今日R1やその周辺について話したので次回ぐらいで配信すると思います https://t.co/iECUmZB77h

— Daisuke Okanohara / 岡野原 大輔 (@hillbig) January 30, 2025

前の号 (https://t.co/TBGvT3DR7b) と連続して、DeepSeek V3/R1の技術などを社内で話した内容を配信しています。多く聞かれているので早めに出しました。なぜ今回これだけ注目されたか、MoE, reasoningなど、どういう展望があるのかをはなしています https://t.co/9SkUzu2KY2

— Daisuke Okanohara / 岡野原 大輔 (@hillbig) January 31, 2025

DeepSeek-V3をベースに、日本語の例文を元に頻出するMoEの256 expertsを各レイヤーごとに64つ厳選して再構成したモデルを作成しました。

32では安定しなかったため64 expertsにしています。
それでもbf16で337GBあります。
でかいですhttps://t.co/KSldtX1tpe

— ぱぷりか炒め (@WMjjRpISUEt2QZZ) January 1, 2025

@WMjjRpISUEt2QZZ

ぱぷりか炒めさんのDeepSeek-V3-slice-jp64/IQ2_Sでも試してみたところ、こちらも日本語対応はできてました

しかし、キャラクター名を言えなくなっていたので採用された64experts以外の他のexpertsにまどマギ知識が保存されている可能性があるという割と真面目な考察になりました pic.twitter.com/HozVRL79Gp

— webbigdata (@webbigdata) January 9, 2025

語句飛びから文章評価に整合性の合わない部分が影響しちゃってますね😂
なんとか削減かマージ＋量子化でコンパクトにしたい所です

— ぱぷりか炒め (@WMjjRpISUEt2QZZ) January 11, 2025

DeepSeek v3のtechnical reportにH800 (H100)が2048枚の（多分オンプレ）クラスタに言及しており、単純にここに乗っているGPUの初期費用だけで100億円強である。8億円ではない。
一方で消費GPU時間をABCI換算すると約6億円になり、全設定が判明しているなら（ありえない）もっと安くモデルが作れる。

— Odashi (@odashi_t) January 28, 2025

OpenAIの研究責任者Mark Chen氏が「DeepSeekの論文は、OpenAIが独自に見出した中核となるアイデアのいくつかを、DeepSeekも独自に見つけたことを示してる」と認めた

一連のポストで「今後、事前学習と推論の両方で積極的に計算資源を投入」と宣言

今四半期と年内に、より優れたモデルを届けると主張 https://t.co/XUkLwcKrGf

— 小猫遊りょう（たかにゃし・りょう） (@jaguring1) January 28, 2025

「再現の最初のステップは、評価スコアを一致させることです。私たちは、DeepSeek が報告した MATH-500 ベンチマークの結果を再現することに成功しました。」との事。https://t.co/YmJBm5NJot

DeekSeek R0の再現にほぼ成功って感じですね。…

— Akira Sasaki (@gclue_akira) February 3, 2025

【🚀Launch Anaunce🚀】
phi-4-open-R1-Distill-EZOv1

phi-4をベースに、「open-r1」を用いて、SFTのみを行ったモデルをローンチです。
GRPOをこの後することもできますが、様々なフェーズで、挙動や性能が大きく変わるのでいったんこのフェーズで。… pic.twitter.com/gUBhn4fcR2

— ホーダチ | AI✖️Cloud✖️Dev | 外資×ひとり法人 (@hokazuya) January 27, 2025

特に「o1 クラスの性能を持つ LLM の出力を使って、オンデバイスで動かせる小型蒸留 LLM を作り、実際に大幅に性能をブーストできることが証明された」ことも大きくて、フロンティアモデルは厳しくても、GPT-4 クラスの LLM がコモディディ化するのは確定路線になったと思う

— Torishima / INTP (@izutorishima) January 30, 2025

Anthropic Dario Amodeiは中国にAGI開発競争で負けないためにAGI開発（データセンターの天才たちの国）に必要な数百万台のgpuを中国が集められないような輸出規制の重要性を強調。
・deepseek… https://t.co/4QIhDsHb31

— bioshok（INFJ） (@bioshok3) January 29, 2025

I feel this should be a much bigger story: DeepSeek has trained on Nvidia H800 but is running inference on the new home Chinese chips made by Huawei, the 910C. pic.twitter.com/6IAgQlQ3ou

— Alexander Doria (@Dorialexander) January 28, 2025

なんで910Cで推論だけやってトレーニングには使わないの？というと、GPUをパラレルに繋ぐ機能がまだ910Cは不十分だかららしい　→RT

— うみゆき@AI研究 (@umiyuki_ai) January 28, 2025

HuaweiのAscend 910Cは、NVIDIA H100に席巻するという触れ込み。
910BまではTSMCだったが、Cからは中国のファウンドリでの製造になったみたい。

輸出規制も相まって、このままいくと中国AIはTSMCへの依存すら克服し、独自発展を遂げてしまいそうな雰囲気も感じてる。

— Kai INUI (@_kaiinui) January 28, 2025

僕でもNVidia心配になってきたのでNVidiaはただちに追加の言い訳しないとヤバいよ。「学習に必要なGPUが減っても推論スケーリング時代だからAIの長考のためにGPUはますます必要に…」「でも推論ならファーウェイのチップで済むらしいが？」「ぐぬぬ」

— うみゆき@AI研究 (@umiyuki_ai) January 28, 2025

#生成AIネタ 101話

DeepSeekに対する裏話

①英語と中国で同じ事聞いても答えが異なる事ある。「DeepSeekの仕組みについて」中国語で聞いたら詳しく教えてくれる
✅中国のファーウェイのAscend 910Bチップを大量利用。性能はNVIDIAのA100の80%水準だが、価格は30%… pic.twitter.com/YjDnKGAeih

— 創:起業+IT+マーケ系-生成AI/AWS,VPS等インフラ/プログラミング/SEO等が中心話題 (@hikarine3) January 28, 2025

DeepSeek は中国製チップの黄金時代を引き起こす可能性がある: - DeepSeek V3は、初日からHuawei Ascendチップの推論をサポートします。 - Huawei 910C（NvidiaのH100の競合製品）は、トレーニングと推論の両方を実行できます。 - Nvidia の重要な防御壁は CUDA (ソフトウェア + エコシステム)… https://t.co/S97vIeh1e7

— GOROman (@GOROman) February 2, 2025

・DeepSeek はHigh-Flyer というヘッジファンドのR&D部門としてスタートした
・DeepSeek では職務経験より能力重視。DeepSeek のリサーチチームは大学を卒業したばかりのPhD保有者で構成
・一般的な中国のAI企業がGPUのハードフェアにリソースを投下する一方で、Deep Seek…

— Rintaro Yamauchi (@jof_5) January 26, 2025

DeepSeekの開発チームは留学経験者ゼロらしい。純粋に中国でのみ教育を受けた方々。
優秀な人がMITやバークレーに集まるというのは幻想で今後ますますUS離れしていく。トランプ第1期で中国人留学生を締め出した時にAIでのUSの敗北は決まったんじゃないかね。 https://t.co/UGcldPV1cF

— Spica (@CasseCool) January 29, 2025

DeepSeek開発チームを牽引　　「AI神童」と中国メディアに呼ばれるLuo Fuli　29歳
北京師範大学でコンピュータサイエンスを専攻。最初は劣等生だが次第に頭角を現わし、北京大学の計算言語学研究所に進む。ACLで8本の論文を発表した実績からXiaomiとの争奪戦の末Alibabaに就職… pic.twitter.com/hF9GUj2jDu

— Spica (@CasseCool) January 29, 2025

DeepSeekのAI開発プログラマのLuo Fuliさん。四川省の田舎の貧しい家庭に育ち中堅大学に入り電気工学を専攻。大学院で北京大学に行き頭角を表す。最近、Xiaomiに年収2億円ぐらいで引き抜かれたそうです。中国は教育システムがしっかりしていますね。pic.twitter.com/a2Q6TrLBqc

— Kazuki Fujisawa (@kazu_fujisawa) February 1, 2025

SemianalysisによるDeepSeekの分析がとんでもなく深かったのでまとめました。
・DeepSeekはここ1週間、ClaudeやPerplexity、Geminiを上回る日次トラフィックを獲得している
・ただしDeepSeek自体は新興企業ではなく、これまであまり注目されなかっただけで、以前からAI界隈では言及していた…

— d (@rom13856511) January 31, 2025

DeepSeek V3 がオープンで公開された時点で Llama 4 の性能を越されちゃった上に、高給取りの Llama 開発リーダーらの給料より少ない額のトレーニングコストで完成させた事実に Meta 社内が震撼してるらしい（しかも追い討ち掛けるように R1 が出てきた…）
固定化してた勢力図が完全に変わりそう https://t.co/bXEiYPfIpD

— Torishima / INTP (@izutorishima) January 24, 2025