26/01/22 23:41:26.20 qbKpD4gr.net
「知識蒸留」がAIモデルをさらに小さく安価にする
規模が大きく高価なAIモデルの「知識のエッセンス」を抽出して学習させ、コンパクトなAIモデルつくるための基盤技術、それが「蒸留」だ。
中国の人工知能（AI）企業であるDeepSeekは、2025年のはじめにR1というチャットボットをリリースし、大きな注目を浴びた。
人々の関心を集めたのは、無名だった小さな企業が「このチャットボットの開発に要したコンピューター処理能力とコストはごくわずかだが、世界で最も有名なAI企業がつくるモデルに匹敵する性能をもつ」と発表したことだった。
その結果、欧米の多くのテック企業の株価が急落し、最先端AIモデルを動かすためのチップを販売するNVIDIAの株価は、株式市場史上最大の下落幅をたった1日で記録した。
注目には、いくらか非難の色合いもあった。
DeepSeekは「蒸留（distillation／ディスティレーション）」と呼ばれる技術を使い、OpenAIが所有するAIモデルo1から無断で知識を得たのではないか、と消息筋が主張したのだ。
報道の多くはその可能性を、AI業界を揺るがす衝撃的な出来事として扱い、DeepSeekがAI構築のために新しく、より効率的な手法を発見したと示唆した。
（以下略、続きはソースでご確認ください）
Wired 2026.01.21
URLﾘﾝｸ(wired.jp)
2:名無しのひみつ
26/01/23 03:52:31.65 ervRnFkt.net
1月21日の記事だけど既知の技術についてまとめられてるだけやね
蒸留自体は以前からどのモデルでもやっている手法
3:名無しのひみつ
26/01/23 06:19:34.90 pZT9M1bY.net
最高の蒸留物だけでいいというのは、ろくな結果を生み出さない中国人らしい
酒粕に蒸留並みの価値をみいだしたときにAIと人類は復活するのである
究極はウォッカかな？ｗ メチルアルコールだけでよくなりひとなどキャベツと言い出す味のない存在へｗ
4:名無しのひみつ
26/01/23 07:00:11.42 OqRSLrNT.net
視野が狭くなり、異常事態への対応がダメになるだろう。
5:名無しのひみつ
26/01/23 07:41:39.39 4B+kdEjL.net
問題は既存のAIデータベースから盗んで蒸留する狂気の仕掛け
6:名無しのひみつ
26/01/23 09:10:08.12 MZ1uPc1i.net
人間の脳よりはるかに速いのに、できないことがたくさんある
AIにはまだまだ発展の余地があるということだろうな
7:名無しのひみつ
26/01/23 11:23:54.18 4B+kdEjL.net
>>6
LLMと人間の脳が同じ構造だと思ってる？
8:名無しのひみつ
26/01/23 16:00:50.97 MZ1uPc1i.net
>>7
AIの可能性はLLMしかないと思ってる?
9:名無しのひみつ
26/01/24 04:16:31.83 K8MQ4SvH.net
>>8
ほう？説明してみなよ
10:名無しのひみつ
26/01/24 12:49:50.86 0MLJXBOP.net
バカはAIが統計で動いてるの
知らないんだよな
11:名無しのひみつ
26/01/24 14:25:43.54 K8MQ4SvH.net
統計と言うかデータから類推してるだけ
12:名無しのひみつ
26/01/24 14:26:52.63 K8MQ4SvH.net
>>8
みたいなお花畑の厨二病は幸せだな