【AI】中国のオープンウェイトモデル「GLM-5.2」が脆弱性検出ベンチマークでClaude Codeを上回る [すらいむ★]

【AI】中国のオープンウェイトモデル「GLM-5.2」が脆弱性検出ベンチマークでClaude Codeを上回る [すらいむ★]at SCIENCEPLUS

【AI】中国のオープンウェイトモデル「GLM-5.2」が脆弱性検出ベンチマークでClaude Codeを上回る [すらいむ★] - 暇つぶし2ch■コピペモード
□スレを通常表示
□オプションモード
□このｽﾚｯﾄﾞのURL
■項目テキスト

21:名無しのひみつ
 26/07/02 20:54:11.21 mNEQjqM5.net
どれをターゲットにすべきか、その判断基準は以下の通り 
 
品質とサイズのバランスが最も良い「スイートスポット」は、467GBの「UD-Q4_K_XL」 
このあたりで品質向上のカーブが緩やかになり、これ以上サイズを大きくしても、体感できるほどのメリットはほとんど得られない。 
しかし、品質だけが判断基準ではありません。モデルの重み（ウェイト）は、実際に構築可能なハードウェアに収まらなければならない。467GBというサイズは、読み込ませる（動かす）のが非常に大変 
 
そのため、実際に自分でホスト（運用）しようと考えている大多数の人にとっての答えは、一段階下の343GB版「UD-Q3_K_XL」になります。これでも「GLM 5.2」と同等の推論能力を維持しつつ467GB版では収まらない現実的な構成（単一サーバーやGPU 4枚構成など）に収まるのが343GBというサイズというわけ。「Q3_K_XL」を基本のターゲットとし、「Q4_K_XL」は「メモリに余裕があれば選ぶアップグレード版」と考えるのが良。 
 
ここで一つ、指摘しておきたい意見の相違があります。それは、この表の出典元であるリポジトリ（Unsloth）自身の見解についてです。 
 
彼らの推奨は私よりも低いスペックを指しています。「アクセシビリティと精度のバランスが最良」な選択肢として2ビットの「UD-IQ2_M」（239GB）を挙げていて、その精度を約82%と評価し、さらに1ビット量子化版でも「十分に機能する」としている。 
 
これは単なる保険をかけた発言ではなく、彼らの確固たる見解。 
汎用的な用途であれば、彼らの言う通り。 
2ビット版なら安価なハードウェアで性能も破綻せずに維持される。 
 
私が推奨ラインを一段階高く設定している理由は「コーディング」や「マルチステップのエージェント作業」用途。低ビット量子化による性能低下が顕著に表れ、推論の過程で小さな誤差が積み重なり、単なるチャットでは現れないような問題が実際のタスク実行時に露呈する。 
 
一般的な用途であれば、Unsloth推奨の2ビット版を選んでコストを抑えるのが賢明。しかし、コーディング用モデルとして運用するなら、やはり「Q3」からがお勧め。 
 
KVキャッシュ用のメモリ領域（ヘッドルーム）を確保することも重要。コンテキスト長を最大に近い1M（100万トークン）に設定すると、キャッシュだけで数十ギガバイトを消費する。

次ページ