26/06/07 15:17:49.33 IPrJBO8t.net
だって中途半端だもん
170:名無しさん＠お腹いっぱい。
26/06/08 02:09:20.30 7dQm+aOP.net
VRAM16G勢は26Bじゃない？
12BはVRAM12G以下向きに思える
171:名無しさん＠お腹いっぱい。
26/06/08 05:42:02.79 J21AiOVV.net
>>170
26bはvram16gbでギリ動くんだけど
コンテキストサイズ小さくて
コーディングで使うと溢れちゃうことが多い
なので12bがいい！！
と、思ってたけど12bは思ってたほど賢くなかったよ
172:名無しさん＠お腹いっぱい。
26/06/08 21:58:17.52 Juvgx8V6.net
てｓ
173:名無しさん＠お腹いっぱい。
26/06/12 12:26:24.16 cEenMSR/.net
RTX SPARKのノートPCいくらぐらいになるんだろう。
174:名無しさん＠お腹いっぱい。
26/06/13 18:56:05.11 c5NkD+H5.net
>>171
QAT版がお勧め
huggingface.co/unsloth/gemma-4-26B-A4B-it-qat-GGUF
huggingface.co/unsloth/gemma-4-12B-it-qat-GGUF
12Bならctx 256k盛っても計算上は11GB弱で済む
27Bならctx 96kくらいなら溢れた様子はないっぽい
imgur.com/a/paNLSgi
imgur.com/a/rbn4wcm
175:名無しさん＠お腹いっぱい。
26/06/16 20:40:19.65 t4NQpxbV.net
qwenもGemmaもシスプロだけで簡単に脱獄できるの凄いな
年齢制限だけは解除に手間がかかる
176:名無しさん＠お腹いっぱい。
26/06/20 23:06:49.39 MN9I0NmA.net
>>171
Gemma4-12Bは優秀だよ
実行環境次第と思う
177:名無しさん＠お腹いっぱい。
26/06/22 17:21:31.80 vP3+EhuC.net
Gemmaはツールコールに非対応なので、OpenClawやHermes Agentを併用するならダメ
そういうツール使うならQwenになる
178:名無しさん＠お腹いっぱい。
26/06/22 21:50:54.21 xOSr3SFd.net
てｓ
179:名無しさん＠お腹いっぱい。
26/06/24 20:24:43.56 ZXcUdOqS.net
ワイの今の一押しはこれ
DavidAU/Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking-NEO-CODE-Di-IMatrix-MAX-GGUF
strix halo 128GB中 96GBわりふって、コンテキスト256Kで、v100 32GBx2のマシンではQ4版にして、コンテキスト128KでHermesで運用してる。たまにngrok経由でcursorに連携。nginxでリバースプロキシかましてbasic認証だけかましてる。
速度いる時は普通にClaudeCodeに逃がすけども。だんだんローカルも良い感じになってきたのでVRAM増やそうかなぁ。
180:名無しさん＠お腹いっぱい。
26/06/25 00:33:07.50 Vg4CIsui.net
ヤンデックスの外洋のAIサイト巡りはやり尽くしたし小型のローカルAIから始めて見るかな
外洋巡りよりLMMは簡単とかコピロットが言ってるけど本当かねぇ・・
181:名無しさん＠お腹いっぱい。
26/06/25 00:42:56.64 Vg4CIsui.net
ちなみに生成AIとは関係ないけどヤンデックス巡回中に邦画無料のサイトみつけたな
サブスクに入る意味を考えちゃうよな・・・ヤンデックスの外洋よ日本にカネを払えよ
182:名無しさん＠お腹いっぱい。
26/06/25 00:54:24.69 Vg4CIsui.net
おっぱい 👆
183:名無しさん＠お腹いっぱい。
26/06/26 12:22:24.41 5ynxLF/j.net
>>177
ツールコールってなんだ？
ollamaから呼び出しちゃダメなの？
184:名無しさん＠お腹いっぱい。
26/06/26 12:47:02.58 lF/bgF+A.net
無検疫版同士だとGemma 4 31Bより、qwen3.6 27Bの方がエロ画像生成プロンプトエンジニアとして優秀だったりする？
185:名無しさん＠お腹いっぱい。
26/06/26 18:16:17.29 l+OlRU7U.net
Qwen imageやWanを使うなら同じ会社だから学習素材やプロンプトの癖は把握してそうと思って使ってる
186:名無しさん＠お腹いっぱい。
26/06/26 19:10:20.93 6l8SQID+.net
んなわけない
187:名無しさん＠お腹いっぱい。
26/06/26 21:03:43.77 rHa0mHnJ.net
>>183
OpenClawやHermes Agentでのツール呼び出しのこと
llamaなどに付属するUIやOpen WebUI、LM Studio内のチャットUIで使うのには関係ないよ
188:名無しさん＠お腹いっぱい。
26/06/26 22:19:23.99 4XLuv0QP.net
>>184
エロ目的ならモデルの差<脱獄の度合いな気がしてる
同じモデルで同じ指示でもHereticだと拒否されたり穏当に言い換えられるけどhauhaucsだと通ったりする
189:名無しさん＠お腹いっぱい。
26/06/27 15:16:21.70 t52rN9QU.net
iPad 用のローカルLLMは結構使えてるが、ファイル読み込んで分析させる系だと、５MBが添付ファイル上限なので、ちょっと残念ま感じ
せめてNotebook LM 並みに１ファイル200MBまではOKとして欲しい。