26/02/28 21:13:46.44 SlxDHHK/0.net
>>5,6
少しでも精度を上げようと思って全部オフロードできなくて無謀なんだけど
VRAM 16GB GPUでunslothの3bit、コンテキスト長16384で試したら
新規プロジェクト、ソースコード全部で500行そこそこ、6000tokenの生成に30分かかって
しかもハルシネーションしまくりで全然コンパイルが通らない代物が生成された
一回訂正させたらまた30分待ちでコンテキスト長の残りが後わずかになって結局諦めた
26/02/28 21:13:46.44 SlxDHHK/0.net
>>5,6
少しでも精度を上げようと思って全部オフロードできなくて無謀なんだけど
VRAM 16GB GPUでunslothの3bit、コンテキスト長16384で試したら
新規プロジェクト、ソースコード全部で500行そこそこ、6000tokenの生成に30分かかって
しかもハルシネーションしまくりで全然コンパイルが通らない代物が生成された
一回訂正させたらまた30分待ちでコンテキスト長の残りが後わずかになって結局諦めた