LM Studioでの動作。Q4_K_M(7.5GB)で96.58tok/s、0.23s(画像解析で0.84s) 1st tokenと爆速!コンテキスト長はVRAMを溢れない範囲だと50,000

LM Studioでの動作。Q4_K_M(7.5GB)で96.58tok/s、0.23s(画像解析で0.84s) 1st tokenと爆速!コンテキスト長はVRAMを溢れない範囲だと50,000