LLMがローカルで動くパラメータ数どこまで？Metaの「Llama 2」を試してみた(9/11)

Model / モデルを選択、Model loader: GPTQ-for-LLaMa、wbits: 4、 groupsize: 128、model_type: lama