の方法を解説しているサイトがあったのでM4 Max/128GBマシンで試してみたけれど、
・スピードが激遅
・コードが全くダメ
ですぐに撤退。mlx-lmで速くなる、という触れ込みだったけれど、ダメだった。
ちなみにA6000Ada上でも試してみたところ、一応使えなくもないスピード。ただし、vLLMではダメで、ollamaを使用した。
の方法を解説しているサイトがあったのでM4 Max/128GBマシンで試してみたけれど、
・スピードが激遅
・コードが全くダメ
ですぐに撤退。mlx-lmで速くなる、という触れ込みだったけれど、ダメだった。
ちなみにA6000Ada上でも試してみたところ、一応使えなくもないスピード。ただし、vLLMではダメで、ollamaを使用した。