flash_attn

pip install flash_attn

はしばしばtorchがないとか言ってインストールに失敗する。もしかするとバージョンをうまく合わせればよいのかもしれないが、

pip install flash-attn --no-build-isolation

でうまく行くかもしれない。