「LLMが遅い」の正体を知る

ローカルでLLM（大規模言語モデル、いわゆるチャットAIの中身）を動かしていると、「思ったより遅い」と感じることがあると思います。実はこの遅さには理由があり、NVIDIA（GPUを作っている会社）の公式ブログが、その仕組みをかなり詳しく解説しています。今回はその内容を、専門知識がなくても読めるようにかみ砕いて紹介します。

参考記事はこちらです。Mastering LLM Techniques: Inference Optimization（NVIDIA Developer Blog）

prefillとdecode、2つのフェーズがある

LLMが文章を生成するとき、実は内部で2つの段階に分かれて処理が進みます。ひとつは「prefill」と呼ばれる、あなたが入力したプロンプト（質問文）を一気に読み込んで理解する段階。もうひとつは「decode」と呼ばれる、単語（正確にはトークンという単位）をひとつずつ生成していく段階です。

prefillはまとめて計算できるので比較的得意な処理ですが、decodeは「1つ出力しては次を考える」の繰り返しになるため、GPUの性能をフルに使い切りにくいという特徴があります。ローカルLLMで「出力され始めるまでは早いのに、その後の生成がじわじわ遅い」と感じるのは、このdecodeフェーズの性質が関係しています。

FlashAttentionという工夫

LLMの内部では「アテンション」という、文章のどの部分に注目すべきかを計算する処理が何度も走ります。この計算は本来メモリのやり取りが多く重い処理なのですが、GPUのメモリ構造をうまく使って無駄なやり取りを減らす「FlashAttention」という手法が広く使われるようになりました。難しい数式を変えるのではなく、計算の「順番」と「メモリの使い方」を工夫することで速くする、という発想です。

MQA・GQAという省エネ設計

もうひとつのポイントが、モデルの設計そのものを見直す「MQA」「GQA」という手法です。アテンション処理で使う情報（キーとバリューと呼ばれるデータ）を、本来はヘッドと呼ばれる計算単位ごとにそれぞれ持つところを、複数のヘッドで共有してしまう仕組みです。共有する分メモリの使用量が減り、特にローカル環境のようにGPUメモリ（VRAM）が限られている場合に効果が大きく出ます。

実際どれくらい速くなるのか

こうした最適化は絵に描いた餅ではなく、実際のツールにも反映されています。NVIDIAのRTX AI Garageブログでは、LM Studio（ローカルLLMを動かすためのアプリ）がRTX Blackwell世代のGPU向けに、CUDA graphやFlash AttentionのCUDAカーネルを取り入れたことで、スループット（単位時間あたりの処理量）が最大35%、別の指標では15%向上したと紹介されています。

参考記事はこちらです。RTX AI Garage: LM Studio on Blackwell（NVIDIA公式ブログ）

大学生や趣味の人が持ち帰れること

• 「ローカルLLMが遅い」と感じたら、まずはprefillとdecodeのどちらで詰まっているのかを意識すると、原因の見当がつけやすくなります。
• Ollamaなどのローカル実行ツールも、内部ではこうした最適化技術の恩恵を受けています。ツールのバージョンを上げるだけで速くなることがあるのは、このためです。
• 専門用語を全部覚える必要はありません。「メモリの使い方を工夫している」「計算を減らす設計にしている」というレベルの理解で、ツール選びの判断には十分役立ちます。