自宅のPC（Windows11）のグラボをRadeon RX9060XTに換えたのでローカルLLMを動かしてみた。

グラボを換えた経緯

僕のメインPCのグラボは2022年に買ったRadeon RX6750XTだった。

グラボとしてはミドルハイクラスにあたるが、普段そこまでゲームをしないので宝の持ち腐れになっていた。消費電力と発熱も大きく、たまにゲームをすると部屋が熱くなっていた。とりわけ問題なのは、最近流行りの生成AIを動かすのに必要なROCmやHIPに対応していないことである。せっかくグラボがあるのに、ローカル生成AIを試すことができないのではなんのためにあるのかわからない。そのため、消費電力が少ないミドルレンジクラスで、ROCmとHIPに対応しているRX9060XTに買い替えようかと今年になってから考えていたものの、財政事情の問題から踏み切れずにいた。普段遣いやゲームにはさほど問題もなかったからである。

だが、11月ごろからAIデータセンター建設ラッシュの影響でメモリやSSDなどの急騰が問題になり、「次はGPUだ」と噂されるようになった。この時点でRX9060XTは5万円台後半が相場だったが、メモリのように倍以上の高騰でもしたらいよいよ数年は手がつけられなくなってしまう。そういうわけで、12月に入ってから購入したのである。

使用準備

1. グラボをPCのPCIEスロットに取り付ける
2. 起動し、AMD Radeon Softwareを最新版に更新する
3. HIP SDKを説明書きの通りにインストールする

ローカルLLMを使う

Ollama（失敗）

当初、Ollamaを使おうと思ったのだがモデルをダウンロードしてプロンプトを打ってみてもなんだか動きが遅く、GPUを使っていないことがわかった。どうもRX9060XTはまだサポートしていないらしい。下記の記事のようにAMD用にフォークしたものを使ってみたがだめだった。このため、Ollamaを使うのは断念した。

LM Studio

LM StudioならWindowsでRX9060XTを使ってローカルLLMを動かせると聞いたので、そちらの方を試してみた。公式サイトからダウンロード・インストールし、gpt-oss-20bをダウンロードして動かしてみる。

GPUが動いているので、GPUを使って推論を行っているようだ。

こうして、無事ローカルLLMを動かせることを確認した。

今後どれだけ活用できるかはわからないが、とりあえずローカルでLLMを動かせる環境を作ることができた。いろいろ試してみたい。