ローカルLLM、1ヶ月半の実験記 試して、削って、
残ったもの

セットアップは Claude Code と進めた。用途を聞かれて、コーディング補助・日本語チャットと要約・技術文書とノート整理・とりあえず色々試したい——選択肢を4つ全部選んだ。動かす道具の候補は3つ提示された。これも3つ全部入れることにした。初日から絞る気がない。ただ、この「全部入れ」が、あとの取捨選択の土台になる。

AI本体（モデル）は、提案された3案から「バランス・約23GB」の構成を選んだ。qwen2.5:14b（9GB）、コード特化の qwen2.5-coder:14b（9GB）、llama3.1:8b（4.9GB）。提案の弁はこうだ。「14BはM5/32GBのスイートスポット。4bit量子化で、速度と品質のバランスが最良」、そして「QwenとLlama、系統の違う家系を混ぜて、得手不得手を体感する」。14Bはモデルの大きさ（パラメータ数140億）、4bit量子化は「精度を少し譲って軽くする圧縮」——要は、この機体にちょうどいい中型を、家系違いでそろえたということだ。

その日のうちに、手順・比較・トラブル対応まで書いた初学者向けのセットアップガイド（HTML・30KB）も作ってもらった。道具3つ、モデル3本、完全なガイドが1冊。準備としては満点だった。——このときは、全部使うつもりでいた。

導入から3日後の、5月23日。ログに残る依頼は一行だ。「LM Studio をアンインストールしたい　手伝って」。前置きも、理由も書いていない。

削除前の安全確認が、そのまま「使わなかった証明」になった。LM Studioのモデル置き場は空フォルダ。1.8GBの正体はモデルではなくアプリ側の実行部品（ランタイム）で、会話履歴も実質ゼロ。3日間、一度も本格的に使っていなかったことを、フォルダの中身が静かに物語っていた。まるごと消して、約1.8GBを回収した。

返す刀で、MLXも消した。依頼はこうだ。「MLXも使わないのでアンインストールしておいて　セットアップガイドはそのままでいいよ」。本体248MBと、ダウンロード済みモデルの置き場840MB、合わせて約1.1GBを回収（土台のuvは他でも使うので残した）。119.5 tok/s という最速の数字を出した有望株が、真っ先に消える側になった。

なぜ消したのか。ログに理由は残っていないから、ここからは後日の考察になる。自分の日常は、Claude Code の黒い画面の中にある。GUIアプリをわざわざ起動する、という動線がそもそも生活にないのだ。MLXの速さは本物でも、日常で効くのは速さより ollama pull 一発で済む、出し入れの楽さのほうだった。性能で選んだつもりの道具が、生活の動線で選び直される。3日というのは、それが分かるのに十分な長さだったのだと思う。

削除から6日後の5月29日、残った Ollama にモデルを4本足した。依頼は「軽量だけど、それなりに品質を評価されているローカルLLMをセットアップしたい」。14Bで「動く」は確かめた。次に知りたいのは逆側——どこまで軽くしても使い物になるかという下限だ。Webの評判を調べた結論は「4B級が、省メモリと品質のスイートスポット」。ベンチ上位の常連から、家系のかぶらない4本を選んだ。計10.4GB。

同じお題（ツェッテルカステンを2文で）を投げる。サイズはほぼ横並びなのに、性格は、ばらばらだった。

断っておくと、この★は公式のベンチマークではなく、その場のAI（Claude）が付けた主観の評だ。それでも収穫だった。差が出るのは、指示に従うか・日本語が自然か・考えすぎないか——スペック表に載らない「性格」のほうだった。とくに qwen3 は示唆的で、賢さは、思考というコストとの引き換え——クラウドの最新モデルが抱える構図が、2.5GBの小さなモデルにもそのまま入っていた。

この日、手元の全モデルを家系別に一覧する比較HTMLも作った。そして同じ日、この実験でいちばん面白い出来事が起きる。

7月9日。この記事を書くために、棚卸しをした。ollama list の結果は10本、合計83.8GB。5月29日の比較表と、1本の増減もなく一致する。あれから40日あまり、構成は何も変わっていない。

そして、その一覧でいちばん大きな住人。qwen3.6:latest、23GB。次いで gemma4:latest、9.6GB。——あの「確定で存在しません」の名前が、2つ合わせて32.6GB、全体の約4割を占めて鎮座している。タイムスタンプをたどると、5月29日の時点ですでに「6日前」。つまり5月23日ごろ——LM Studio を消したのと同じ頃に、この機械へ入っていた。

今回の棚卸しで、初めて ollama show を打った。10秒で済む確認だ。返ってきたのは——本物の身分証明だった。gemma4:latest は、アーキテクチャ名「gemma4」を名乗る8Bのモデルで、画像も音声も読める新世代。qwen3.6:latest は36BのMoE（専門家の分業で動く方式）。あらためてWebを調べると、Gemma 4 は Google が正式に出したオープンモデルで、Qwen3.6 も公式リリース済み。どちらも、Ollamaの公式ライブラリに堂々と載っている。

つまり、5月29日の「確定で存在しません」は、誤審だった。存在しなかったのは「gemma4:4b」というサイズのタグだけ。Gemma 4 の構成に4Bという版が無かった——それだけのことを、「gemma4というモデルが存在しない」と読んでしまった。3段構えの手続きは正しかったのに、問いが狭かったのだ。おまけに5月のAIの知識は「最新はgemma3」で止まっていたから、「未リリース」という筋書きは、AIにとって収まりがよすぎた。

構図を並べ直すと、皮肉がよく見える。人間の「gemma4とかもとれる?」は、半分あてずっぽうで、半分正しかった（モデルは実在した）。AIの「存在しません」は、実測に基づいていて、それでも間違っていた（タグしか見ていなかった）。しかもこの機械には5月23日ごろから実物が入っていて、AIはそれを「カスタムタグの可能性大」と警告までしていた。ハルシネーションを疑う矢印は、両方向に要る。AIの記憶より新しいものは、AIには「存在しない」ように見えるのだ。

そして、もうひとつの教訓も消えていない。Claude Code の全セッションログを検索しても、この2本を入れた記録が、どこにも無い。おそらく5月23日ごろ、ターミナルから自分の手で、出たばかりの新型をpullした——のだと思う。だが「おそらく」までしか言えない。何のために入れたか、思い出せない。導入の経緯がログの外にあったせいで、この記事の下書きには、危うく「出所不明の謎の32.6GB」と書くところだった。実物の身元は、10秒の ollama show と数分のWeb検索で割れたのに、である。

実際、この記事の実測値も引用も、すべて Claude Code のセッションログから引いた。ログの中の作業は、あとから資産になる——セッションログを資産に変える話は、同日公開の姉妹記事に譲る。ログの外でやった仕事は、未来の自分に引き継がれない。

もうひとつ、正直に書いておく。5月29日を最後に、Claude Code のログ上でローカルLLMを動かした形跡は無い。あるのはセットアップの2日と、今日の棚卸しだけだ。ターミナルから直接使った分は検知できないから、「使わなかった」と断定はしない。ただ、Claude Code 経由の再利用は確認できない——それが正確なところだ。83.8GBの使い道は、まだ見つけている途中である。もっとも、次に試す先頭は決まった。誤審の汚名を着たまま眠っていた、新世代の2本だ。

では、冒頭の問いに戻ろう。手元の Mac で LLM を動かす意味はどこにあるのか。セットアップガイドに書いた使い分けが、いまも一番しっくり来る。

ローカルの取り柄は、はっきりしている。打った文章もファイルも一歩も外へ出ない機密性。無料で、回数制限なし。オフラインで動く。そして、遠慮なく触って壊せる実験場。引き換えに、品質は最新のクラウドに及ばず、30Bを超えると待たされ、最初のダウンロードは数GB〜数十GBある。ちなみに5月20日の調べ書きには「画像生成は実用域、動画はまだ素直にクラウド、音声認識は完全にローカルが勝っている分野」ともある。勝ち負けは、分野ごとに違う。

それでも、「32GBで14Bが13 tok/sで動く」「4Bにも性格がある」「thinkingはトークンを食う」という手ざわりは、触った者の中にしか残らない。クラウドの向こう側で起きていることを、手のひらの上で観察できる——学習装置としてのローカルLLMは、月額の外にある価値だった。そして最後に残った教訓は、LLMそのものの話ですらなかった。試すのは、いい。削るのも、いい。ただし、ログの残る場所でやること。