▍AI Dev Lab
MindCell

MindCell ができるまで — ブラウザだけで LLM を動かすチャット設計

WebGPUとWebLLMの端末内AIチャット設計記録。モデル取得量とGPUメモリの違い、準備・応答生成の経過時間、失敗時の入力復元、対応外環境の扱いと検証の限界を説明します。

·decision改善·stage公開中

MindCellは、WebGPUとWebLLMで言語モデルを端末内推論するチャットサービスです。会話を推論APIへ送信する機能は実装していませんが、モデル・ライブラリ取得や広告・解析等の通信は別です。完全な機密性やオフライン動作を保証せず、機密情報や個人情報を安易に入力しないでください。

#なぜこの形にしたか

#準備と応答生成の時間を分ける

モデルを選ぶだけ・入力するだけでは取得せず、送信操作で開始します。画面には選択モデルに対応する取得量の概算とGPUメモリ目安を表示します。両者は別の値で、現在の空き容量ではありません。

今回の処理時間は、送信からエンジン準備完了までと、その後の応答生成要求から終了までを分けて記録します。準備にはGPU確認・必要な取得・初期化が含まれ、ダウンロードだけの時間ではありません。中止や失敗は途中までの記録として区別し、準備が完了していない場合は応答生成を未開始と表示します。時刻の差だけをタブ内で保持し、常時タイマーや計測用通信は追加しません。

同じ端末でも回線・入力・キャッシュ・他アプリ等で変わります。この表示をスマホの速度ランキング、他端末の遅さの原因、次回の完了予測には使いません。制御したSDKで状態遷移を確認する検証と、実モデルによる端末間速度比較は別で、後者の測定結果は掲載していません。

#モデルの容量案内と読み込み失敗からの復旧

取得量の概算と実行時のGPUメモリは別です。導入済みWebLLM 0.2.83のモデル設定には、Qwen 0.5Bで944.62MB、Llama 1Bで879.04MB、Phi 3.5で3672.07MBという実行時の目安があります。これらは現在の端末の空きVRAMを測定した値でも、実際のダウンロード量でもありません。設定や端末によって動作は変わり、キャッシュの保持やオフライン再利用も保証できません。

WebGPU APIがあるだけで利用可能とは判定せず、モデル取得前にアダプターを要求します。取得不可や読み込み失敗時は送信前の会話と入力文を戻し、同モデルで再試行したり別モデルへ選び直したりできます。失敗したPromiseを使い回し続ける不具合を修正し、準備中に失敗したエンジンにはunloadを試みます。画面を離れた後の結果反映も抑止しますが、処理の完全な即時中断や全端末でのメモリ回収を保証するものではありません。

検証には実画面・実runnerと制御したモデル応答を使い、入力復元・同モデル再試行・GPU取得拒否を確認しました。これは実モデルの推論成功や応答品質を実証する試験ではありません。新しいモデルや依存ライブラリは追加していません。

生成中のstopはSDKのinterruptGenerateにも停止要求を送り、戻るまでは次の送信を許可しません。画面を離れる場合も停止要求と遅着の反映抑止を行います。SDKへの要求失敗ではその旨を表示し、成功したふりをしません。モデル取得中の即時中止やGPU資源の完全解放までを保証する操作ではありません。

AI チャットに入力する内容は、個人的だったり機密だったりすることが多い。仕事のメール、健康相談、家族のこと、契約書のドラフト。これらが外部 API を経由する設計は、本来は正しくない。

WebGPU が Chrome 113+ で安定し、 @mlc-ai/web-llm が量子化済みモデル (Qwen 2.5 0.5B など) を高水準 API で扱える今、ローカル LLM を Web サービスとして出す素地が整っています。「LLM も」という事実を、そのまま製品にしたのが MindCell。

#見た目の方針

ニューラル・パスウェイ × インディゴ + シアン。

  • 深い真夜中のインディゴ (#07091a) を背景に、インディゴ (#6366f1) と電気シアン (#22d3ee) のグラデーションをアクセント
  • 「思考の回路が光る」メタファー
  • 既存7本 (mint / amber / violet / cobalt / lime / gold / rose) と完全に別の色相 + 異なる温度感

#実装の見どころ

#1. 高水準 API でロードを1行化

@mlc-ai/web-llm の CreateMLCEngine は、モデルID と進捗コールバックを渡すだけでエンジンを返してくれる。量子化済みモデルが Hugging Face CDN から並列ダウンロードされ、 IndexedDB に自動キャッシュ。 2回目以降はオフラインで動きます。

ts
const engine = await CreateMLCEngine("Qwen2.5-0.5B-Instruct-q4f16_1-MLC", {
 initProgressCallback: (p) => onProgress({ text: p.text, progress: p.progress }),
})

#2. ストリーミング応答

OpenAI 互換の API で stream: true を指定すると、 AsyncIterable でトークンが届きます。これを React の setMessages に渡すと、タイプライター風の応答 UI が成立。

ts
const stream = await engine.chat.completions.create({
 messages: [...],
 stream: true,
})
for await (const chunk of stream) {
 const delta = chunk.choices[0]?.delta?.content
 if (delta) yield delta
}

UI 側は generator を for await で受けて、ステート更新時に最後のメッセージのみ書き換える設計。余計な再レンダリングを避けています。

#3. WebGPU 非対応の検出と honest fallback

起動時はnavigator.gpuの有無を確認し、送信時にはGPUアダプターの取得も確認します。APIがあるだけで実行成功とは判定しません。対応は版・OS・GPU・設定に依存し、固定のブラウザ名だけでは保証しません。

tsx
{webGpuOk === false ? (
 <UnsupportedPanel>
 Chrome / Edge / Opera で再アクセスしてください
 </UnsupportedPanel>
) : null}

ここで「動くフリ」をしないことが重要。 text-pluck のロゴ事件で得た教訓を踏襲しています。

#4. モデル切替

Qwen 0.5B / Llama 1B / Phi 3.5 miniを選べます。選択だけでは取得せず、次の送信時に必要なら既存エンジンのunloadを試みてから選択モデルを準備します。取得量の概算とGPUメモリは別に表示し、大きいモデルほど正確になるとは保証しません。

#5. System prompt 編集

折りたたみ式の editor で system prompt を即時変更可能。ユーザーが「丁寧な翻訳者として振る舞って」のような指示を入れて、そのまま会話を始められる。系列の text-pluck や bg-snap の preset プリセットと同じ流儀で、「設定が見える時だけ触れる」 UI に統一しています。

#苦労したところ

  • GPU取得とAPIの有無は別: 利用可能なGPUを取得できない場合は入力を戻し、モデル取得を始める前に失敗を伝えます。
  • 取得量と処理時間は別: 容量は概算、準備時間には取得と初期化が混在します。回線や端末を測らずに速度や必要メモリを断定しません。
  • 量子化モデル ID の命名: WebLLM 公式が使う Qwen2.5-0.5B-Instruct-q4f16_1-MLC のような長いID をUI に出さないよう、ラベルと容量の組合せで見せる構造にしました。

#今後の拡張

  • 会話履歴の保存 / エクスポート: localStorage + JSON ダウンロード
  • 添付ファイル対応: text-pluck (OCR) や voice-scribe (文字起こし) の出力を直接食わせる導線
  • 複数モデル並列: Phi で詳細応答、 Qwen で素早い相槌、のような役割分担
  • WebGPU 不在時の WASM fallback: 速度は出ないが動かす選択肢
  • マルチターン要約: 長い会話を別モデルで要約してコンテキスト圧縮

#このサービスから言える事

ラボの 8 本:

  • voice-scribe / clip-cast / bg-snap / text-pluck / pdf-anvil / pixel-lift / pic-flip / mind-cell

メディア処理 7本に続いて、今度はテキスト生成系もに来ました。つまり「AI 処理を全部ブラウザで」という主張が、認識系 + 変換系 + 生成系の3カテゴリで実証された状態。ここまで来ると、「サーバーに送らないと使えない」という SaaS の前提自体が、そろそろ更新時期に入っている、と言えそうです。

[ ./next_action ]

読んだら、 MindCell を実際に動かす。

この開発ログは MindCell をどう作ったかの記録です。 読み終わったらそのままサービス本体へ戻って、実物で価値を確かめてください。

[ ./related_logs ]

関連する開発ログ

all logs →
StarTrail

重力で近くを通る2粒子を観察する:スロー再生と計算刻みの違い

初期座標・速度・G・dt・軟化を公開した2粒子の数値実験。保存点の最接近をコマ送りで見て、再生速度・表示径・計算刻みを区別します。条件付きPNG/JSONの保存手順と、接触や現実の精度を保証しない限界も説明。

read log →
ShadowTwin

立体パズルの別解を作る:同じ影と最少の積み木

ShadowTwinの開発記録。同じ3方向の影となる別解の仕組みを、A/Bの違いと1操作の投影変化で確認。最高段の維持・床の有無・最少個数を区別し、元判定と保存を変えず検算します。実照明の計算や能力診断ではありません。

read log →
SlitCard

スリットアニメーションを作る:4コマの合成と透明原稿の設計

SlitCardの開発記録。4コマの帯を交互に合成し、すき間と黒帯で別のコマを見せる仕組みを解説。同縮尺の台紙・透明シートSVG、50mm確認線、手動プレビュー・初期非表示、再編集と実出力検査を整理します。

read log →
WindowLight

日当たりシミュレーションを作る:窓の光を床へ投影する幾何モデル

WindowLightの開発記録。太陽位置近似から窓の4隅を床へ投影し、凸多角形を部屋で切り取る設計を解説。国立天文台の16時刻との限定照合、大気差・低高度・実際の採光との違い、SVGと設定の再編集を整理します。

read log →
GridLights

電源構成の比較を作る:割合と実量を100個の電球で読み解く

電源構成比較GridLightsの開発記録。12か国の年次発電データを最大剰余法で100個の電球に変換し、割合とTWhを比較する設計を解説。欠損を0補完しない7分類、予想と実値、出典付きSVGと実データ検証を整理します。

read log →
SoundLoom

音のお絵かきを作る:実WAVから絵を測り直す設計

音のお絵かきの開発記録。描画と編集可能な立ち上がり・消え方をPCM/WAVへ変換し、実音をGoertzel法で測る仕組みを解説。旧JSONの音の互換性、再生音量と保存ピーク、測定窓・量子化の限界と古い処理の抑止を整理します。

read log →