MindCellは、WebGPUとWebLLMで言語モデルを端末内推論するチャットサービスです。会話を推論APIへ送信する機能は実装していませんが、モデル・ライブラリ取得や広告・解析等の通信は別です。完全な機密性やオフライン動作を保証せず、機密情報や個人情報を安易に入力しないでください。
#なぜこの形にしたか
#準備と応答生成の時間を分ける
モデルを選ぶだけ・入力するだけでは取得せず、送信操作で開始します。画面には選択モデルに対応する取得量の概算とGPUメモリ目安を表示します。両者は別の値で、現在の空き容量ではありません。
今回の処理時間は、送信からエンジン準備完了までと、その後の応答生成要求から終了までを分けて記録します。準備にはGPU確認・必要な取得・初期化が含まれ、ダウンロードだけの時間ではありません。中止や失敗は途中までの記録として区別し、準備が完了していない場合は応答生成を未開始と表示します。時刻の差だけをタブ内で保持し、常時タイマーや計測用通信は追加しません。
同じ端末でも回線・入力・キャッシュ・他アプリ等で変わります。この表示をスマホの速度ランキング、他端末の遅さの原因、次回の完了予測には使いません。制御したSDKで状態遷移を確認する検証と、実モデルによる端末間速度比較は別で、後者の測定結果は掲載していません。
#モデルの容量案内と読み込み失敗からの復旧
取得量の概算と実行時のGPUメモリは別です。導入済みWebLLM 0.2.83のモデル設定には、Qwen 0.5Bで944.62MB、Llama 1Bで879.04MB、Phi 3.5で3672.07MBという実行時の目安があります。これらは現在の端末の空きVRAMを測定した値でも、実際のダウンロード量でもありません。設定や端末によって動作は変わり、キャッシュの保持やオフライン再利用も保証できません。
WebGPU APIがあるだけで利用可能とは判定せず、モデル取得前にアダプターを要求します。取得不可や読み込み失敗時は送信前の会話と入力文を戻し、同モデルで再試行したり別モデルへ選び直したりできます。失敗したPromiseを使い回し続ける不具合を修正し、準備中に失敗したエンジンにはunloadを試みます。画面を離れた後の結果反映も抑止しますが、処理の完全な即時中断や全端末でのメモリ回収を保証するものではありません。
検証には実画面・実runnerと制御したモデル応答を使い、入力復元・同モデル再試行・GPU取得拒否を確認しました。これは実モデルの推論成功や応答品質を実証する試験ではありません。新しいモデルや依存ライブラリは追加していません。
生成中のstopはSDKのinterruptGenerateにも停止要求を送り、戻るまでは次の送信を許可しません。画面を離れる場合も停止要求と遅着の反映抑止を行います。SDKへの要求失敗ではその旨を表示し、成功したふりをしません。モデル取得中の即時中止やGPU資源の完全解放までを保証する操作ではありません。
AI チャットに入力する内容は、個人的だったり機密だったりすることが多い。仕事のメール、健康相談、家族のこと、契約書のドラフト。これらが外部 API を経由する設計は、本来は正しくない。
WebGPU が Chrome 113+ で安定し、 @mlc-ai/web-llm が量子化済みモデル (Qwen 2.5 0.5B など) を高水準 API で扱える今、ローカル LLM を Web サービスとして出す素地が整っています。「LLM も」という事実を、そのまま製品にしたのが MindCell。
#見た目の方針
ニューラル・パスウェイ × インディゴ + シアン。
- 深い真夜中のインディゴ (
#07091a) を背景に、インディゴ (#6366f1) と電気シアン (#22d3ee) のグラデーションをアクセント - 「思考の回路が光る」メタファー
- 既存7本 (mint / amber / violet / cobalt / lime / gold / rose) と完全に別の色相 + 異なる温度感
#実装の見どころ
#1. 高水準 API でロードを1行化
@mlc-ai/web-llm の CreateMLCEngine は、モデルID と進捗コールバックを渡すだけでエンジンを返してくれる。量子化済みモデルが Hugging Face CDN から並列ダウンロードされ、 IndexedDB に自動キャッシュ。 2回目以降はオフラインで動きます。
const engine = await CreateMLCEngine("Qwen2.5-0.5B-Instruct-q4f16_1-MLC", {
initProgressCallback: (p) => onProgress({ text: p.text, progress: p.progress }),
})#2. ストリーミング応答
OpenAI 互換の API で stream: true を指定すると、 AsyncIterable でトークンが届きます。これを React の setMessages に渡すと、タイプライター風の応答 UI が成立。
const stream = await engine.chat.completions.create({
messages: [...],
stream: true,
})
for await (const chunk of stream) {
const delta = chunk.choices[0]?.delta?.content
if (delta) yield delta
}UI 側は generator を for await で受けて、ステート更新時に最後のメッセージのみ書き換える設計。余計な再レンダリングを避けています。
#3. WebGPU 非対応の検出と honest fallback
起動時はnavigator.gpuの有無を確認し、送信時にはGPUアダプターの取得も確認します。APIがあるだけで実行成功とは判定しません。対応は版・OS・GPU・設定に依存し、固定のブラウザ名だけでは保証しません。
{webGpuOk === false ? (
<UnsupportedPanel>
Chrome / Edge / Opera で再アクセスしてください
</UnsupportedPanel>
) : null}ここで「動くフリ」をしないことが重要。 text-pluck のロゴ事件で得た教訓を踏襲しています。
#4. モデル切替
Qwen 0.5B / Llama 1B / Phi 3.5 miniを選べます。選択だけでは取得せず、次の送信時に必要なら既存エンジンのunloadを試みてから選択モデルを準備します。取得量の概算とGPUメモリは別に表示し、大きいモデルほど正確になるとは保証しません。
#5. System prompt 編集
折りたたみ式の editor で system prompt を即時変更可能。ユーザーが「丁寧な翻訳者として振る舞って」のような指示を入れて、そのまま会話を始められる。系列の text-pluck や bg-snap の preset プリセットと同じ流儀で、「設定が見える時だけ触れる」 UI に統一しています。
#苦労したところ
- GPU取得とAPIの有無は別: 利用可能なGPUを取得できない場合は入力を戻し、モデル取得を始める前に失敗を伝えます。
- 取得量と処理時間は別: 容量は概算、準備時間には取得と初期化が混在します。回線や端末を測らずに速度や必要メモリを断定しません。
- 量子化モデル ID の命名: WebLLM 公式が使う
Qwen2.5-0.5B-Instruct-q4f16_1-MLCのような長いID をUI に出さないよう、ラベルと容量の組合せで見せる構造にしました。
#今後の拡張
- 会話履歴の保存 / エクスポート: localStorage + JSON ダウンロード
- 添付ファイル対応: text-pluck (OCR) や voice-scribe (文字起こし) の出力を直接食わせる導線
- 複数モデル並列: Phi で詳細応答、 Qwen で素早い相槌、のような役割分担
- WebGPU 不在時の WASM fallback: 速度は出ないが動かす選択肢
- マルチターン要約: 長い会話を別モデルで要約してコンテキスト圧縮
#このサービスから言える事
ラボの 8 本:
- voice-scribe / clip-cast / bg-snap / text-pluck / pdf-anvil / pixel-lift / pic-flip / mind-cell
メディア処理 7本に続いて、今度はテキスト生成系もに来ました。つまり「AI 処理を全部ブラウザで」という主張が、認識系 + 変換系 + 生成系の3カテゴリで実証された状態。ここまで来ると、「サーバーに送らないと使えない」という SaaS の前提自体が、そろそろ更新時期に入っている、と言えそうです。
[ ./next_action ]
読んだら、 MindCell を実際に動かす。
この開発ログは MindCell をどう作ったかの記録です。 読み終わったらそのままサービス本体へ戻って、実物で価値を確かめてください。