AI VTuber / Live2D / Discord Bot
1枚のイラストから作ったキャラクター。話しかけると、考えて、声で返事する。
ブラウザで動くデモ。ボタンで表情を変えたり、マイクに合わせて口を動かしたりできます。
しゃべる
- ターミナルで話しかけると、DeepSeek で返事を考えて、AivisSpeech の声でしゃべる
- 返事の全文を待たずに、最初の1文ができた時点でしゃべり始める
- VTube Studio のモデルが声に合わせて口を動かす。待機中も頭の揺れ・まばたき・視線が動く
入力 ─▶ context.py ─▶ llm.py(DeepSeek, ストリーミング)
│ 届いた文字から順に
▼
speech.py(文に区切る → 次の文を合成しながら再生)
▼
AivisSpeech ─▶ スピーカー
│ 再生中の音量
▼
motion.py(口パク・待機モーション 30fps)─▶ VTube Studio API
Discord にいる
- Discord のキャラクター bot として VPS に常駐(Mafuyu-AI-VPS)
- チャンネルの直近の会話を読んで、話しかけてきた人に返事する
- 話した内容から人ごとのプロファイルを作って覚える。
/memoで確認、/forgetで削除 - 天気は気象庁の予報、調べものは Web 検索、貼られた URL は本文を読む
- API の利用額を見積もって、上限を超えたら返事をやめる
- プロンプトインジェクション対策を何層か入れている
体を作る
- 1枚のイラスト(2000×4156)からパーツを切り分けて、欠けた部分は LaMa で補完
- PSD に書き出して Cubism Editor で組み立て
- ブラウザで動く簡易リグも自作した。上のデモがそれ(WebGL2)