日本語に強い文字起こしアプリの選び方｜Kotoba Whisperとは

日本語の会議で「文字起こしの精度が高い」ツールを探しているなら、押さえておきたいのは日本語特化モデルと汎用モデルの使い分けです。日本語に特化した Kotoba Whisper は軽量・高速で読み上げ音声に強い一方、同時発話や雑音のある自然な会議では、パラメータの多い汎用モデル（medium / large-v3）が安定することもあります。OffReco（オフレコ）は、この両方を、クラウドに送らず完全ローカルで切り替えて使えるMac向けアプリです。この記事では、日本語の文字起こしがなぜ難しいのか、Kotoba Whisperとは何か、そして精度を上げるコツを順に整理します。

なぜ日本語の文字起こしは難しいのか

英語に比べて、日本語の音声認識にはいくつか固有の難しさがあります。

• 同音異義語が多い: 「機械／機会」「公正／構成」のように、音は同じでも意味と漢字が違う語が大量にあります。前後の文脈を踏まえないと正しい表記を選べません。
• 固有名詞・専門用語: 社名やプロダクト名、社内用語は辞書に載っていないことが多く、誤変換が起きやすいポイントです。
• 話し言葉の崩れ: 「えっと」「〜じゃないですか」のような口語、言い直し、相づちが混ざると、書き言葉前提のモデルは取りこぼしがちです。

汎用のWhisperは多言語を1つのモデルでまかなう設計のため、こうした日本語特有の現象を取り切れない場面があります。日本語のデータで鍛え直したモデルが有利になることもありますが、一方で雑音や同時発話が多い会議では、パラメータの多い汎用モデルのほうが安定することもあります。どちらが効くかは録音環境しだいなので、両方を試せると安心です。

Kotoba Whisperとは

Kotoba Whisper は、OpenAIのWhisperをベースに日本語へ特化させたモデルです（OffRecoが使うのは v2.0）。技術的には、Whisper の最上位モデル **large-v3 を教師にして蒸留（distillation）**したもので、デコーダを軽量化しつつ日本語データで学習し直しています。

ポイントは2つあります。

• 軽くて速い: モデルカードによると、large-v3 と比べて約 6.3倍高速で、日本語ベンチマークの誤り率（CER）も large-v3 と同等以上とされています（例: CommonVoice 8 日本語で CER 9.2）。軽量なので、特別なGPUがなくても多くのMacで現実的な速度で動きます（出典: HuggingFace モデルカード）。ただしこの CER 9.2 や約 6.3倍速は、CommonVoice 8 という”読み上げ音声”のベンチでの値です。単一話者・低雑音の条件で測られた数字なので、同時発話や雑音のある自然な会議では、汎用モデル（medium / large-v3）のほうが安定することもあります。
• faster-whisper（CPU）で動く: 高速推論ライブラリ faster-whisper 向けの重みが用意されており、Mac上でも実用的なスピードで文字起こしできます。なお Kotoba は mlx 版が無く、Apple Silicon でも GPU は使わず CPU で動きます（GPU 高速に回したいなら、mlx 版のある medium / large-v3 が向きます）。

つまり Kotoba Whisper は「日本語特化で軽量・高速、読み上げ音声で高精度」という立ち位置です。会議の精度を最優先するなら汎用モデルも候補になるので、両方を試せると安心です。

精度を上げるためのコツ

モデルが良くても、使い方しだいで精度は変わります。日本語の会議で文字起こしの質を上げるなら、次の3点が効きます。

1. 用途に合ったモデルを選ぶ: 速度・軽さ重視か、会議での精度重視かで最適なモデルは変わります。OffRecoはセットアップ画面でモデルを選べるので、軽さ・日本語特化なら Kotoba、会議の精度重視なら（Apple Silicon では mlx の）medium / large-v3 を試して、すぐ切り替えて比べてください（モデルの選び方）。
2. 静かな環境で録る: 雑音や複数人の同時発話は、どんなモデルでも誤りの原因になります。マイク位置を整え、できるだけクリアな音で録るだけで結果が変わります。
3. 話者分離を使う: 誰の発言かを区切ると、議事録としての読みやすさが上がり、後からの確認・修正もしやすくなります。OffRecoは話者分離に対応しています（任意のHugging Faceトークンを設定すると有効化できます）。

OffRecoの位置づけ

OffReco は、Kotoba Whisper も汎用の medium / large-v3 も完全ローカルで切り替えて動かせる点が特徴です。

• すべてMacのなかで処理: 録音から文字起こし・話者分離まで端末内で完結し、音声・文字起こし本文を外部に送りません。機内モードでも文字起こしが動きます（初回のモデル取得時だけ通信が必要です）。
• 全自動: 会議を自動検知し、録音を終えると自動で文字起こしが始まります。毎回手で頼む必要はありません。
• 入口が軽い: 初月無料、その後は月¥220 / 年¥2,200。macOS 14.2以降で動作します。

議事録（要約）は、あなたの ChatGPT や Claude を使って作れます。OffReco 自身は AI を呼ばず、渡すのは文字起こしだけ（音声は渡しません）。Claude Desktop と連携すれば最速1タッチ、Web 版でも2タッチで取り込めます。

まとめ

日本語の会議で文字起こし精度を上げたいなら、日本語特化モデルと汎用モデルを使い分けるのが近道です。Kotoba Whisper は large-v3 から蒸留された日本語特化モデルで、軽量かつ多くのMacで動き、faster-whisper（CPU）で実用的に使えます。一方、会議の精度を最優先するなら、Apple Silicon では mlx の medium / large-v3 が安定することもあります。OffReco はこのどちらも完全ローカルかつ全自動で切り替えて使えるので、音声をクラウドに上げずに日本語の議事録づくりを自動化したい人に向いています。まずはダウンロードして、自分の会議で精度を確かめてみてください。関連して、Macでクラウドに送らず会議を文字起こしする方法や、Whisperをローカルで動かす（設定不要の選択肢）も参考になります。