NVIDIA、音声AI「Nemotron 3.5 Transcribe」をオープン公開。文字起こし・話者分離・翻訳・音声への質問を1モデルに、学習データ46万時間分も

まず初めに

文字起こしのAIは山ほどあるが、「誰が言ったか」「訳して」「要するに何が決まったか」まで1個で済ませに来たのは、道具箱を一つに畳む発想として素直に強い。しかも重みもデータの作り方も表に出してきた。ベンチマークの首位争いはいつもの広告合戦として割り引くとしても、「録音を渡せば、整形済みの成果物が返る」という形に寄せてきた点は、現場の手間をよく見ていると思う。

※個人の感想です

何が公開されたのか

NVIDIAのHugging Faceブログによると、Nemotron 3.5 Transcribeは録音済み音声を「使えるテキスト」に変えるためのモデルで、Hugging FaceとModelScopeで入手できます。プロンプトで出力形式を指示できるのが特徴で、逐語的な書き起こし（言い淀みまで含む形式）や、読みやすく整えた形式などを切り替えられます。単語単位のタイムスタンプにも対応します。

対応範囲はタスクごとに異なります。文字起こしは40言語、話者分離は13言語、翻訳は31言語と英語の間で、音声への質問応答は英語で学習されています。日本語が各タスクの対応にどこまで含まれるかは、モデルカードのタスク別・言語別表で確認する必要があります。

性能の公表値

NVIDIAの公表では、Hugging FaceのOpen ASR Leaderboardの英語部門で、オープンウェイトモデルの中で首位（平均単語誤り率5.33%）とされています。多言語部門では7言語平均で4.62%の単語誤り率を記録したとされます。話者分離では、David AIの21言語のベンチマークで最も低いエラー率、VoiceArenaの14システム比較で首位をうたいます。

効率の面では、Artificial Analysisの指標で、アクティブパラメータ約40億で単語誤り率の指数2.8%を記録し、オープンウェイトモデルの首位タイだと説明されています。これらはベンダー公表のベンチマークであり、第三者による再現検証はこれからです。数値は「NVIDIAの主張」として読むのが正確です。

Granary v2と追加学習

同時に公開されたGranary v2は、音声データの公開基盤です。公開マニフェストは48言語・16の出典コーパスから46万3062時間分に及び、前世代の25言語から広がりました。各録音には、逐語形式や数字の表記を整えた形式など、複数の書き起こしスタイルが用意されます。なお、この時間数はデータセット公開の規模であり、Transcribe自体の学習データ全体や、その配分を示すものではないとNVIDIAは断っています。

分野適応の事例として、インドの医師らの医療音声で追加学習を行った結果、未知の話者に対する単語誤り率が、最良のプロンプトと比べて45.8%下がったと報告されています。追加学習には約14時間のGPU処理で済んだという説明です。一方で、汎用的な英語の精度がわずかに下がるといった副作用も併記されており、NVIDIAは検証用に実データの録音を少なくとも100件確保することを勧めています。

制限と注意点

Transcribeは録音済み音声専用で、ライブ配信のようなリアルタイム文字起こしには対応しません。量子化版は今後提供予定で、ローカル実行はRTX Spark、DGX Spark、Jetson AGX Thor、データセンター向けにはBlackwell世代のGPUが想定されています。NVIDIA自身も、固有名詞や話者の切り替わり、質問への回答は録音と照らして確認するよう求めています。

初心者が知っておくべきこと

Q. 「オープンウェイト」とは何ですか。

A. AIモデルの学習済みパラメータ（重み）が公開され、自分の環境にダウンロードして動かしたり、追加学習したりできる公開方式です。サービスとして使うだけのモデルと違い、手元の機械で処理できるため、音声データを外部に送らずに済む構成も選べます。

Q. 話者分離とは何ですか。

A. 録音の中で「誰が、どの区間を話したか」を区別する処理です。会議の議事録で発言者名が付くかどうかは、この処理の精度で決まります。本モデルでは最大8人まで、13言語で対応するとされています。

Q. 日本語の会議でも使えますか。

A. 文字起こしは40言語対応とされていますが、タスクごとの対応言語は異なり、質問応答は英語学習です。日本語でどのタスクまで使えるかは、モデルカードの対応表で確認し、実データで試してから判断するのが確実です。

IT Postの見方——売り物はモデル単体ではなく「データの作り方」まで含めた一式

IT Postでは、今回の公開で実務的に効くのは、モデルそのものよりGranary v2と追加学習の手順まで含めた「一式」を出した点だと考えます。音声認識の現場の困りごとは、汎用性能の数%ではなく、専門用語と自社の表記ルールに合わないことだ。その調整の材料と手順を先回りして配るのは、モデルを「試せる」から「業務に組み込める」に変える動きである。

一方で、ベンチマークの首位表示は割り引いて読むべきだ。公表値はいずれもNVIDIA側の土俵の数字で、医療事例の45.8%改善も「最良のプロンプト比」という条件付きである。とはいえ、副作用まで併記し、検証用の実データを確保せよと書く姿勢は、誇張だけの発表よりは信用できる。音声AIの競争が「何言語対応か」から「自分の現場に何時間で馴染むか」に移りつつあることを示す公開だと思う。

※個人の感想です

今後どうなりそうか

焦点は、量子化版の提供によるローカル実行の広がりと、タスク別の日本語対応の実力です。対応言語数ではなく、日本語の会議録音で話者分離まで含めてどこまで使えるかが、国内の利用者にとっての評価軸になります。

IT Postでは、モデルカードの更新や日本語での検証報告が出てきた場合は本記事を更新します。