本文へスキップ
hdknr blog
戻る

NVIDIA RE-USE — 9.6M パラメータの音声強調モデルを文字起こしの前処理に挟む

ボイスレコーダーやスマートリングで録った音声を文字起こしにかけると、雑音や残響のせいで認識結果が崩れることがあります。STT(Speech-to-Text)のモデルを替える前に、入力の音声そのものをきれいにする手があります。

2026 年 10 月末、NVIDIA の研究チームによる音声強調モデル NemotronLabs RE-USE が X で話題になりました。パラメータ数はわずか 9.6M で、モデルカードのベンチマークでは前処理に挟むだけで ASR の文字正解率が 81.3% から 89.2% に上がっています。この記事では、モデルカードに書かれている性能・使い方・制約を整理し、文字起こしの前処理として使う場面を考えます。

きっかけ:「声色あんま変わらない」

発端は NVIDIA AI 公式アカウントの 告知ポスト です。背景ノイズやエコーなどの歪みを取り除いて話し声を聞き取りやすくする、多言語対応のオープンモデルとして紹介されました。

これを引用した GOROman 氏は 「これMacでも動いたので、みんな試そう。ボイスレコーダーのファイルとか食わせるとまじでビビるw」 と投稿しています。さらにそれを引用した Shinichi Ohki 氏は 「RE-USEすごかった。声色あんま変わらないし Index01の音声これ通してSTT通してってやりたい」 と書いています。

Index 01 は、Pebble の創業者が率いる Core Devices が 2025 年 12 月に発表した指輪型のボイスレコーダーです。ボタンを押している間だけ録音する、短い音声メモ専用のデバイスです。指に付けた小さなマイクで録るので、音質は録音環境に大きく左右されます。

「声色が変わらない」という感想は重要です。ノイズ除去をかけると、話者の声質まで変わってしまうモデルが少なくありません。話者の特徴を残したまま劣化だけを取り除けるかどうかが、音声強調モデルの評価の分かれ目になります。

RE-USE とは

モデルカード によると、RE-USE は 多言語ユニバーサル音声強調(Universal Speech Enhancement, USE) モデルです。特徴は次のとおりです。

アーキテクチャは、畳み込みのエンコーダ/デコーダの間に、時間・周波数方向をモデル化する双方向 Mamba を 30 層挟んだ構成です。Mamba は、長い系列を Transformer より軽い計算量で扱える状態空間モデル(SSM)です。

学習データは約 2,500 時間の音声です。LibriTTS、VCTK、Multilingual LibriSpeech、Common Voice 19.0 などのクリーンな音声に、DNS5 チャレンジのノイズや、シミュレーションした室内インパルス応答(部屋の残響特性)を合成して作られています。

小さいのに主要指標で大型モデルを上回る

モデルカードには、音声強調の国際チャレンジ URGENT 2025 の非ブラインドテストセットで、他のオープンソース USE モデルと比べた結果が載っています。全体セットから主な指標を抜き出すと次のとおりです。PESQ は音質の客観評価、STOI は聞き取りやすさ(了解度)の指標で、どちらも高いほど良い値です。

モデルパラメータ数PESQSTOI話者類似度ASR 文字正解率(%)
ノイズ入り(処理なし)-1.340.500.7381.29
Sidon250M1.730.620.7484.68
UniPASE500M2.170.760.8187.28
RE-USE9.6M2.570.780.8689.17

注目したい列は 2 つあります。

1 つは 話者類似度 です。話者認識モデル ECAPA-TDNN で埋め込みを取り、元の音声との類似度を測ったものです。RE-USE は 0.86 で、比較対象の中で最も高い値です。「声色が変わらない」という体感は、この数値と合っています。

もう 1 つは ASR 文字正解率 です。音声認識モデル OWSM v3.1 で文字起こしした結果の正解率で、処理なしの 81.29% が 89.17% まで上がっています。音声強調を前処理に挟むと文字起こしの精度が上がることを、モデルカード自身が示しています。

ただし、DNSMOS や UTMOS といった「聞いた感じの自然さ」を推定する指標では、250M の Sidon が上回っています。すべての指標で勝っているわけではありません。それでも、パラメータ数が 26 分の 1 から 52 分の 1 程度でこの水準に届いている点が見どころです。

文字起こしパイプラインへの組み込み

Ohki 氏の「Index 01 の音声を通して STT を通す」という使い方を図にすると、次のようになります。

録音デバイスで録った劣化した音声を RE-USE で音声強調し、その結果を Whisper などの STT に渡してテキスト化するパイプラインの図。RE-USE は主話者を残して他の話者を抑える前処理として働く

この構成の利点は、Whisper などの STT 側のモデルに手を入れなくてよいことです。RE-USE の出力フォルダを、そのまま STT の入力にすれば済みます。STT を別のモデルに替えても、前処理の 1 段はそのまま使えます。

試し方

いちばん手軽なのはデモ

モデルカードは、まず Hugging Face の Gradio デモ を勧めています。ノイズの入った音声をアップロードすれば、強調後の音声を聞き比べられます。手元の環境を用意する前に、自分の録音で効果があるかを確かめられます。

ローカルで動かす前提:Linux + NVIDIA GPU

モデルカードに記載されている動作環境は、Linux と NVIDIA Ampere 世代の GPU(A100)です。モデルのコードは mamba-ssm パッケージの Mamba を直接 import しています。推論スクリプトも CUDA が使えないと Currently, CPU mode is not supported. というエラーで止まります。

PyTorch や mamba-ssm などの依存は自分で揃える必要があります。モデルカードでは、Mamba の環境構築に SEMamba リポジトリ の Docker 環境を使うよう案内しています。

GOROman 氏は Mac で動かせたと報告していますが、その方法はポストでは明かされていません。公式スクリプトのままでは動かないので、何らかの手を入れたと考えられます。Mac で試すなら、まず Gradio デモで効果を確かめ、そのうえでローカル実行の手間をかけるか判断するのが現実的です。

ローカルで動かす

モデル一式をダウンロードします。帯域拡張(BWE)を使う場合は resampy も入れておきます。

# 帯域拡張(BWE)を使う場合
pip install resampy

# モデル一式をダウンロード
huggingface-cli download nvidia/NVIDIA-NemotronLabs-RE-USE --local-dir ./NemotronLabs_REUSE --local-dir-use-symlinks False
cd ./NemotronLabs_REUSE

モデルカードの入出力の仕様は、8〜48 kHz のモノラル音声です。ステレオの録音は、事前に ffmpeg などでモノラルにしておくと確実です。

ffmpeg -i input.m4a -ac 1 noisy_audio/input.wav

ノイズの入った音声を noisy_audio/ に置いて実行すると、結果が enhanced_audio/ に出力されます。推論スクリプトは結果を .flac で保存するので、STT 側が flac を読めるか確認しておきましょう。

sh inference.sh

学習データは 10 秒未満のクリップで構成されています。30 秒を超えるような長い音声や、GPU のメモリ不足になる音声は、チャンク分割版を使います。long_noisy_audio/ に置いて実行します。

sh inference_chunk.sh

出力先は、モデルカードでは Long_enhanced_audio/ と書かれていますが、スクリプトの指定は小文字の long_enhanced_audio/ です。Linux ではファイル名の大文字・小文字が区別されるので注意してください。

チャンクの長さ(chunk_size_in_seconds)と重なり(hop_length_portion)はスクリプト内で調整できます。会議の録音のような長いファイルはこちらを使うことになります。

ライセンス

Hugging Face には RE-USE の名前を持つリポジトリが 2 つあります。

業務の録音に使うなら、商用利用可と明記されている NemotronLabs 版を選ぶのが無難です。

まとめ

スマートリングやボイスレコーダーで場所を選ばず録音できるようになった分、音質のばらつきは大きくなっています。録音の質を前処理で底上げできる小さなモデルは、音声メモを LLM に渡す流れを支える部品になりそうです。

参考リンク



前の記事
AI 時代のオーバーエンジニアリング — 「エッジケースだから許容する」判断を期待値で下す
次の記事
TLA+ のモデル検査器 TLC とは — 起こりうる全状態を総当たりして設計バグを見つける