本文へスキップ
hdknr blog

NVIDIA RE-USE

NVIDIA の 9.6M パラメータの多言語ユニバーサル音声強調モデル。雑音・残響・コーデック歪みなどを除き、話者の声質を保ったまま文字起こし精度を上げる前処理に使える

概要

NemotronLabs RE-USE は、NVIDIA の研究チームによる多言語ユニバーサル音声強調(Universal Speech Enhancement, USE)モデル。パラメータ数は 9.6M と小さく、録音の劣化をまとめて取り除いて話し声を聞き取りやすくする。

STT(Speech-to-Text)のモデルを替えずに、その前段に挟んで入力音声をきれいにする用途に向く。モデルカードのベンチマークでは、前処理に挟むだけで ASR の文字正解率が 81.3% から 89.2% に上がっている。

詳細

特徴

ベンチマーク(URGENT 2025 非ブラインドテスト、モデルカードより)

モデルパラメータ数PESQSTOI話者類似度ASR 文字正解率(%)
処理なし-1.340.500.7381.29
Sidon250M1.730.620.7484.68
UniPASE500M2.170.760.8187.28
RE-USE9.6M2.570.780.8689.17

文字起こしパイプラインでの使い方

ボイスレコーダーや指輪型レコーダー(Core Devices の Index 01 など)で録った劣化音声を RE-USE に通し、その出力を Whisper などの STT に渡す。STT 側に手を入れず、STT を替えても前処理の 1 段はそのまま使える。

動かし方と制約

ライセンス

Hugging Face には 2 つのリポジトリがある。先行版の nvidia/RE-USE は独自ライセンス(other)。nvidia/NVIDIA-NemotronLabs-RE-USE は OpenMDW-1.1 で、モデルカードに「商用利用可能」と明記されている。業務の録音にはこちらが無難。

関連ページ

ソース記事