前回は、失わない話でした。今日は、聞き取りそのものの話です。
途中から、文字が壊れた
ラグビー中継の録音を取り込んだときのことです。日本語の実況は、ちゃんと文字になっていました。ところが、イタリア代表のキャプテンが英語で話し始めた途端、文字起こしがこうなりました。
「Wel actaltlysputure But litedito her…」
英語のようで、英語ではない。単語のかけらが、溶けてつながったような文字列です。聞き取れなかった、ではなく、壊れた文字が自信ありげに並んでいる。読んでいて、不安になる壊れ方でした。
モデルは、一つの言語しか聞けない
調べると、理由ははっきりしていました。文字起こしのモデルは、言語ごとに別々です。日本語のモデルは、日本語の音の並びしか知りません。そこへ英語の音が流れてくると、聞こえたものを、知っている音の並びへ無理やり当てはめる。それが、あの溶けた文字列の正体でした。
そして、録音の途中で「いまから英語です」と切り替える仕組みは、少なくともいまの API にはありません。一度にひとつの言語。それがモデルの前提です。
でも、実際の会話は、そうなっていません。日本語の打ち合わせに英語の固有名詞が混ざる。海外の相手との通話が、日英を行き来する。素材の側は、モデルの都合に合わせてくれません。
それなら、二人で聞く
考えた末の答えは、単純でした。同じ音声を、日本語のモデルと英語のモデルの、両方に最初から最後まで聞かせる。
鍵は、文字起こしに付いてくる「自信」の数字です。モデルは、区間ごとに、どのくらい確信があるかを返してきます。実際に測ってみると、日本語の区間では日本語モデルの自信が高く（0.84〜0.94)、英語の区間では英語モデルのほうが高い（0.64〜0.89)。きれいに、入れ替わる。
だから、区間ごとに、自信のある方の聞き取りを採る。日本語モデルが胸を張っている区間は日本語モデルから、英語モデルが勝っている区間は英語モデルから。二人の聞き手の、確かなところだけをつなぎ合わせる。
崩れていた英語が、戻った
同じラグビー中継で試すと、キャプテンのコメントが、正しい英語の文章で戻ってきました。日本語の実況から英語のコメントへの切り替わりも、継ぎ目なく。溶けていた文字列が、話されたとおりの言葉に、もう一度立ち上がりました。
二倍の値段
ただし、この方式には、はっきりした値段があります。二度聞くので、時間も電池も、およそ二倍かかる。
だから、使いどころを絞りました。録音済みファイルの取り込みと、あとからの文字起こしのやり直し ── 時間に追われない場面だけ、この二度聞きを使えるようにしています。話しているそばから文字にするリアルタイムの録音は、従来どおり一人で聞く。すべてに効かせる直し方より、効くところにだけ、効かせる。電池は、録音の続くかぎり守るべきものだからです。
次回
次で、Season 5 は最終回です。録った話がノートになって、手元を離れるまで。最初から最後までを、通してたどります。
STIL.NOTE は App Store で公開しています。
