前回は、機械が「誰が話したか」を知っているふりをする話でした。今日は、「何が決まったか」を作ってしまう話です。
「はい。」だけの録音に、会議が生えた
テスト中に、「はい。」とだけ言って止めた録音がありました。数秒の、中身のない録音です。
そこに付いた要約を見て、目を疑いました。決定事項が並び、TODO が並び、それらしい会議のサマリーが、丸ごと生えていた。誰も会議などしていないのに、です。
AI は、材料が足りないとき、それらしいもので隙間を埋めることがあります。レシートのときは、存在しない数字を作られました。今度は、言葉で同じことが起きていました。
決定 28 件。実際は、0 件
短い録音だけの問題かというと、そうではありませんでした。14 分の対談 ── 本の話をしているだけで、何ひとつ決めていない録音 ── を要約させると、「決定事項 28 件」「TODO 28 件」と返ってきました。
正解は、どちらも 0 件です。決定でないものを決定の欄に、頼まれてもいないことを TODO の欄に。要約が、水増しされた議事録になっていました。
原因は、モデルではなく、頼み方だった
長い録音は、そのままでは AI に渡せないので、1,000 字ほどの断片に割って渡していました。そして、断片ごとに「決定・TODO・要点に分類して」と頼んでいた。
ここが、まちがいでした。断片の中に決定などなくても、「決定」という欄を渡された AI は、欄を埋めようとする。1,000 字の断片を 10 個渡せば、ありもしない決定が 10 回、生えてくる。分類させたことが、作話させていたのです。
事実だけを、拾わせる
直し方は、頼み方を組み替えることでした。
断片に頼むのは、「そこで話された事実のメモを、3〜5 行」だけ。分類はさせません。決定かどうかの判断は、すべての断片のメモが揃ってから、全体を見て行う。しかもそのとき、「決定・TODO・要点に分類して」という大きな問いにはせず、「これは、決定か? はい/いいえ」という二択まで砕いて聞くことにしました。大きな問いには弱いモデルも、二択には、ちゃんと答えられるからです。
決定、0 件
同じ 14 分の対談で、作り直した要約は、決定 0 件・TODO 0 件・要点 6 件を返しました。比較のために、クラウドの大きなモデルにも同じ録音を要約させてみましたが、答えは同じ、決定 0 件。手のひらの端末の中の小さなモデルが、頼み方ひとつで、同じ答えに並びました。
モデルの限界に見えていたものの大半は、タスクの与え方でした。
ついでに、ひとつ
40 字に満たない録音は、AI を呼ばないことにしました。「はい。」は、「はい。」のまま残る。それがいちばん正確な要約だからです。
次回
言わせない工夫の次は、失わない工夫です。15 分の録音を丸ごと失って、保存というものの順番を考え直した話をします。
STIL.NOTE は App Store で公開しています。
