- 公開日
画像や音声からAIが読み取った内容は、原資料と照合するための候補として扱います。金額、氏名、期限、合意内容などが判断に関わるときは、画像の該当箇所や音声の該当時刻へ戻って確認します。画質や音質が足りず確かめられない部分は、文脈でもっともらしく埋めず、未確認として残します。
画像と音声など、複数の種類の情報を扱うことをマルチモーダルと呼びます。入力が文字以外になると、何が写っているか、何と発話されたかを読み取る段階が加わります。その段階の推定と、業務で採用する事実を分けることが、認識結果を使う際の基本です。
この記事は、画像や音声の認識結果を確かめる基本を扱います。認識の確信度の読み方は「画像認識の確信度が高くても、重要な文字は原画像で確かめる」、多言語の文字の誤読は「多言語画像のOCR誤読を、原画像と正式名称で確かめる」、認識結果を登録や実行へつなぐ設計は「画像や音声をAIにつなぐときは認識と変換と実行を分ける」で扱います。
読み取れたことと確かめたことは同じではない
認識結果が流暢な文章になっていると、元資料にも同じ情報が明確にあったように見えます。しかし、ぼやけた数字の候補を選んだ結果や、聞き取りにくい発話を文脈で補った結果かもしれません。出力の読みやすさだけで、資料の裏付けを判断しないようにします。
ここで「確認できた」とするのは、何を、どの資料のどの箇所と照合したかを説明できる範囲です。領収書に金額が記載されていると確認しても、その領収書が真正で、実際の取引を正しく表すことまで確認したわけではありません。認識、資料への記載、現実の出来事の確認は段階が異なります。
同じ資料でも、用途により必要な確認の深さが変わります。会議音声から話題の候補を探すだけなら、未確認の候補として扱い、選んだ区間を後で聞く方法が考えられます。議事録で担当者や期限を確定する場合は、その箇所の照合や関係者への確認が必要です。前者でも、候補を確定した合意として他の処理へ渡さない条件は保ちます。
画質・音質と認識の正しさを分ける
画像では、ぼけ、反射、暗さ、小さい文字、端の切れなどが読む条件に関わります。Google CloudのEnterprise Document OCRの説明は、こうした画質の分析を扱っています。OCRは画像中の文字を読み取る処理です。画質の評価自体にも局所的な欠陥などの限界があるため、スコアだけで読み取った金額の正解を決めないようにします。
例えば画像全体が鮮明でも、合計欄の一桁だけに反射が重なっていることがあります。全体の品質が良いという情報と、その一桁が読めるという情報は別です。画質スコアを、金額や氏名が正しい確率として読み替えることも避けます。
音声では、雑音、反響、圧縮、同時発話、言語やモデルの設定が関係します。Google Cloud Speech-to-Textの推奨事項は、こうした条件の確認や原音声を聴くことを扱います。ただし、特定の製品の設定をすべての音声認識に共通する絶対条件とはしません。利用する方式と入力に合わせて確認します。
文脈は候補を絞る手掛かりになります。会議でいつも使う製品名や担当者名を与えるときも、その名前が実際に発話された証拠にはなりません。自然な文章に整える処理と、元の発話を確かめる処理を分けます。
領収書の金額を未確認のまま残す例
以下は架空の領収書画像と認識結果の比較です。画像を実際に取得したり、OCRやモデルを実行したりした結果ではありません。画像の合計欄には「1,?80円」と見える部分があり、百円の位が反射で読めないと仮定します。店名は「青空文具」と読める設定です。
AIの出力が「青空文具、合計1,280円」だった場合、店名と金額を一緒に採用せず、それぞれを照合します。
| 対象 | 原資料の状態という仮定 | 認識候補 | 扱いと次の対応 |
|---|---|---|---|
| 店名 | 店名欄に青空文具と読める | 青空文具 | 記載との一致を確認した範囲で残す |
| 合計 | 百円の位が反射で読めない | 1,280円 | 金額は未確認。該当箇所の再撮影や原本確認へ回す |
| 支払方法 | 画像の範囲に記載がない | 現金という補完候補 | 記載を確認できないため追加しない |
修正するなら、「店名は青空文具。合計金額は一部が読めず未確認」とします。出力形式が金額欄を必須にしていても、推測値を埋めて完成扱いにしません。未確認を表せる欄や状態を用意し、金額を使う登録処理を保留します。
同じ画像を拡大しても、元の画素に情報がなければ読みを確定できない場合があります。見やすくした画像から候補が出ても、原本の文字が確認できたかを別に見ます。再撮影では反射や切れを避け、確認に必要な箇所と周辺の見出しが入るようにします。
再撮影で合計欄が読めるようになれば、同じ領収書の画像であることを確認してから、金額の状態を更新します。別の領収書の鮮明な画像へ置き換えてはいけません。判断が変わる理由はAIが強く断言したからではなく、対象に対応する原資料で必要な文字を照合できたからです。
金額が文脈上もっともらしいことも、確認の代わりにはなりません。いつも同じ価格で買っている、明細を合計するとその値になりそうだ、という情報があっても、今回の領収書の合計欄が読めたこととは区別します。別資料から確認する場合は、その資料と対象取引が対応することを確かめます。
会議音声から担当者や期限を作らない
次も架空の例です。会議音声の00:42〜00:48に「資料の確認は、［雑音で不明］までに。担当は次回決めます」という内容があると仮定します。認識結果が「高橋さんが木曜日までに資料を確認する」になった場合、自然な文であっても、担当者と期限をそのまま議事録へ採用できません。
原音声の区間へ戻り、前後の発話も含めて確認します。この仮定で残せるのは、資料確認の話題があり、担当は次回決めると述べられていることです。期限部分は聞き取れず、担当者名の裏付けもありません。「担当：次回決定予定、期限：未確認」と分けて残します。
ここで担当者を「未確認」とだけ記すと、次回決定予定という情報が失われます。分からないことを全部同じ状態へまとめず、聞き取れない、記載がない、後で決めると言われた、という違いを保ちます。推測した木曜日を削ることと、確認できた予定を削ることは別です。
聞き直しても判断できない場合は、会議の参加者や発言者へ必要な箇所だけを確認します。「資料確認の期限は何日か」のように問いを絞り、確認が済むまで推定の担当者や日付をタスク管理へ確定登録しません。複数人が同時に話した箇所では、発話の内容と誰が言ったかも別々に確認します。
音声の時刻は、元ファイルと結び付けて残します。編集や切り出しで開始位置が変わった音声の時刻だけでは、後から同じ発話へ戻れない場合があります。確認した資料の版と、参照する区間が対応するようにします。
原資料へ戻れる記録を作る
画像ならファイルとページ、領域、項目名を、音声ならファイルと時刻区間を記録します。その場所で認識した候補、照合できた内容、残る不明点、次の確認先を対応させると、出力だけが独り歩きしにくくなります。
単なる検索用の索引なら、認識候補を残して原資料へたどる使い方ができます。ただし、候補と確認済みの値を区別する表示は必要です。金額を計算へ渡す、期限を通知に使うなど後続処理がある場合は、重要項目の確認が終わるまで進めない条件を設けます。
一つの資料の中でも、確認状態は項目ごとに違います。店名を確認できたから金額も確認済み、会議の話題が分かったから期限も確定、という扱いにはしません。確認できた部分だけを回答し、重要な不明点を残した部分回答にすることができます。
原資料を扱う権限も確認します。領収書や会議音声には、個人情報や社内情報が含まれることがあります。再認識のために別サービスへ渡す場合は、その情報を送ってよい相手と目的を確認します。認識の精度を上げたいという目的だけで、利用範囲を広げないようにします。
認識結果の形式が整っていること、画像や音声の品質が良いこと、原資料の記載と一致すること、業務上の事実として採用できることは、それぞれ別の確認です。読み取れた候補を原資料へ戻し、裏付けられない部分は未確認のまま次の確認へつなげます。
電子透かしの検出だけで真偽を決めない理由は「電子透かしの検出だけで、AI生成や画像の真実性を決めない」、議事録で発言・決定・録音同意を分ける方法は「議事録・会議記録で発言、決定、録音同意を分ける」で解説しています。
