- 公開日
画像認識の確信度が高くても、型番や金額をそのまま確定してよいとは限りません。まず、その値が何を表すかを確かめ、判断に関わる文字や領域を原画像と照合します。画像がぼけているのか、鮮明でも複数の読み方が成立するのかで、再撮影や別資料の確認など、次に行うことが変わります。
確信度は、確認する順序を決める材料にはなります。画像全体がきれいに見えていても、発注や登録に使う一文字を区別できるかは、その場所に戻って確かめます。
認識結果を原資料へ戻って確かめる基本は「画像・音声の認識結果は、原資料へ戻って確かめる」で扱います。この記事では、そのうち確信度スコアの意味と、重要な文字を原画像で照合する判断に絞ります。
その「自信」は何に対する値か
画像を扱うサービスには、認識候補に付く数値、画像の読みやすさを示す品質スコア、AIが文章で述べる「確かです」など、異なる表示があります。これらは対象も計算方法も異なり得ます。認識候補のスコアでも、文字、単語、画像全体のどれを対象にするかで意味が違います。
分類器の確信度と実際の正答率の対応を調べる考え方を、確信度の校正と呼びます。Guoらの分類モデルの研究は、分類の正答率がよいことと、確信度が正答率に対応することが別だと示しています。ただし、これは2017年の分類モデルの研究です。現在使っている画像対話AIやOCRの性能、自然文での自己申告の信頼性を直接測った結果ではありません。
たとえば認識結果に「0.98」と表示されても、説明書で意味を確認する前に「この型番が98％の確率で正しい」と読み替えることはできません。仮に対象業務の評価で校正されていても、同じような値を持つ結果の集合についての傾向と、目の前の一件の正解は別です。未評価の機器、書体、撮影条件へ移ったときに、以前の対応関係をそのまま使えるとも限りません。
実務では、サービスの仕様からスコアの対象と定義を確認し、業務に近い資料での評価記録があるかを見ます。定義や評価条件が分からない値は、採否の根拠を補う参考情報にとどめます。AIに「自信を数値化して」と頼むだけでは、この不足は埋まりません。
画質の不足と対象の曖昧さを分ける
画質の不足は、区別に必要な情報が読み取りにくくなっている状態です。ブレで線が重なる、反射で一部が白く飛ぶ、小さな文字がつぶれる、といった条件を、必要な領域ごとに確認します。文字を大きく表示しても、元の画素に区別の手掛かりがなければ、文字の形が確定するわけではありません。
Google CloudのEnterprise Document OCR文書では、ぼけ、ノイズ、暗さ、小文字、切れ、反射などを画像品質の要因として扱っています。同文書は品質判定に誤検出があり得ることや、局所的な欠陥がページ全体の読めなさを意味しないことも説明しています。この製品の品質スコアを、型番の正解確率へ置き換えないことが重要です。
一方、対象の曖昧さは、画質が十分でも見た目だけでは答えを絞れない問題です。ある書体で英字のOと数字の0が似ている場合や、似た型番が実在する場合には、鮮明な画像だけで区別がつかないことがあります。このときは、そのメーカーの表記規則、製品台帳、別の識別欄などを確認します。
この二つは重なることもあります。まず反射を避けて撮り直したところ、線は見えるようになったが文字体系の違いが残る、という場合です。撮り直し後も断定できなければ、さらに画像処理を重ねるのではなく、識別に使える別の情報を探します。
ぼけた製品ラベルを照合する
以下は、部品の照会用メモを作る架空例です。実際の画像やモデルを用いた認識試験ではありません。担当者は受領したラベル写真から型番を転記しますが、この段階では発注を行わない前提とします。
ラベルには「MODEL」の文字と、その右に型番が写っているとします。両端の「RX-」と「2」は読めますが、中間の二文字がぼけています。AIの出力案は「RX-B02、確信度0.98」です。この値は説明用の仮定であり、性能測定値ではありません。
| 照合する箇所 | 原画像で区別できること | 認識案の扱いと次の対応 |
|---|---|---|
| 左端と末尾 | 「RX-」と末尾の「2」は読める | 読めた範囲として記録する |
| 中間の前側 | 「B」にも「8」にも見える | B／8を候補として残し、再撮影を依頼する |
| 中間の後側 | 「O」と「0」を区別できない | O／0を候補として残し、台帳の表記規則も確認する |
| 型番全体 | 中間が未確定 | 「RX-B02」で登録せず、未確定箇所を明示する |
ここで「候補を残す」とは、ありそうな製品名を無制限に並べることではありません。原画像の形から残る候補と、その理由を示します。この例なら「RX-[B／8][O／0]2」と記録し、角括弧は確定文字ではないという意味を添えます。下流システムがその表記を受け付けない場合は、型番欄を未確定にし、別欄へ候補を残します。
再撮影では、ラベル全体と問題の文字を確認できる画像を求めます。接写だけでは、別製品のラベルを見ていないか確認しにくくなるためです。ピントと反射を見直し、元画像も残して、どの画像のどの箇所を根拠にしたかを追えるようにします。
撮り直した写真で前側が「B」と区別できたと仮定しても、後側の「O／0」が残れば全体の型番はまだ未確定です。台帳に「RX-B02」だけが載っていても、台帳が最新か、同じ製品を指すかを確かめます。候補が一件になったことと、写真の対象との対応が確認できたことを混ぜないようにします。
認識結果を確認用の出力へ変える
依頼文を「型番を一つ答えてください」から、読み取れた範囲と未確定箇所が分かる形へ変えます。この例では、次のように依頼できます。
「このラベルから型番を転記してください。読めた文字と、区別できない箇所を分けてください。候補は原画像の字形に根拠があるものだけを挙げ、場所と理由を添えてください。見えない文字を製品知識で補わず、必要な再撮影や照合資料を示してください。」
対象の「型番」は、金額、ロット番号などへ差し替えられます。使う画像は当該サービスへ入力してよいものに限り、出力後は重要な文字を人が原画像へ戻って確認します。この依頼は出力の整理を促すものであり、正解を保証するものではありません。
期待する出力は「読めた範囲：RX-と末尾2。未確定：中間のB／8、O／0。次の確認：反射を避けた再撮影と製品台帳の照合」です。「自信は高いが念のため確認」とだけ書くより、何が足りないかが明確になります。反対に、AIが二度同じ型番を答えても、同じぼけた画像からの反復であれば、独立した裏付けが増えたとはみなしません。
使い道に合わせて、保留する範囲を決める
検索候補を探すだけなら、未確定文字を含む複数候補で調査を進められることがあります。その場合も、候補として使った記録を確定値へ昇格させないようにします。部品の発注や機器の設定に使うなら、誤った一文字が別製品の指定につながるため、対象との対応を確かめてから採用します。
確認記録には、原画像の識別情報、対象領域、認識案、確定できなかった文字、追加資料、照合した人と日付を残します。画像を保管できない業務なら、保管ルールに合う参照方法を選びます。無制限に画像を残すことが、確認の条件ではありません。
最後まで読めない場合も、分かる範囲の説明や候補調査は続けられます。止めるのは、未確定な値を必要とする登録や発注です。画像の確信度を採否の代わりにせず、どの箇所を何で確かめたかに戻ることで、追加確認が必要な範囲を絞れます。
AIの確信度を信用しすぎないための考え方は「AIの「自信あり」を信用しすぎない確信度校正の考え方」で解説しています。
