- 公開日
AIを使った案件の作業時間が長くても、それだけで「AIが仕事を遅くした」とは言えません。難しい案件でAIを使うことが多かった、作業が難航してからAIを使い始めた、担当者の経験が違ったなど、別の説明が残るからです。まず何を数えた比較かを揃え、観測された関連と、AIを使うことで時間が変わるという因果の主張を分けます。
判断を急がないためには、注意書きを末尾に足すだけでは足りません。表の指標名、見出し、図の説明、結論に含まれる「短縮した」「増やした」という表現を、データから言える範囲へ揃えます。ここでは小さな仮定データを使い、比較の意味が条件によってどう変わるかを追います。
同じ案件を使った場合と使わなかった場合の差は見えていない
関連とは、観測された値が一緒に変わる傾向です。因果として知りたいのは、AIを使うという条件を変えたときに、対象の作業時間がどう変わるかです。AI利用案件と非利用案件が、もともと別の仕事や別の担当者であれば、単純な平均差にはその違いも混ざります。
関連と因果効果を分けて考える枠組みは、因果推論の教科書で体系的に扱われています。たとえばHernánとRobinsのCausal Inference: What Ifは、反事実、ランダム化実験、観察研究、交絡、選択バイアスなどを扱う教科書で、著者サイトで最新版のPDFが公開されています。以下の部署データは本書の実験結果ではなく、この記事の架空例です。
一つの案件について、実際にAIを使った結果と、同じ状況でAIを使わなかった結果を同時に観測できるわけではありません。だからこそ、代わりに比較する案件をどう選び、何を同じにするかが問題になります。単に行数が多い表や見栄えのよいグラフを用意するだけでは、この比較条件は決まりません。
集計する仕事と時間を先に定義する
架空の企画部で、2026年10月1日から7日までに着手し、同期間内に完了した社内向け調査メモ20件を考えます。この例では期間中の対象案件はこの20件ですべてとし、未完了案件、重複、時間の欠測はないと仮定します。実際の部署で得た測定値ではありません。
一件は一つの調査依頼に対するメモです。作業時間は担当者の実作業時間を分単位で足したものとし、資料確認、AIへの依頼作成、回答の確認、修正を含めます。AIの応答を待つだけの時間、会議、導入研修は含めません。したがって、受付から完成までの経過時間や、導入を含めた総費用の比較ではありません。
AI利用ありは、作業中のどこかでAIを利用した案件です。開始時から使ったか、途中から使ったかは、最初の集計では分けていません。難易度は、作業前に決めた依頼範囲と必要資料数の基準で「低」「高」へ分類したと仮定します。作業後の所要時間を見て難易度を付けたものではありません。
| 作業前の難易度 | AI利用 | 件数 | 実作業時間の合計 | 一件当たり平均 |
|---|---|---|---|---|
| 低 | あり | 2件 | 20分 | 10分／件 |
| 高 | あり | 8件 | 320分 | 40分／件 |
| 低 | なし | 8件 | 120分 | 15分／件 |
| 高 | なし | 2件 | 100分 | 50分／件 |
平均は各行の実作業時間合計を件数で割った値です。すべて割り切れるため丸めはありません。たとえば高難易度の利用ありは320分÷8件＝40分／件です。件数が異なる行の平均を、そのまま足して二で割ると、全体の一件当たり平均とは一致しません。
全体では遅く見え難易度別では短く見える
利用ありは合計10件、時間は20＋320＝340分なので、平均は340÷10＝34分／件です。利用なしも10件ですが、時間は120＋100＝220分、平均は220÷10＝22分／件になります。利用ありの平均は、利用なしより34−22＝12分／件長いという集計結果です。
この数値から「AIが一件につき12分の遅延を生んだ」と書くのは飛躍です。利用あり10件のうち8件が高難易度、利用なし10件では高難易度が2件で、比較している案件の構成が違います。高難易度の比率はそれぞれ8÷10×100＝80％、2÷10×100＝20％です。
難易度別に見ると、低難易度では利用あり10分、利用なし15分で5分／件の差、高難易度では40分と50分で10分／件の差があります。各難易度では利用ありが短い一方、全体では利用ありが長く見えます。分けて見た傾向と合計した傾向が逆になるこの現象は、シンプソンのパラドックスと呼ばれます。この計算は、比べる集団の構成が結論の見え方を変えることを示しています。
ただし、ここから「難易度を揃えればAIが時間を短縮すると証明できた」と逆方向へ飛躍しないでください。同じ高難易度でも案件の中身、担当者の熟練、必要な品質が同じとは限りません。この表は、難易度で分ける前後に見える関連を比べただけで、AIの効果を測った結果ではありません。さらに、低難易度の利用ありと高難易度の利用なしは各2件です。平均の計算が正しくても、他の案件や別の週でも同じ差になるかは、この仮定値から判断できません。差の向きと、広い対象へ当てはめられるかも分けて扱います。
なお、今回の「関連」は利用有無の群間平均差で表しています。相関係数を計算したものではないので、相関の強さを示す数値を追加しません。平均差、相関係数、因果効果という別の量を、同じ言葉でまとめないようにします。
作業が難航してから使ったなら時間の向きが違う
次に、利用開始時点を確認します。架空の追加記録として、高難易度の利用あり案件の一部で「資料整理が進まず、作業開始15分後に初めてAIを利用した」と分かったとします。この15分は利用開始前に費やした時間です。それも含む総作業時間を、すべてAI利用によって生じた時間として解釈することはできません。
この場合、作業の難航がAI利用を選ばせた、という説明が候補になります。これは、AI利用から時間増へ向かうと想定していた因果の向きと逆の説明です。完成後に記録した所要時間が過去の利用を引き起こすという意味ではなく、完成前から進行していた難航や負荷が、その後の利用と最終的な所要時間の双方に関係した可能性です。
確認するのは、案件の開始時刻、困難が認識された時点、AI利用開始、終了の順です。「AIを使った日が完成日より前だった」というだけでは、作業が難航するより前にAI利用を決めたのか分かりません。日単位のログでは必要な前後関係を区別できないこともあります。
利用開始後の時間だけを切り出せば解決するとも限りません。AIを使う前にどこまで作業が進んだか、どれだけ難航したかが利用群で違うためです。単に先の15分を引いた値を非利用群の全作業時間と比べると、今度は測る区間が揃わなくなります。どの時点からの効果を知りたいのかを先に定め、双方で対応する区間を用意する必要があります。
共通の原因と時間順を別々に点検する
交絡は、比べたい原因と結果の両方に関係する共通原因によって、観測の関係が混ざる問題です。この例では、作業前の難易度が高いほどAIを選びやすく、実作業時間も長くなるなら、難易度は重要な候補になります。担当者の経験や、急ぎ案件の割当ても候補ですが、表にない情報は確認済みとはしません。
逆因果の点検と交絡の点検は、問いを分けると整理できます。「AIを使う前に、すでに作業が難航していなかったか」は利用の決まり方の確認です。「同じ作業前の条件が、AI利用と作業時間の両方に影響していないか」は共通原因の確認です。一つの現場で両方が関係する場合もあり、どちらか一つの名称へ無理に分類する必要はありません。
AI利用が作業開始前に決まっていれば、途中の難航によって利用を選んだという特定の説明は弱まります。それでも、熟練者だけが利用した、複雑な案件だけに利用を認めた、といった割当ての違いは残ります。先に起きたことが原因であるための必要な時間関係を満たしても、それだけで因果関係を確定するわけではありません。
変数を多く集めて統計処理へ入れれば、すべての問題が消えるとも考えないようにします。たとえばAI利用後に生じた修正回数は、利用の結果として変わった可能性があります。作業前の難易度と同じ調整対象として扱ってよいかは、何の効果を知りたいかによります。調整する変数とその測定時点は、想定する因果関係を説明したうえで選びます。
結論と図の説明を同時に直す
この表を報告書に載せるなら、見出しを「AI導入で作業時間が12分増加」とするのは不適切です。代わりに、「仮定データではAI利用案件の平均実作業時間が12分長い」とすれば、示している量とデータの性質が分かります。実測データに置き換える場合も、集計対象と期間を付け、因果が未確認なら効果を表す見出しにしません。
棒グラフへ変える場合の説明文も、たとえば次のようにできます。
「説明用の仮定データ。2026年10月1～7日の対象20件について、AI利用あり10件は平均34分／件、なし10件は22分／件。実作業時間を集計し、応答待ちと研修は含まない。利用あり群には高難易度案件が多く、差をAIの因果効果とは解釈できない。」
さらに難易度別の図を添えるなら、「難易度別では利用あり群の平均が短いが、担当者や利用開始時点などを揃えた比較ではない」と明記します。「難易度調整済みの効果」というラベルに置き換えないことが重要です。この例では図の作成や統計モデルによる調整は実施していません。
結論文は、「このデータだけではAIが時間を延ばしたとも短縮したとも判断できない。難易度と利用開始の偏りを確認し、比較条件を整える」とできます。表の脚注で留保したのに、まとめで「AI導入による短縮が確認された」と戻らないよう、本文全体で同じ強さに揃えます。
追加で集める情報を比較目的から決める
次に知りたい問いを、「同種の調査メモで、作業開始時からAIを使う運用は、使わない運用と比べて必要な品質に達するまでの実作業時間を変えるか」と具体化したとします。これは、途中から困ったときだけ使う運用の効果とは違う問いです。
集める情報は、作業前の難易度基準、担当者の経験、依頼範囲、利用開始時点、確認・修正を含む時間、品質の判定になります。未完了、欠測、途中の方式変更も記録します。実際のデータにこれらが存在するなら、先の架空例の「欠測なし」という前提を引き継いではいけません。集計から外した理由と件数を残します。
品質も揃えます。AI利用群だけ短いメモや低い確認水準で完成にしていれば、時間差は同じ成果へ到達する速さを比較していません。必要な項目、根拠の確認、修正後の受理条件を先に定義し、作業時間とは別に判定します。速く終わっても、要件を満たしていない案件を成功へ含めないことが必要です。
導入判断で費用も知りたいなら、利用料、人の確認時間、教育、再試行などを別に扱います。この例には費用データがないので、時間が短いという仮定だけから金銭的に得だとは言えません。労務費へ換算する場合も、単価と集計範囲が必要です。今回の平均差12分を、そのまま削減可能な費用へ換算しません。
検証方法を選んでも残る条件を記す
可能で適切な業務なら、事前に定めた条件で案件や担当者を利用運用へ割り当てて比較する試験を検討できます。割当て方法、評価期間、品質基準、途中変更の扱いを先に決めます。ただし、利用の有無以外に研修や支援の量も変われば、比較するのはそれらを含む運用全体です。「AIだけの効果」と呼べるかは設計次第になります。
業務上そのような試験ができない場合も、観測記録を使って比較条件を揃える方法はあります。ただし、測っていない差が残る可能性と、どの条件を仮定して解釈したかを示す必要があります。案件数が増えただけで未測定の違いが消えるわけではありません。重要な導入判断では、問いとデータに合った方法を扱える分析担当者と、設計から確認します。
実施前の検証案を、実施済みの結果へ書き換えないことも大切です。「比較試験を計画する」「時間を短縮する可能性を調べる」「所定の条件で差を観測した」「因果効果として解釈する条件を満たした」は、それぞれ異なる状態です。証拠が進んだ範囲だけ結論を更新します。
AIに報告書の説明を依頼する場合も、観測値、別の説明、未確認事項、次の検証を分けて渡します。「AIの効果を説明して」だけでは、群の平均差が効果として語られやすくなるため、「表から言える群間差と、まだ判定できない因果の主張を分ける」と目的を明示します。出力後は、数値だけでなく、原因や改善を示す動詞が根拠の範囲に合うかを点検します。
なぜなぜ分析で原因の根拠と是正措置を分ける方法は「製造不適合のなぜなぜ分析で原因の根拠と是正措置を分ける」、割合を比べる前に分母と対象をそろえる方法は「割合を比較する前に、分母と対象条件を揃える」で解説しています。
