- 公開日
統計値を示すときは、割合だけでなく、その割合を作った件数とサンプルサイズを併記します。満足した人が二人中二人でも、二百人中二百人でも、観測された割合は100％です。しかし、標本が小さい場合の不確実性と、誰を調べたかによる一般化の限界は、その数字だけでは伝わりません。
サンプルサイズとは、分析に用いた標本の大きさです。満足度調査なら、どの質問に有効な回答をした何人を集計したかを確認します。調査案内を送った人数、回答した人数、分析に用いた人数は、同じとは限りません。
100％の内訳を二つの架空調査で比べる
架空の業務支援サービスについて、2026年9月に利用した人の満足度を調べるとします。質問は「今月の利用に満足しましたか」で、選択肢を「満足」「不満足」とします。以下は計算と表示の違いを説明する仮定であり、実際の調査ではありません。
まず、対象集団、質問、回答時期を同じにし、回答者を同じ方法で選んだと仮定した二つの集計を見ます。標本サイズによる違いに注目するため、無回答や重複回答はない条件を置きます。
| 項目 | 小さい標本の仮定 | 大きい標本の仮定 |
|---|---|---|
| 分析した回答者数 | 2人 | 200人 |
| 満足と答えた人数 | 2人 | 200人 |
| 不満足と答えた人数 | 0人 | 0人 |
| 満足の割合 | 2÷2×100＝100％ | 200÷200×100＝100％ |
「満足度100％」という一行にすると、どちらの集計か分からなくなります。「回答者2人中2人が満足（100％）」と「回答者200人中200人が満足（100％）」なら、観測した範囲の大きさが分かります。どちらも、サービスの全利用者が満足していることを確認した文ではありません。
仮に、同じ条件で新たに一人が回答し、その人が不満足だったとします。前者は2人中2人から3人中2人になり、満足の割合は約66.7％になります。後者は201人中200人で約99.5％です。小数第1位へ丸めたこの計算は、一人の追加が表示値に与える影響の違いを示します。将来の回答がこのとおりになるという予測ではありません。
小標本で確認できた範囲を説明する
二人がともに満足していても、他の利用者で何が起きているかを幅広く観測できたわけではありません。二人が同じ部署、同じ使い方、同じ支援担当を経験していれば、異なる条件が結果へ現れていない可能性があります。人数だけでなく、観測した利用条件の幅も確かめます。
統計的に母集団の割合を推定する場合も、観測率が100％になったから不確実性が消えるわけではありません。NISTの統計ハンドブックは、割合の区間推定を扱い、小標本や失敗数が少ない場合に用いる方法を説明しています。標本数を含む方法で推定するので、同じ100％でも標本サイズを省いたまま推定の精度を比べることはできません。
不確実性を数値で示したい場合は、対象の抽出方法や回答の独立性を確かめたうえで、適切な区間推定の方法と水準を選びます。100％の観測値へ機械的な式を当て、誤差がゼロになったから確実だと説明しないでください。また、区間を示す場合も、標本の偏りが自動的に解消されるわけではありません。
日常の報告ですべての推定式を載せる必要はありません。ただし、対象者が少ないことを隠さず、「回答した二人の範囲では満足が得られた。全利用者の満足度はこの調査だけでは判断しない」と説明できます。小標本の観察を無価値とするのでなく、具体的な感想や改善候補を探す用途と、全体割合を推定する用途を分けます。
二百人いれば代表的だとも限らない
次に、実務上ありがちな条件差を加えます。二人の調査は試作品の検討に協力した人だけ、二百人の調査はサービスを継続利用していて、任意アンケートに答えた人だけだったと仮定します。この場合、二つの集計は人数だけでなく、集め方も異なっています。
二百人が全員満足していても、不満があって利用をやめた人や、回答しなかった人が含まれていなければ、全利用者を代表するとは限りません。人数を増やすことは、特定の集団だけを調べたという問題をそのまま解決しません。逆に、二人の発言が具体的な不具合の発見に役立つことはあり得ますが、その二人から発生割合まで一般化するには別の材料が必要です。
AAPORのTransparency Initiativeは、調査対象、標本の募集や収集方法、時期、回答数、限界などの開示を扱います。ここで参考にするのは、割合と一緒に調査条件を示す考え方です。情報の開示そのものは、調査方法の品質を保証するものではありません。
報告するときは、「何人なら十分か」という一つの固定値を探す前に、何をどの精度で知りたいかを決めます。利用者全体の割合を推定したいのか、特定の業務で困った点を見つけたいのかで、必要な調査の設計が変わります。人数だけを増やす判断と、対象の取り方を見直す判断を分けてください。
回答数と分析に使った数を混ぜない
調査の途中で無回答や除外があると、分母の記録がさらに重要になります。架空の別集計として、案内を10人へ送り、4人が返答し、そのうち満足度の質問へ有効に回答したのが2人で、二人とも満足だったとします。
このとき、満足度は有効回答2人中2人の100％です。返答した4人の全員が満足したとはいえず、案内先10人の100％でもありません。質問に答えなかった二人を不満足と決めることも、満足へ含めることもできません。項目無回答として別に残します。
表示例は、「満足は有効回答2人中2人（100％）。案内10人、返答4人、満足度の項目無回答2人」となります。回答率という語を使う場合は、返答した人の率4÷10＝40％なのか、その質問の有効回答率2÷10＝20％なのかを明記します。案内人数、返答人数、有効回答人数を分ければ、どの段階で回答が欠けたかも確認できます。
同じ人が複数回回答した場合も、人の数と回答件数を分けます。200件の回答が20人の反復回答であれば、200人を調べたことにはなりません。重複を除く基準や、繰り返し回答を分析でどう扱うかを決めてから、サンプルサイズを説明します。回答内容を見て都合のよいものだけ除外すると、集計の意味が変わります。
割合を文章へ移すときに情報を落とさない
AIに調査を要約させるときは、「割合に、分子・分母・対象・期間を併記し、抽出方法と無回答を短く残す」と依頼できます。元資料にない回答数や調査期間は補わず、未確認として出すよう指定します。入力する調査資料は、使用する環境で扱ってよいものに限ります。
二人の集計を「利用者全員が高く評価」と要約した場合は、全利用者という対象と、高い評価という意味が加わっています。修正では、まず「回答者2人中2人が満足と回答」に戻します。元の選択肢が満足・不満足の二択なら、非常に満足という強い評価へ置き換えることも避けます。
表からスライドや見出しへ移すときも、100％だけを大きく抜き出してサンプルサイズを読めない位置へ追いやらないようにします。図が小さくて条件を載せられないなら、少なくとも件数を同じ位置に残し、対象と方法が読める説明を近くに置きます。数字が目立つ部分から、条件へたどれることが必要です。
次の調査で何を埋めるかを決める
小標本の調査を受け取ったら、まず答えられる問いを限定します。二人への聞き取りで使いにくい手順が見つかったなら、その手順を詳しく確かめる材料にはできます。一方、その不満を持つ人が全体の何％かは、対象全体をどう調べるかという別の課題です。
追加調査では、調べたい母集団、対象期間、抽出方法、同じ質問文、重複と無回答の扱いを決めます。前の調査と集め方が違うなら、件数だけを足して同じ標本として扱わず、違いを残します。回答を増やせない場合は、推定できる範囲を狭め、判断に残る不確実性を説明します。
最終報告では、割合が正しく計算されているかに加えて、その割合が誰についてのものかを読み返します。小さい標本では件数が特に重要ですが、大きい標本でも対象と方法は省けません。「100％」という強い見た目に、実際に観測した範囲と、その先に残る不確実性を添えて示してください。
割合を比べる前に分母と対象をそろえる方法は「割合を比較する前に、分母と対象条件を揃える」で解説しています。
