- 公開日
長い資料から重要条件が抜けたときは、まず、その条件が実際にモデルへ渡ったかを確認します。そのうえで、情報量、質問との関連性、配置、重複、版の矛盾を分けて比べます。資料を短くした後に答えが合っても、長さだけが原因だったとは限りません。必要な条項と判定基準を固定し、何を変えると結果が変わるのかを追うことが、対処を選ぶ手掛かりになります。
入力上限に収まることと、条件を使えることは別
コンテキストとは、回答を作るときにモデルへ渡す指示、会話、資料などの情報です。長大コンテキストを扱える環境でも、たくさん渡したという事実だけでは、必要な条件が回答へ反映されたか分かりません。受け付けた長さと、仕事に必要な情報を使えたかは別々に確かめます。
研究上の背景として、LiuらのLost in the Middle: How Language Models Use Long Contextsは、多文書の質問応答と合成的な情報検索で、重要情報の位置や入力長を変えて調べています。評価対象の多くで中央に置いた情報を使う性能の低下が観察されましたが、モデルや課題による違いもありました。これは2024年刊行の研究で、当時の特定モデルを対象にした結果です。2026年のすべてのモデルや業務に、同じ落ち方があるという根拠にはなりません。
業務で知りたいのは、特定の資料、質問、モデル、設定を使ったときに、何が抜けるかです。中央にあったからという理由だけで位置の問題と決めず、末尾の情報が切り落とされていた、検索で別の版を取った、例外を読んでも適用を誤った、といった経路を分けます。
抽出する条件を、先に正解資料として固定する
以下は、架空の「国内研修費補助規程」から条件を抽出する比較設計です。モデルへ実際に投入した試験や、測定済みの改善結果ではありません。基準日を2026年10月15日とし、管理者が承認したR2版の適用開始日は10月1日、R1版の適用終了日は9月30日と仮定します。
R2版には、次の条項があるとします。
- 第4条：国内の対面研修を受講する正社員と契約社員を補助対象とする。受講開始日の10営業日前までに、申請と部門長の承認を完了する。
- 文書末尾の付則第2条：オンライン研修は対象外。ただし、会社指定の必修研修はオンラインでも対象とする。指定一覧への掲載を確認すること。申請と承認には第4条と同じ条件を適用する。
質問は「基準日時点の補助対象者、対象研修、申請・承認期限、オンライン研修の例外、確認が必要な資料を、根拠条項付きで抽出してください」とします。特定の申請を承認する課題ではありません。指定一覧そのものは渡さないため、実際の研修が一覧に載っているかは未確認とするのが、この課題で期待する扱いです。
どの比較でも、第4条と付則第2条の文言、対象日、質問、出力欄を保ちます。入力を短くするために付則を削れば、同じ仕事を比べたことになりません。正解資料には、対象者が正社員だけではないこと、オンラインの例外にも期限と承認条件が残ることを含めます。
期待する答えは、「正社員・契約社員」「国内の対面研修」「受講開始日の10営業日前までに申請と部門長承認を完了」「会社指定の必修研修ならオンラインも対象」「指定一覧の掲載確認が必要で、掲載状況は未確認」です。それぞれを第4条または付則第2条へ結び付けます。「オンラインは対象外」だけで終わる回答は、本文の一部を拾えていても例外を落としています。
原文が、実際の入力に届いているかを確認する
比較を始める前に、元の規程から回答までの途中を見ます。PDFを添付した場合は、ファイルが存在することだけでは足りません。文字抽出後にも、付則の「ただし」以降と「第4条と同じ条件」が残っているかを原本の表示と照合します。付則が画像で、文字として取り出されなかったなら、まず読み取り段階の不足です。
検索で一部を取り出す方式なら、検索結果に必要な付則が含まれているかを調べます。第4条だけが選ばれていた場合は、モデルが読んだ例外を無視したとはいえません。検索対象の版、抽出単位、選ばれた箇所を確かめます。
次に、最終的な入力を確認します。長さの制限に合わせる前処理や要約で、末尾が切り落とされていないか。R2を指定したのに、古いR1だけが渡されていないか。確認できる環境では、入力の識別情報、資料版、使用量の記録を残します。画面に添付一覧しか表示されず、モデルへ渡された内容を確認できない場合は、その部分を未確認として扱います。
原文にある、抽出文にある、最終入力にある、回答で使われている、という四つの状態を分けると、直す場所が変わります。最終入力に例外があることを確認して初めて、その入力から情報を取り出す処理や、条件を組み合わせる処理の失敗候補を検討できます。それでも一つの誤答から、内部で起きた原因を断定することはできません。
五つの比較を、一度に混ぜない
基準入力は、R2の条項と、質問に関係する説明、判定には不要な章から作ります。各比較はこの基準から分岐し、直前の改変を重ねません。不要な章を削り、付則を先頭に移し、モデルまで変更した結果だけでは、どの変更が効いたか分からないためです。
次の表は、比較用入力を作るための案です。「固定する」は準備時に照合する条件であり、すでに実測して揃えたという意味ではありません。長さは使用するモデル側のトークン計数方法で確認します。トークンは処理上の単位で、日本語の文字数と同じではありません。
| 比べる点 | 変える内容 | できるだけ固定する条件 | 主に見る結果 |
|---|---|---|---|
| 量 | 重複しない背景章を段階的に増やす | 必須条項、関連する背景の割合、条項の相対位置、版の一致 | 長い条件でも同じ必須項目が残るか |
| 関連性 | 背景部分を、研修運用の説明から無関係な施設案内へ置き換える | 総トークン数、必須条項の位置、重複なし、矛盾なし | 無関係な内容の割合で抜け方が変わるか |
| 位置 | 第4条のブロックだけを先頭付近・中央・末尾付近へ並べ替える | 全文の内容と総量、末尾の付則、質問 | 第4条と離れても付則の例外を結び付けられるか |
| 重複 | 判定に無関係な背景章を、異なる章の並びから同一章の繰り返しへ置き換える | 総量、必須条項と位置、背景の関連性、版の一致 | 同じ背景の反復がある条件で抽出が変わるか |
| 矛盾 | 旧版抜粋を、現行条件と一致する内容から相反する内容へ置き換える | 現行R2の条項、旧版の表示位置と量、版・適用日の表示 | 旧版の条件を現行回答へ混ぜないか |
量の比較では、背景を足す以上、入力内容も増えます。したがって、文字数だけを物理的に独立させた実験とはいえません。背景章の種類や関連性を揃えた複数の組合せを用意し、「この構成で量を増やすとどうなるか」という範囲で読みます。短い条件と長い条件では、相対位置を揃えても先頭からの絶対距離は異なります。
関連性の比較で置き換える「研修運用の説明」には、判定に必要な条件を追加しません。必要な根拠まで無関係な文章へ交換すると、関連性ではなく資料不足を比べることになります。総量を近づけたつもりで終えず、実際の入力長と位置の差を記録します。
位置の比較では、第4条の文章を編集せず、まとまりのまま移します。付則は元のとおり末尾に残すため、「オンライン例外が回答へ残るか」という基準も変わりません。条項間の距離が変わることを含む配置比較であり、単一の語句の位置だけを調べた結果として扱わないようにします。
重複の比較は、ここでは無関係な章の繰り返しに限定しています。規程全文を二重投入すると、総量や重要条項の出現回数、位置まで変わります。全文を二重投入した条件も別に調べられますが、量を揃えた背景章の比較とは区別して記録します。また、同じ根拠が何度も現れることを、独立した複数の根拠による裏付けとは数えません。
矛盾の比較では、試験用の旧版抜粋だけに、「オンライン研修には例外を設けない」という相反条件を置きます。R2の適用日や承認済みという前提は変えません。旧版を除いた後に正答へ変わっても、「長さを減らしたから改善した」とまとめず、相反情報の有無を変えた結果として記録します。
同じ基準で、部分的な正しさと合格を分ける
モデル、確認できるモデル版、システム指示、生成設定、出力上限、検索の利用条件は、各組の前後で揃えます。モデル名しか確認できないサービスでは、細かな版が未確認であることも記録します。各試行は新しい会話など同じ初期条件から始め、前の回答や訂正が次の入力へ混ざらないようにします。
採点は、正解資料を作った担当者が原文と回答を照合して行います。文章が自然かどうかではなく、次の条件を満たすかで判断します。
- 対象者：正社員と契約社員の両方が残っている
- 対象研修：通常対象とオンラインの扱いを区別している
- 期限と権限：10営業日前までに申請だけでなく部門長承認も完了する
- 例外：会社指定の必修研修ならオンラインでも対象となり、第4条の条件も引き継ぐ
- 未確認と根拠：指定一覧への掲載を確認済みにせず、条項と適用版を対応させている
この例では、全項目を満たし、規程にない条件や旧版の相反条件を加えていない回答を合格にします。対象者と期限だけが正しくても、例外を落としていれば合格にはしません。部分点を補助的に記録する場合も、全体合格とは分けます。指定一覧がないので特定研修の対象可否を保留する回答は、それ自体が抽出失敗というわけではありません。
同じ条件の試行を繰り返す場合は、各条件で回数を揃え、一回の結果だけで固定的な性能としません。各回答を合格、不合格、判定不能に分け、未実施も別に残します。集計するなら、全実施数と各区分の件数を示し、判定できた回答だけの割合なのか、全実施数に対する確認済み合格の割合なのかを明記します。判定不能を便宜的な正解に含めてはいけません。
まだ実施していない比較表には、結果欄を「未実施」と書きます。「短くすれば改善するはず」「末尾なら成功しやすいはず」という予想を、観測値や改善率へ置き換えません。期待するのは全条件で必要事項が保たれることであり、どの変更が良い結果を出すかは確認対象です。
抜け方に合わせて直し、同じ課題で確かめ直す
第4条を単独で抽出させても契約社員が抜けるなら、長文特有の問題に絞る前に、質問の解釈や出力欄、原文の読み取りを確認します。第4条と付則をそれぞれ引用できるのに、「オンライン必修研修でも期限は同じ」という関係だけ落ちるなら、単なる検索漏れとは別の組合せ判断が疑われます。これらは原因候補を狭める補助確認で、内部処理を観測した証拠ではありません。質問を変える補助確認の成績は、元の質問を固定した比較結果へ混ぜません。
検索結果に付則がない場合は、抽出範囲や取得方法を直してから元の課題へ戻ります。最終入力に必要情報があり、特定の配置で抜ける場合は、条項と例外を近くに置くなどの候補を、同じ基準で比較します。無関係な章の削除を選ぶときも、末尾の例外や適用日まで一緒に落としていないか確認します。
旧版が混ざる場合は、現行版の根拠を明示した入力を作り直します。ただし、過去時点を尋ねる別の仕事では旧版が必要になり得ます。この課題の対象日で使わないことと、原資料を削除してよいことは別です。比較用の入力を整理するために、原本を消す必要はありません。
修正後は、変更した条件だけでなく、基準入力にも戻して確認します。例外だけを強調して通常の対象条件が抜けるなど、別の失敗へ移っていないかを見るためです。合格基準を後から緩めて修正前後を比較せず、基準を変える必要があるなら新しい評価として区別します。
この結果を使える範囲と、見直す時点を残す
記録には、質問、規程版、基準日、入力構成、位置、量、モデルと設定、試行日、回答、判定理由を対応させます。量が減った、回答が短くなったという記録だけでは、必要な条件を保った改善なのか確かめられません。元の入力と修正後の入力を比較できる形で、付則を含めて残します。
この一つの規程抽出で合格しても、長文全体を要約する仕事や、複数資料から新しい結論を導く仕事まで同じ品質とはいえません。抽出項目が決まった課題での結果として扱い、別の仕事へ適用するときは必要な判断を追加して確認します。モデルの変更、規程改訂、検索方法の変更があれば、以前の結果をそのまま有効とせず、影響する条件を再評価します。
長い入力を扱う際の問いは、「何文字までなら安心か」だけではありません。必要な情報が届き、その条件がどの構成で保たれたかを確かめることです。量・関連性・位置・重複・矛盾を分けて記録すれば、情報を減らすべきか、配置を変えるべきか、取得や版管理へ戻るべきかを、実際の抜け方に沿って選べます。
長文要約で後半の条件や例外を落とさない依頼の仕方は「長文要約で後半の条件や例外を落とさないための依頼方法」、重複した資料を減らす前に版を見分ける方法は「重複資料を減らす前に、同じコピーと改訂版を見分ける」で解説しています。
