マルチモーダル・音声・画像
45語
画像・音声・動画を扱うマルチモーダルAIと、現実世界に作用するAIに関わる用語です。OCRや画像認識、音声認識と音声合成、画像・動画の生成、ディープフェイク、ロボットの緊急停止や動作範囲の制限などを扱います。
この分野を読むポイント
テキスト以外の入力にも、読み取りの誤りや、埋め込まれた指示が含まれることがあります。生成した画像や音声はなりすましに悪用される可能性もあるため、用途と確認手順をテキスト以上に慎重に決めます。
この分野に関連する記事
用語一覧
- VLA（Vision-Language-Action）
- 画像・言語等を理解し、その結果をロボット等の物理的なActionへ結び付けるモデル／システムの考え方。
- E-Stop
- Emergency Stopの略。危険時に機械・ロボット等の動作を即時停止させる非常停止機構。
E-Stopの定義を見る · マルチモーダル・音声・画像の全体像
関連する記事を読む（1件）
- Geofence
- 位置情報等を使って設定する仮想的な地理境界。ドローンや移動ロボット等の行動範囲制限に使う。
Geofenceの定義を見る · マルチモーダル・音声・画像の全体像
関連する記事を読む（1件）
- 物理アクチュエーション
- AI等の判断をモーター、ロック、バルブ、ロボットアーム等の物理動作へ反映すること。
- リアルタイム字幕
- 音声を低遅延で文字化し、会話や配信とほぼ同時に提示する字幕。固有名詞・専門語・同音異義語の誤認に注意する。
- マルチモーダル
- テキスト・画像・音声・動画など複数形式の情報を扱う能力・方式。
- OCR
- Optical Character Recognitionの略。画像内の文字をテキストとして認識する技術。
- 画像認識
- 画像から物体・文字・状況などを読み取る処理。照明・解像度・手書き・類似物で誤認が起きやすいため、重要な判定は確信度と人の確認を組み合わせる。
- 音声認識
- 音声を文字や意味情報へ変換する処理。固有名詞・専門用語・数字・同音異義語で誤りやすいため、辞書登録や確認を行う。
- 画像生成
- テキスト等の指示から画像を生成するAI機能。実在人物・既存キャラクター・商標・既存作品に類似した出力は権利侵害のおそれがあるため、公開・商用利用の前に確認する。
- CLIP（Contrastive Language-Image Pre-training）
- 画像とテキストの組を対照学習し、両者を共通のEmbedding空間へ対応付けるOpenAI発のモデル。画像検索、ゼロショット分類、画像生成モデルのテキストエンコーダ等に使われる。
CLIP（Contrastive Language-Image Pre-training）の定義を見る · マルチモーダル・音声・画像の全体像
- ControlNet
- 学習済み拡散モデルに、輪郭線・姿勢・深度等の条件入力を追加し、生成画像の構図や形状を制御する手法。
- DiT（Diffusion Transformer）
- 拡散モデルのノイズ除去ネットワークにU-Netの代わりにTransformerを用いる構造。近年の画像・動画生成モデルで広く採用されている。
- Flow Matching
- ノイズからデータへ至る連続的な変換経路（ベクトル場）を直接学習する生成モデルの学習手法。拡散モデルと近縁で、少ないステップでの生成に用いられる。
- Stable Diffusion
- Stability AI等が公開した潜在拡散モデル系の画像生成モデル群。重みが公開されているため、ローカル実行や追加学習・派生モデルの作成が広く行われている。利用時はモデルごとのライセンス条件を確認する。〔時点依存〕
- 動画生成
- テキスト・画像等から動画を生成するAI機能。実在人物を生成すると肖像権・パブリシティ権やディープフェイクの問題につながるため、利用規約と社内ルールを確認する。
- Sora / Veo
- OpenAIの動画生成モデル／サービス（Sora）と、Google DeepMindの動画生成モデル（Veo）。テキストや画像から動画を生成する。提供形態・機能は変化が速い。〔時点依存〕
- 音声生成
- テキスト等から人工音声を生成するAI機能。実在人物の声の再現はなりすましや音声クローン詐欺に悪用され得るため、本人の同意を前提とする。
- リアルタイム音声
- 音声の入力・出力を低遅延で継続的に行う対話方式。
- メタデータ
- ファイル本体とは別に付随する日時・位置・形式などの情報。画像の位置情報や文書の作成者・変更履歴等が意図せず漏れることがあるため、公開前に除去する。
- 生成画像
- AI等によって人工的に作られた画像。公開・商用利用時は、AI生成である旨の表示やContent Credentialsの付与が求められる場合がある。
- 改竄
- データや画像の内容を意図的に変更し、元の状態と異なるものにすること。
- alt
- 画像内容をテキストで説明する代替テキスト。アクセシビリティに使う。
- 人物類似
- 生成物が実在人物にどの程度似ているかという問題・性質。
- 画面誤認
- GUIエージェントが画面要素・状態を誤って認識すること。
- TTS（Text-to-Speech）
- テキストを人工音声へ変換する音声合成技術。
- 話者分離（Speaker Diarization）
- 音声中の発話区間を話者ごとに識別し、誰がいつ話したかを分ける処理。
- ディープフェイク（Deepfake）
- AI等を用いて人物の顔・声・映像などを本物らしく合成・改変したコンテンツ。
- STT / ASR
- Speech-to-Text / Automatic Speech Recognitionの略。音声を文字列へ変換する音声認識技術。
- Whisper
- OpenAIが公開した多言語対応の音声認識モデル。重みが公開されておりローカル実行も可能だが、無音や雑音の区間で実際には話されていない文を出力することがあるため、重要な記録では確認が必要。
- Negative Prompt
- 画像・動画生成等で、生成結果に含めたくない特徴・要素・表現を指定するための指示。
- Inpainting
- 画像の指定領域を周囲の内容や指示に基づいて補完・置換・修復する生成処理。
- 世界モデル
- 環境の状態変化や因果・物理的関係を内部表現として学習し、将来状態の予測や計画へ利用するモデルの考え方。
- AI-OCR
- OCRに機械学習や生成AI等を組み合わせ、文字認識、帳票分類、項目抽出、補正などを高度化する仕組み。
- チャットボット
- ユーザーとテキストや音声で対話し、質問応答・案内・手続支援等を行うソフトウェア。
- Sim2Real
- シミュレーション環境で学習・検証したモデルや制御方針を、現実環境へ移行する考え方・技術。
- Digital Twin
- 現実の設備・空間・プロセス等をデジタル上に対応付け、状態把握・予測・シミュレーションへ利用する仮想表現。
- Spatial Intelligence
- 物体の位置、形状、距離、奥行き、空間関係などを理解し、空間内での推論や行動へ結び付ける能力・技術。
- VAD（Voice Activity Detection）
- Audio Stream中で人が発話している区間と無音・雑音区間を検出する処理。Realtime Voice AgentのTurn管理やLatency低減に使われる。
- Turn Detection
- Voice対話でUserの発話開始・終了や会話Turnの切替を判定する処理。VAD、Semantic Signal、Timing等を組み合わせる場合がある。
- Barge-in
- AIの発話中にUserが話し始めた際、音声出力を中断してUser側の発話を優先的に受け付けるRealtime Voice対話機能。
- Speech-to-Speech
- 音声を直接入力し、必要に応じてTextを中間表現として明示せず、音声として応答するRealtime Multimodal対話方式。
- WebRTC
- BrowserやApplication間で低LatencyのAudio・Video・Data通信を行う標準技術。Realtime Voice Agentの双方向Streamingにも利用される。
- SSML（Speech Synthesis Markup Language）
- Text-to-SpeechでPause、Pronunciation、Emphasis、Prosody等の読み上げ表現を制御するためのMarkup Language。
SSML（Speech Synthesis Markup Language）の定義を見る · マルチモーダル・音声・画像の全体像
- Full-Duplex（全二重通信）
- 双方向が同時に送受信できる通信方式。Realtime Voice AgentではUserの発話を受けながらAI側も音声を送る構成や、Barge-in等の自然な対話を実現する基盤となる。