2023年01月24日
自然言語生成における Hallucination 幻覚の調査
Tweet |
チャットボットAIの返答は全て「幻覚」、最大の難関はハルシ ... - ITpro https://t.co/2xVLrAkNDf
— 人工知能・機械学習ニュース [公式] (@A_I_News) January 5, 2023
Hallucination の訳として、日本語の幻覚と言う言葉には正確に一致しないと思うんです。
Hallucinationの方がおそらく意味が広く...この文脈で「幻覚」と言っても意味が通らないですよね。
Hallucination の良い所はここには書かれていないと思います。
Survey of Hallucination in Natural Language Generation
ZIWEI JI, NAYEON LEE, RITA FRIESKE, TIEZHENG YU, DAN SU, YAN XU, ETSUKO ISHII, YEJIN BANG, WENLIANG DAI, ANDREA MADOTTO, PASCALE FUNG Hong Kong University of Science and Technology,
arXiv preprint arXiv:2202.03629 (2022).
Natural Language Generation (NLG) は自然言語のフレーズや文の生成に焦点を当てた自然言語処理 (NLP) のサブフィールドで、要約、対話生成、生成的質問応答、データからテキストへの生成、機械翻訳など、様々なタスクに採用されています。
2.HALLUCINATIONS DEFINITION
a percept, experienced by a waking individual, in the absence of an appropriate stimulus from the extracorporeal world.
幻覚とは、現実に感じられる非現実的な知覚です。「不誠実または無意味なテキストを生成する NLG モデル」という望ましくない現象は、このような心理的幻覚と同様の特徴を共有しています。
分類
Intrinsic Hallucinations ソースコンテンツと矛盾する生成出力。
Extrinsic Hallucinations ソースコンテンツで検証出来ない生成出力。 (ソースによってサポートも矛盾もされない)
2.3.TERMINOLOGY CLARIFICATION(faithfulness 誠実, factuality 事実)
誠実さは、提供された情報源に対して一貫性と誠実さを維持する事と解釈出来ます。これは、幻覚とは反対の用語です。
事実性とは、事実である、または事実に基づいているという性質を指します。
3.CONTRIBUTORS TO HALLUCINATIONS IN NLGデコード戦略自体が幻覚に寄与する可能性があります。
Decoding Strategy
多様性を改善するデコード戦略(つまり、トップkサンプリング)が幻覚の増加と正の相関がある事が示されています。
上位 k 個のサンプルからサンプリングすることによって意図的に追加された「ランダム性」が、生成の予期しない性質を増加させ、幻覚コンテンツの可能性を高めたと推測します。
Exposure Bias推論の生成中に、モデルは自身が生成した履歴シーケンスに条件付けられた単語を生成します。このような不一致は、特にターゲットシーケンスが長くなる場合に、誤った生成に繋がる可能性があります。
Parametric knowledge大規模コーパスでモデルを事前学習すると、モデルはそのパラメーターに様々な知識を記憶します。
モデルは、入力ソースからの情報ではなく、パラメトリックな知識を使用して生成する事を好み、その結果、生成時に過剰な情報が幻覚になります。
4.PROPOSED HALLUCINATION METRICS最も単純なアプローチの 1 つは、語彙特徴 (n-gram) を活用して、生成と参照テキストの間の情報の重複と矛盾を計算する事です。不一致数が多いほど忠実度が低くなり、幻覚スコアが高くなります。
4.1.STATISTICAL METRIC
これらの指標は特にIntrinsic Hallucinationsを測定するために、入力ソースによって参照される情報にのみ焦点を当てています。
4.2.MODEL-BASED METRICIE ベースの指標は、IE モデルを使用して知識を単純な関係タプル形式 (例: subject、relation、object ) に抽出し、ソース/参照から抽出された関係タプルに対して検証します。
Information Extraction (IE)-based
QA-basedまず、生成されたテキストが与えられると、質問生成 (QG) モデルが一連の質問と回答のペアを生成します。次に、質問応答 (QA) モデルは、参照 (知識を含む) としてグラウンドトゥルースソーステキストが与えられると、生成された質問に回答します。最後に、対応する回答の類似性に基づいて幻覚スコアが計算されます。
Natural Language Inference (NLI) MetricsNLI は、「前提」が与えられたときに、「仮説」が真 (含意)、偽 (矛盾)、または未定 (中立) であるかどうかを判断するタスクです。
生成されたテキストがソースを含意し、ソースに中立であり、ソースと矛盾する回数の割合として知られています。
Faithfulness Classification Metrics含意/中立性と忠実度が常に同等であるとは限りません。
例えば"Putin is U.S. president" は、「大統領である」という前提に対して中立的であるか、前提に含まれていると見なす事が出来ますが、忠実性/幻覚の観点からは、仮説にはサポートされていない情報「US」が含まれているため、不誠実です。
5.PROPOSED HALLUCINATION MITIGATION METHODSノイズの多いデータが幻覚を助長する事を考慮すると、忠実なデータセットを手動で構築する事は直感的です。
5.1.DATA-RELATED METHOD
Clean Data Automaticallyセマンティックノイズの問題を軽減するために、別のアプローチは、既存の対訳コーパスから入力に無関係または矛盾する情報を見つけ出し、データをフィルタリングまたは修正する事です。
Augment Additional Information入力を外部情報で補強すると、ソースのより良い表現が得られる事は直感的です。
外部の知識、明示的なアライメント、追加のトレーニング データなどにより、ソースとターゲットの間の相関関係が改善され、モデルがタスク関連の機能をより適切に学習出来るようになるためです。
5.2.MODELING AND INFERENCE METHODエンコーダーは、可変長シーケンスを固定長ベクトル表現にエンコードします。より良い表現を学習する事は、幻覚を軽減するのに役立ちます。
デコーダーはベクトル表現を自然言語に変換します。幻覚を回避するためにデコーダ構造を変更する研究もあります。
Trainingコンテンツとその順序を通知する事によって、モデルが生成するものを制御および制限する一般的な方法です。
Planning/Skeleton
強化学習報酬は重要であり、強化学習のボトルネックと報酬スコアを計算するアプローチは、生成された結果を評価するための自動メトリック研究に関連しています。
Multi-task Learningマルチタスク学習は、特定のタスクで幻覚を処理するためにも利用されます。
Controllable Generation幻覚は必ずしも有害ではなく、幾つかの利点をもたらす可能性がある事を考慮すると、この制御可能な方法は、様々な現実世界のアプリケーションの要求を満たすために幻覚の程度を変更するためにさらに採用出来ます。
Post-Processing後処理メソッドは、出力の幻覚を修正でき、このタスクに必要なトレーニングデータは少なくなります。
...................
...................
7.HALLUCINATION IN ABSTRACTIVE SUMMARIZATION
抽象的要約は、ソース文書から重要な情報を抽出し、短く簡潔で読みやすい要約を生成する事を目的としています。
8.HALLUCINATION IN DIALOGUE GENERATION「幻覚」という用語はこの分野に新たに出現したもののように見えますが、モデルの同様の動作は、オープンドメインのチャットボットに対する世代ベースのアプローチの欠点として「一貫性」に関連して広く議論されています。
オープンドメインの対話生成で発生する可能性のある矛盾には 2 つのタイプがあります。
(1) システムの発話間の矛盾。たとえば、システムが以前の発話と矛盾する。
(2) 事実に反する発話など、何らかの外部ソースとの矛盾。
9.HALLUCINATION IN GENERATIVE QUESTION ANSWERING幻覚の問題は、GQA における最も重要な課題の 1 つです。GQA システムの最も重要な目標の 1 つは、与えられた質問に対して事実に基づいた正しい回答を提供することであるため、回答の幻覚はユーザーを誤解させ、システムのパフォーマンスを劇的に損なう事になります。
10.HALLUCINATION IN DATA-TO-TEXT GENERATIONこの分野は最近ニューラルテキスト生成モデルによって強化されましたが、これらのモデルが幻覚を起こしやすい事はよく知られています
11.HALLUCINATIONS IN NEURAL MACHINE TRANSLATION統計的機械翻訳 (SMT) と比較して、NMT の出力は非常に流暢であり、幻覚に遭遇した時にユーザーが誤った情報を伝える危険性があります。