2023年01月24日

自然言語生成における Hallucination 幻覚の調査

このエントリーをはてなブックマークに追加
follow us in feedly

Hallucination の訳として、日本語の幻覚と言う言葉には正確に一致しないと思うんです。 
Hallucinationの方がおそらく意味が広く...この文脈で「幻覚」と言っても意味が通らないですよね。
Hallucination の良い所はここには書かれていないと思います。



Survey of Hallucination in Natural Language Generation
ZIWEI JI, NAYEON LEE, RITA FRIESKE, TIEZHENG YU, DAN SU, YAN XU, ETSUKO ISHII, YEJIN BANG, WENLIANG DAI, ANDREA MADOTTO, PASCALE FUNG    Hong Kong University of Science and Technology,
arXiv preprint arXiv:2202.03629 (2022).



Natural Language Generation (NLG) は自然言語のフレーズや文の生成に焦点を当てた自然言語処理 (NLP) のサブフィールドで、要約、対話生成、生成的質問応答、データからテキストへの生成、機械翻訳など、様々なタスクに採用されています。
2.HALLUCINATIONS DEFINITION

a percept, experienced by a waking individual, in the absence of an appropriate stimulus from the extracorporeal world.

幻覚とは、現実に感じられる非現実的な知覚です。「不誠実または無意味なテキストを生成する NLG モデル」という望ましくない現象は、このような心理的幻覚と同様の特徴を共有しています


分類
Intrinsic Hallucinations  ソースコンテンツと矛盾する生成出力。

Extrinsic Hallucinations  ソースコンテンツで検証出来ない生成出力。 (ソースによってサポートも矛盾もされない)



2.3.TERMINOLOGY CLARIFICATION
(faithfulness 誠実, factuality 事実)
誠実さは、提供された情報源に対して一貫性と誠実さを維持する事と解釈出来ます。これは、幻覚とは反対の用語です。
事実性とは、事実である、または事実に基づいているという性質を指します。



3.CONTRIBUTORS TO HALLUCINATIONS IN NLG
Decoding Strategy
デコード戦略自体が幻覚に寄与する可能性があります。
多様性を改善するデコード戦略(つまり、トップkサンプリング)が幻覚の増加と正の相関がある事が示されています。
上位 k 個のサンプルからサンプリングすることによって意図的に追加された「ランダム性」が、生成の予期しない性質を増加させ、幻覚コンテンツの可能性を高めたと推測します。
Exposure Bias
推論の生成中に、モデルは自身が生成した履歴シーケンスに条件付けられた単語を生成します。このような不一致は、特にターゲットシーケンスが長くなる場合に、誤った生成に繋がる可能性があります

Parametric knowledge
大規模コーパスでモデルを事前学習すると、モデルはそのパラメーターに様々な知識を記憶します。
モデルは、入力ソースからの情報ではなく、パラメトリックな知識を使用して生成する事を好み、その結果、生成時に過剰な情報が幻覚になります。



4.PROPOSED HALLUCINATION METRICS
4.1.STATISTICAL METRIC
最も単純なアプローチの 1 つは、語彙特徴 (n-gram) を活用して、生成と参照テキストの間の情報の重複と矛盾を計算する事です。不一致数が多いほど忠実度が低くなり、幻覚スコアが高くなります。
これらの指標は特にIntrinsic Hallucinationsを測定するために、入力ソースによって参照される情報にのみ焦点を当てています。

4.2.MODEL-BASED METRIC
Information Extraction (IE)-based
IE ベースの指標は、IE モデルを使用して知識を単純な関係タプル形式 (例: subject、relation、object ) に抽出し、ソース/参照から抽出された関係タプルに対して検証します。
QA-based
まず、生成されたテキストが与えられると、質問生成 (QG) モデルが一連の質問と回答のペアを生成します。次に、質問応答 (QA) モデルは、参照 (知識を含む) としてグラウンドトゥルースソーステキストが与えられると、生成された質問に回答します。最後に、対応する回答の類似性に基づいて幻覚スコアが計算されます。
Natural Language Inference (NLI) Metrics
NLI は、「前提」が与えられたときに、「仮説」が真 (含意)、偽 (矛盾)、または未定 (中立) であるかどうかを判断するタスクです。
生成されたテキストがソースを含意し、ソースに中立であり、ソースと矛盾する回数の割合として知られています。
Faithfulness Classification Metrics
含意/中立性と忠実度が常に同等であるとは限りません。
例えば"Putin is U.S. president" は、「大統領である」という前提に対して中立的であるか、前提に含まれていると見なす事が出来ますが、忠実性/幻覚の観点からは、仮説にはサポートされていない情報「US」が含まれているため、不誠実です。
5.PROPOSED HALLUCINATION MITIGATION METHODS
5.1.DATA-RELATED METHOD
ノイズの多いデータが幻覚を助長する事を考慮すると、忠実なデータセットを手動で構築する事は直感的です。
Clean Data Automatically
セマンティックノイズの問題を軽減するために、別のアプローチは、既存の対訳コーパスから入力に無関係または矛盾する情報を見つけ出し、データをフィルタリングまたは修正する事です。
Augment Additional Information
入力を外部情報で補強すると、ソースのより良い表現が得られる事は直感的です。
外部の知識、明示的なアライメント、追加のトレーニング データなどにより、ソースとターゲットの間の相関関係が改善され、モデルがタスク関連の機能をより適切に学習出来るようになるためです。


5.2.MODELING AND INFERENCE METHOD
エンコーダーは、可変長シーケンスを固定長ベクトル表現にエンコードします。より良い表現を学習する事は、幻覚を軽減するのに役立ちます。
デコーダーはベクトル表現を自然言語に変換します。幻覚を回避するためにデコーダ構造を変更する研究もあります。

Training
Planning/Skeleton
コンテンツとその順序を通知する事によって、モデルが生成するものを制御および制限する一般的な方法です。

強化学習
報酬は重要であり、強化学習のボトルネックと報酬スコアを計算するアプローチは、生成された結果を評価するための自動メトリック研究に関連しています。

Multi-task Learning
マルチタスク学習は、特定のタスクで幻覚を処理するためにも利用されます。

Controllable Generation
幻覚は必ずしも有害ではなく、幾つかの利点をもたらす可能性がある事を考慮すると、この制御可能な方法は、様々な現実世界のアプリケーションの要求を満たすために幻覚の程度を変更するためにさらに採用出来ます。

Post-Processing
後処理メソッドは、出力の幻覚を修正でき、このタスクに必要なトレーニングデータは少なくなります。


...................
...................

7.HALLUCINATION IN ABSTRACTIVE SUMMARIZATION
抽象的要約は、ソース文書から重要な情報を抽出し、短く簡潔で読みやすい要約を生成する事を目的としています。


8.HALLUCINATION IN DIALOGUE GENERATION
「幻覚」という用語はこの分野に新たに出現したもののように見えますが、モデルの同様の動作は、オープンドメインのチャットボットに対する世代ベースのアプローチの欠点として「一貫性」に関連して広く議論されています。
オープンドメインの対話生成で発生する可能性のある矛盾には 2 つのタイプがあります。
(1) システムの発話間の矛盾。たとえば、システムが以前の発話と矛盾する。
(2) 事実に反する発話など、何らかの外部ソースとの矛盾。

9.HALLUCINATION IN GENERATIVE QUESTION ANSWERING
幻覚の問題は、GQA における最も重要な課題の 1 つです。GQA システムの最も重要な目標の 1 つは、与えられた質問に対して事実に基づいた正しい回答を提供することであるため、回答の幻覚はユーザーを誤解させ、システムのパフォーマンスを劇的に損なう事になります。

10.HALLUCINATION IN DATA-TO-TEXT GENERATION
この分野は最近ニューラルテキスト生成モデルによって強化されましたが、これらのモデルが幻覚を起こしやすい事はよく知られています

11.HALLUCINATIONS IN NEURAL MACHINE TRANSLATION
統計的機械翻訳 (SMT) と比較して、NMT の出力は非常に流暢であり、幻覚に遭遇した時にユーザーが誤った情報を伝える危険性があります。




tak_tak0 at 13:58コメント(0)研究  | resource この記事をクリップ!

コメントする

名前:
URL:
  情報を記憶: 評価:  顔   星
 
 
 
サイト内検索
にほんブログ村 科学ブログへ
にほんブログ村
adsense
Archives
amazon
blogchart
QRコード
QRコード
Recent Comments