2023年02月01日

ChatGPT生成概要を剽窃検出器と人間の査読者で検証


Comparing scientific abstracts generated by ChatGPT to original abstracts using an artificial intelligence output detector, plagiarism detector, and blinded human reviewers
Catherine A. Gao , Nikolay S. Markov  University of Chicago
Frederick M. Howard , Emma C. Dyer , Siddhi Ramesh , Alexander T. Pearson , Yuan Luo  Northwestern University
bioRxiv (2022): 2022-12.


これとnatureの方に書いてある事はほぼ同じ事です...

今回の実験では、査読者にはオリジナルのアブストラクトとChatGPT生成アブストラクトが混在している事を知らせた上で判定しています。
もしそれを知らない者が読んだら、どうなるでしょうか?




インパクトファクターの高い 5 つの医学雑誌 JAMA、The New England Journal of Medicine、The BMJ、The Lancet、Nature Medicineに掲載された論文10
計50 の医学論文の要約を書くよう、 ChatGPT に指示しました。

ChatGPT で生成された要旨はオリジナリティスコア100%で剽窃チェッカーを通過しました。

ChatGPTの概要は全て明確に書かれていましたが、ジャーナルのフォーマット要件に正しく従っていたのはわずか 8% でした。

AI出力検出器は、生成概要の 66% を検出しました。
しかし人間の査読者はそれほど良い結果ではなく、ChatGPTの32%を本物と判定し、本来の論文の方を 86% しか正しく識別出来ませんでした。

査読者は、この 2つを区別する事は難しいが、生成されたアブストラクトは曖昧で、定型的な感じがするものであると指摘しました。


.................
.................



盗作検出は web-crawling plagiarism で行うと言う事なので...長く一致するフレーズが無いと検出出来ないのではないでしょうか? 「生成モデルらしさ」を検出する訳では無いですね。


そして今回の研究はサンプルサイズ(50)が小さい事、査読者が少ない事などの問題点がありました。
...後は、論文が医学研究限定であった事でしょうか。


tak_tak0 at 21:45コメント(0)resource この記事をクリップ!

2023年01月31日

スペクトログラム拡散によるマルチ楽器音楽合成


Multi-instrument Music Synthesis with Spectrogram Diffusion
Curtis Hawthorne, Ian Simon, Adam Roberts, Neil Zeghidour, Josh Gardner, Ethan Manilow, Jesse Engel   Google Research
arXiv preprint arXiv:2206.05408 (2022).


最近のニューラルシンセサイザーは、特定の楽器のみを制御するドメイン固有モデルと、任意の音楽でトレーニング出来るが制御が最小限で生成が遅い生の波形モデルとの間でのトレードオフがあります。
この研究では、楽器の任意の組み合わせをリアルタイムで MIDI からオーディオ生成出来るニューラルシンセサイザーに焦点を当てます。
単一モデルを使用して幅広い転写データセットのトレーニングが可能になり、幅広い楽器にわたって作曲と楽器編成のノートレベルの制御が出来ます。


このアプローチの双方向性と一般性を考えると、楽器と音符の任意の組み合わせのためのインタラクティブで表現力豊かなニューラル音楽合成への有望な第一歩である事が分かります。

...................




https://github.com/magenta/music-spectrogram-diffusion

...これは、Colaboratoryノートブックがあるのでそれを使えば簡単だと思われるのですが...
やはり、スマートに実行出来ませんでした。



from music_spectrogram_diffusion.models.diffusion import models
ImportError: cannot import name 'optim' from 'flax' (/usr/local/lib/python3.8/dist-packages/flax/__init__.py)
このバージョンでなければ上手くいかないと思います。
pip install flax==0.5.1






midiファイルをアップロードして、 note_seq.play_sequence の時に
ImportError: fluidsynth() was called but pyfluidsynth is not installed.
こうなるのですが...
apt-get install fluidsynth
pip install pyfluidsynth - U
こういう事をしても解決しません。

でも、ここでは
note_seqが使えないだけだから、
無視してもいいでしょうか...?

その後 Setup Synthesis Task 以降最後までpyfluidsynthが解決しなくても実行出来ます。

Synthesize Audio でwavファイルを合成します。

これは、midiファイルの長さが長いほど時間がかかります。
segments of length 5.12 seconds each と書いてありますが、この1 segments伸びる毎に時間がかかります。




2023年01月24日

自然言語生成における Hallucination 幻覚の調査


Hallucination の訳として、日本語の幻覚と言う言葉には正確に一致しないと思うんです。 
Hallucinationの方がおそらく意味が広く...この文脈で「幻覚」と言っても意味が通らないですよね。
Hallucination の良い所はここには書かれていないと思います。



Survey of Hallucination in Natural Language Generation
ZIWEI JI, NAYEON LEE, RITA FRIESKE, TIEZHENG YU, DAN SU, YAN XU, ETSUKO ISHII, YEJIN BANG, WENLIANG DAI, ANDREA MADOTTO, PASCALE FUNG    Hong Kong University of Science and Technology,
arXiv preprint arXiv:2202.03629 (2022).



Natural Language Generation (NLG) は自然言語のフレーズや文の生成に焦点を当てた自然言語処理 (NLP) のサブフィールドで、要約、対話生成、生成的質問応答、データからテキストへの生成、機械翻訳など、様々なタスクに採用されています。
2.HALLUCINATIONS DEFINITION

a percept, experienced by a waking individual, in the absence of an appropriate stimulus from the extracorporeal world.

幻覚とは、現実に感じられる非現実的な知覚です。「不誠実または無意味なテキストを生成する NLG モデル」という望ましくない現象は、このような心理的幻覚と同様の特徴を共有しています


分類
Intrinsic Hallucinations  ソースコンテンツと矛盾する生成出力。

Extrinsic Hallucinations  ソースコンテンツで検証出来ない生成出力。 (ソースによってサポートも矛盾もされない)



2.3.TERMINOLOGY CLARIFICATION
(faithfulness 誠実, factuality 事実)
誠実さは、提供された情報源に対して一貫性と誠実さを維持する事と解釈出来ます。これは、幻覚とは反対の用語です。
事実性とは、事実である、または事実に基づいているという性質を指します。

続きを読む

サイト内検索
にほんブログ村 科学ブログへ
にほんブログ村
adsense
Archives
amazon
blogchart
QRコード
QRコード
Recent Comments
o