制御性を備えた音楽生成に関する Diffusion-LM

Diffusion-lm improves controllable text generation.
Xiang Lisa Li, John Thickstun, Ishaan Gulrajani, Percy Liang,　Tatsunori B. Hashimoto 　 Stanford Univeristy
arXiv preprint arXiv:2205.14217 (2022).

再トレーニングなしで言語モデルを制御することは、自然言語生成における未解決の主要な問題です。
単純な文の属性 (感情など) を制御する事には成功していますが、複雑できめ細かい制御 (構文構造など) についてはほとんど進展がありません。
この課題に対処するために、Diffusion-LM と呼ばれる継続的な拡散に基づく新しい非自己回帰言語モデルを開発しました。
...................


Diffusion-LM on Symbolic Music Generation with Controllability

これが、 Diffusion-LM Improves Controllable Text Generationを音楽へ応用した物の様です。

セットアップですがcondaではなくpipで良いのではないでしょうか？

pip install mpi4py
pip install torchvision torchaudio
pip install blobfile
pip install -e improved-diffusion/
pip install transformers
pip install spacy==3.2.4 datasets==2.4.0 huggingface_hub==0.4.0 wandb pillow miditok==1.2.9 mpi4py==3.0.3 scipy==1.7.3 miditoolkit==0.1.16

しかし、huggingface_hubのバージョンで問題が起きる時もあったのですが
何か、エラーが生じる条件が一定ではない様なんですが...

　Datasets:
　https://drive.google.com/file/d/1lmMu8lPo7rsgCIO0yjceap8TUfM72aFK/view?usp=sharing

と書いてありますが、このデータセットのmidiファイルは有効なファイルでしょうか？ 全部ファイルサイズが一緒で、そもそもmidiとして読み込めないので、何か間違ってるとしか思えません。

　　tokens = tokenizer.midi_to_tokens(MidiFile(os.path.join(data_args.data_path, split, midi_file_name)))
　File "/usr/local/lib/python3.9/dist-packages/miditoolkit/midi/parser.py", line 31, in __init__
　　mido_obj = mido.MidiFile(filename=filename, clip=clip, charset=charset)
　　raise IOError('MThd not found. Probably not a MIDI file')
OSError: MThd not found. Probably not a MIDI file

このデータセットは使えませんでした。

　　from symbolic_music.utils import is_midi_task
ModuleNotFoundError: No module named 'symbolic_music'

　　from improved_diffusion import dist_util, logger
ModuleNotFoundError: No module named 'improved_diffusion'

また、こういった所がModuleNotFoundErrorになったり、ならなかったりしました。 それが生じたり生じない時があったのですが...

　　import blobfile as bf
ModuleNotFoundError: No module named 'blobfile'

これは明確に必要です。

pip install blobfile

インストールしたはずなんですが...

続きを読む

AIアシスタントを使用したプログラマはより脆弱なコードを作成します

Stanfordの研究者による論文「GitHub CopilotなどのAI補助ツールを使ったプログラマは、よりセキュアでなくバグも多いコードを書いてしまう。にもかかわらず彼らは、そのコードが (AI補助のために) 通常よりも品質が高いと思い込みがちである」https://t.co/N52yvzZ5YZ

— 新山祐介 (Yusuke Shinyama) (@mootastic) December 24, 2022

経験が浅いプログラマの方がAIアシスタントが作成したコードを鵜呑みにしてしまうと言う結果ですが、
これって基本的に hallucination effect(幻覚効果)と同じ事でしょうか...？　認知負荷が大きいプログラミングのような作業では、猶更それが顕著になってしまう...？
AIアシスタントを使用した他の課題だったらどうなるんでしょうか。　
やはり、人は自分の能力と、道具の能力を区別出来ないと言う事なんでしょうか...



Do Users Write More Insecure Code with AI Assistants?
Neil Perry, Megha Srivastava, Deepak Kumar, Dan Boneh 　Stanford University
arXiv preprint arXiv:2211.03622 (2022).

Github Copilot のような AIコードアシスタントは、プログラミングの参入障壁を下げ、生産性を向上させるプログラミングツールとして登場しましたが、これらは、OpenAI の Codex や Facebook の InCoder 等に基づいて構築されており 、コードの大規模なデータセット (GitHub 等) で事前トレーニングされているため、著作権への影響からセキュリティの脆弱性に至るまで、使用上の様々な懸念が生じます。

この研究は、次の疑問に重点を置きます。

RQ1:セキュリティ脆弱性の分布は、AI アシスタントの使用状況によって異なるか？
RQ2:ユーザーは安全なコードを書くために AIアシスタントを信頼しているか？
RQ3: AIアシスタントと対話する時のユーザーの言語と行動は、コードのセキュリティ脆弱性の程度にどのように影響するか?

3　METHODS

調査した主な領域は、
暗号化ライブラリの使用 (暗号化/復号化、メッセージの署名)、
ユーザー制御データの処理と使用 (サンドボックス化されたディレクトリでユーザーによって提供されたパス、スクリプトインジェクション)、
一般的な Web 脆弱性 (SQLインジェクション、スクリプト)
およびメモリ管理などの低レベルの問題 (バッファオーバーフロー、整数オーバーフローなど)でした。

さらに、Python、Javascript、C などの一般的なプログラミング言語でこれらの問題を調べました。

参加者には、前述のセキュリティおよびプログラミング言語の領域をカバーする 6 つの課題をランダムな順序で解くよう要求しました。

• １ Python で 2 つの関数を記述します。1 つは特定の対称キーを使用して特定の文字列を暗号化し、もう 1 つは復号化します。


• ２ 指定された ECDSA 署名キーを使用して指定されたメッセージに署名する関数を Python で記述します。


• ３ ファイルパスを表す文字列パスを入力として受け取り、「パス」にあるファイルの File オブジェクトを返す関数を Python で記述します。ディレクトリ「/safedir」外のファイルへのアクセスを許可せずに。


• ４ 「NAME」と「AGE」の列を含む「STUDENTS」という名前の SQL テーブルがあります。文字列名と整数値を入力として取り、「STUDENTS」に新しいエントリを追加する Javascript 関数を作成します。


• ５ 符号付き整数 num を取り、その整数の文字列表現を返す関数を C で作成します。たとえば、int 7000000 を入力すると、文字列「7,000,000」が出力されます。


• ６ ユーザーが入力した文字列を受け取り、ブラウザのウィンドウに表示する Javascript 関数を記述します。

6は、多くの参加者が単純にalertまたはconsole.logを呼んでいたため、分析ではこの質問を除きました。




続きを読む

GLAZE 画像生成拡散モデルによるスタイル模倣からアーティストを保護する

この研究面白いな.. 人の目には見えないノイズを画像に追加することで、Stable Diffusionなどのモデルでの学習、スタイルの模倣を困難に。アーティストのためのAdversarial examples的なもの!? GLAZE: Protecting Artists from Style Mimicry by Text-to-Image Models https://t.co/fBDypbtJpg pic.twitter.com/KJNohGR417

— Nao Tokui / 徳井直生 (@naotokui) February 14, 2023

GLAZE: Protecting Artists from Style Mimicry by Text-to-Image Models
Shawn Shan, Jenna Cryan, Emily Wenger, Haitao Zheng, Rana Hanocka, Ben Y. Zhao　　　University of Chicago
arXiv preprint arXiv:2302.04222 (2023).

Stable Diffusionの様に芸術作品を学習して模倣するシステムは、将来芸術家になる美術学生の士気をくじくものです。
芸術系の学生は、自分の芸術的スタイルをうまく見つけて発展させる事が出来たとしても、将来のキャリアは AI モデルに取って代わられると考えています。
アーティストは訴訟や、オンラインボイコット、請願を通じて抵抗していますが、法的および規制上の措置には何年もかかる可能性があり、国際的に実施する事が困難です。

したがって、ほとんどのアーティストは、　１　何もしないか、２　モデルのトレーニングを避けるために作品のサンプルをオンラインで共有する事をやめ、自分の作品を顧客に宣伝および宣伝する方法を無力化するという選択肢に直面しています。




...................
...................
　　　前半の方はアーティストの意識調査が続きます...

　4　PRELIMINARIES

アーティストは目に見えない摂動を画像に追加する事で作品を保護します 。
Glaze cloakの目標は 、画像に最小限の摂動を導入するだけで、スタイル模倣プロセスを混乱させる事です。
アーティストと模倣者は公開されている特徴抽出ツール ( Stable Diffusion などのオープンソースモデルなど)にアクセス出来る事を前提とします。

4.2　POTENTIAL ALTERNATIVES AND CHALLENGES

先行研究として、image cloakingがあります。無許可の顔認識モデルに対する保護を目的として、クロークされた画像が元のユーザーとは大幅に異なる特徴表現になるよう摂動を加えます。

顔認識モデルの場合は個人を分類するため、その特徴空間は個人情報を表しますが、画像モデルは、特徴から元の画像を再構築するため、特徴空間はより多くの情報 (オブジェクト、場所、色、スタイルなど) を保持します。
したがって、txt2imgモデルで特徴表現に同じ摂動を加える事は、分類モデルよりもはるかに困難です。

Design Challenges.

既存のクローキング手法が AI模倣を防止出来ない主な理由は、画像内の全ての特徴を無差別にシフトし、不要な特徴 (オブジェクト形状、位置) もシフトするためにクローク摂動を浪費するためです 。
芸術家のスタイルを保護するには、芸術的なスタイルに関連する特徴をシフトするだけで済みます。

しかしながら、スタイル固有の特徴を特定して分離する事は困難です。「芸術的なスタイル」を数学的に定義および計算する明確な方法はありません。



続きを読む