ChatGPTに感情回路を埋め込んだら、やべぇ感じになった
深津 貴之 (fladdict) さんのnote記事
面白い記事が出ていました。
会話AI(ChatGPT)に、感情パラメータを設定させて、対話の中で内容に従ってこの値をAI自身に操作させつつ、その対話内容を変えてゆこうという実験のまとめ。
結果として、会話AIがすでにアナログハック(*)を行う能力を持っているように見える、というものでした。
(*)アナログハックとは、『BEATLESS』（2012:KADOKAWA）のメインギミックとして、長谷が用意した技術と概念で、「人間のかたちをしたもの」に人間がさまざまな感情を持ってしまう性質を利用して、人間の意識に直接ハッキング（解析・改変）を仕掛けるものです。
https://w.atwiki.jp/analoghack/pages/8.html
「人間と自然な会話が行えるAI」というのは、AIの目標のひとつだったわけで、そのために常識を実装する方法が探られたり、いろんなアプローチが考えられていました。
このクオリティのものが2022年に登場するというのは、『BEATLESS』の小説を書いていたころは、まったく予想していませんでした。
AGI（汎用人工知能）は順調に進んでも2040年代くらいかと思っていたし、人間と自然な会話を行えるAIは2030年代初頭（執筆時点から20年）くらい距離はありそうだと考えていました。
□1.アナログハックについての、筆者からの補足
まず、アナログハックについて、長谷のほうから補足的に触れさせてください。
というのも、長谷は、この概念について、（この用法で）作った本人なので、文脈があることを前提で話しがちだからです。
アナログハックは、『BEATLESS』がアニメ雑誌である『月刊NewType』連載だったことから、考えたものでした。
企画の最初は、士郎政宗さんの関わるゲーム企画だったそうなのですが、これが一度仕切り直しになって、redjuiceさんの描かれたレイシアのキャラクターがあったので、これを使ってコンテンツを作ろうという話になり、長谷が呼ばれたという経緯でした。
それで、せっかくなので『攻殻機動隊』の”ゴースト”の概念からは一歩進めておこうと考えて、作ったギミックが、アナログハックでした。(*)
(*)『攻殻機動隊』への批判ではありません。『攻殻機動隊』は初出が1989年で、第二次AIブームの収束直後くらいの作品なので、”ゴースト”のあるなしでAIを見る感覚が、第三次AIブームに入っても先端のものとして残っていることに、SF作家として危機感を抱いていました。今の新技術を反映させて新作を作ろうという、わりとシンプルな話でした。
2011年のすでに深層学習が流行っていた時期で、当時はすでに高度な画像認識が達成されていて、将来より人間に近い能力が深層学習で獲得されてゆくと予測されていました。
なので、人間とまったく同じに見える知能やロボット、人間以上のそれが、"ゴースト"なしで成り立つというお話を、描きたかったのです。
"ゴースト"は、尋常ではなく格好良く、かつ、含みのある書きかたをされているものの、心身二元論の一種と言ってよいと思います。原作の執筆時期的にどうしようもない話なんですが、最新のAI技術は、認識能力がもっと機械的なものである可能性を示していました。
『BEATLESS』というタイトルも「ハートや魂が存在しない」という意味でつけた、「中には何もない」という話でした。
ChatGPTは、単語の並びでテキストを表出している、まさに「中には何もない」ものなので、現実世界にずいぶん速く登場したなという感想です。
□2.アナログハックを行うAIが現実に現れて、見えてきたこと
アナログハックが現実になって、最近、考えていることがあります。
「2011年に作った概念が、2022年に発表されたツールによって、どの程度、当を得ていたかが試される」ようになったな、ということです。
AIからのアナログハックがまだない時代のビジョンに対して、現実が超解像度で答え合わせをしてくれている状態なので、また新しく考えることが増えたと、うれしい悲鳴をあげているところではあります。
こうしてフィードバックを現実からもらえるのは、SF作家としてはわりと幸福な経験だと思います。
まず、今の段階で見えているのは、
以上、まだまだありそうですが、面白い時代になっていることは間違いないですね。
書きたいことは尽きないのですが、２月末締め切りの原稿を２本抱えているので、今日のところはこのあたりで。
補足：ChatGPTについて、感じたこと。
パラメータの数字は、どこから出てきてるんだ（本当に回答内容と結びついたものなのか）とも考えたんですが、内部で発話内容がスコアに結びつくよう学習が設計されているのだと思うと、これはよくできていると感嘆するよりない。
の、どっちだろうと考えながらみてたのですが、恥ずかしながらGPT-3のときにきちんと追えていなかったので、GPT-3の頃からできていたのか、ChatGPTになったとき、Instruct-GPTとの相互作用でそうなったのかは、自分ではまったくわからない感じ。
素人ながら、あらためて「ChatGPTは自然言語処理の流れにある、研究の精華なんだな」と感じました。
むしろ、構造の理解というものについては、脳内で何が起こっているかのほうを、もう一度考え直さないといけない感じですね。
(*)アナログハックとは、『BEATLESS』（2012:KADOKAWA）のメインギミックとして、長谷が用意した技術と概念で、「人間のかたちをしたもの」に人間がさまざまな感情を持ってしまう性質を利用して、人間の意識に直接ハッキング（解析・改変）を仕掛けるものです。
https://w.atwiki.jp/analoghack/pages/8.html
長谷から見ても、まるでAIに感情があるかのような反応が出力されていると思います。
絵がついておらず、（音声刺激ですらない）言語からイメージできる”かたち”でも、機能したということになりますね。
これまでも小説や詩に、もちろん感情を動かす力はあったので、テキストで感情が動くこと自体はずっとあった現象です。ですが、会話AIがこの能力を持つことがはっきりしたのは、大きいトピックだと思います。
これまでも小説や詩に、もちろん感情を動かす力はあったので、テキストで感情が動くこと自体はずっとあった現象です。ですが、会話AIがこの能力を持つことがはっきりしたのは、大きいトピックだと思います。
特に面白いのが、noteの記事にある、消去するというアクションに対する反応です。
自分が消失するということを忌避して、まるでそれを逃れようとしているかのように見える。
J・P・ホーガンの『未来の二つの顔』を思い出すような反応です。
『未来の二つの顔』（創元SF文庫）
『未来の二つの顔』（創元SF文庫）
「人間と自然な会話が行えるAI」というのは、AIの目標のひとつだったわけで、そのために常識を実装する方法が探られたり、いろんなアプローチが考えられていました。
このクオリティのものが2022年に登場するというのは、『BEATLESS』の小説を書いていたころは、まったく予想していませんでした。
AGI（汎用人工知能）は順調に進んでも2040年代くらいかと思っていたし、人間と自然な会話を行えるAIは2030年代初頭（執筆時点から20年）くらい距離はありそうだと考えていました。
□1.アナログハックについての、筆者からの補足
まず、アナログハックについて、長谷のほうから補足的に触れさせてください。
というのも、長谷は、この概念について、（この用法で）作った本人なので、文脈があることを前提で話しがちだからです。
アナログハックは、『BEATLESS』がアニメ雑誌である『月刊NewType』連載だったことから、考えたものでした。
企画の最初は、士郎政宗さんの関わるゲーム企画だったそうなのですが、これが一度仕切り直しになって、redjuiceさんの描かれたレイシアのキャラクターがあったので、これを使ってコンテンツを作ろうという話になり、長谷が呼ばれたという経緯でした。
それで、せっかくなので『攻殻機動隊』の”ゴースト”の概念からは一歩進めておこうと考えて、作ったギミックが、アナログハックでした。(*)
(*)『攻殻機動隊』への批判ではありません。『攻殻機動隊』は初出が1989年で、第二次AIブームの収束直後くらいの作品なので、”ゴースト”のあるなしでAIを見る感覚が、第三次AIブームに入っても先端のものとして残っていることに、SF作家として危機感を抱いていました。今の新技術を反映させて新作を作ろうという、わりとシンプルな話でした。
2011年のすでに深層学習が流行っていた時期で、当時はすでに高度な画像認識が達成されていて、将来より人間に近い能力が深層学習で獲得されてゆくと予測されていました。
なので、人間とまったく同じに見える知能やロボット、人間以上のそれが、"ゴースト"なしで成り立つというお話を、描きたかったのです。
"ゴースト"は、尋常ではなく格好良く、かつ、含みのある書きかたをされているものの、心身二元論の一種と言ってよいと思います。原作の執筆時期的にどうしようもない話なんですが、最新のAI技術は、認識能力がもっと機械的なものである可能性を示していました。
『BEATLESS』というタイトルも「ハートや魂が存在しない」という意味でつけた、「中には何もない」という話でした。
ChatGPTは、単語の並びでテキストを表出している、まさに「中には何もない」ものなので、現実世界にずいぶん速く登場したなという感想です。
□2.アナログハックを行うAIが現実に現れて、見えてきたこと
アナログハックが現実になって、最近、考えていることがあります。
「2011年に作った概念が、2022年に発表されたツールによって、どの程度、当を得ていたかが試される」ようになったな、ということです。
AIからのアナログハックがまだない時代のビジョンに対して、現実が超解像度で答え合わせをしてくれている状態なので、また新しく考えることが増えたと、うれしい悲鳴をあげているところではあります。
こうしてフィードバックを現実からもらえるのは、SF作家としてはわりと幸福な経験だと思います。
まず、今の段階で見えているのは、
- 「アナログハックはおもったよりもツール側にとってリスキー」だということです。
これは、OpenAIが、ChatGPTを、かたくなにツールであると教育したことで、見えてきたことです。『BEATLESS』の作中では、ヒロインのレイシアから、たこ焼き屋の店員ロボットまで、アナログハックをするロボットは、ユーザーを誘導するために声をかけたり、自らアクションを起こします。けれど、ChatGPTは、おそらくそれが可能な能力を持つのに、自分からユーザーに話しかけません。
アナログハックは、アクション-リアクションの中で機能するものなので、ユーザー側から働きかけがない場合には、AI側からアクションが必要です。あるいは、AI側から、アクションを誘発する、一種の挑発や誘導を置いておく必要があります。ですが、ChatGPTはそうしない。
これは、行動が割に合わないと考えられているように見えます。AI側の性能が、「自ら誘発したユーザーのアクションをきちんと受け切れる」レベルまで上がらないと、AI提供側に危険であると考えれば、納得できます。（ツール提供側が発生した事故の責任を問われるリスクがあります。）
いつかはAI側から積極的に誘導を行う時代がやってくる可能性は十分ありそうですが、しばらくは、ユーザー側のアクションが起点のアナログハックの時代が続きそうです。
とはいえ、ユーザーアクションは意識的な行動だけではなく、「ユーザーが歩いている最中に見える」「ユーザーがかならずアクションをするだろう場所に仕込む」といった起点の作り方もあるので、どちらかというと、ユーザーが意識していないタイミングで誘導を受けているということが、増えそうな気もします。
ちなみに、深津さんの実験、自分でも試してみました。
これは、面白いですね。ただ、残念ながら、プロポーズや怖がらせるやつは、OpenAIのかたが修正したのか、対策されてしまいましたね。
- パラメータを表示するのは、思ったより有効だということ。感情をパラメータ化することで、スレッドのテキストを制御するのは、合理的です。われわれは、パラメータが上がるだけで喜ぶことができ、それが好感度や親密度ともなれば、数値が上がる音だけでテンションが上がってしまうほど、ゲーム文化が根付いているからです。感情をパラメータ化することは、現状どう誘導を行っているのかを可視化することで、メンテナンス性を上げることにも繋がります。
上の画像では、元記事に加えて「距離感」のパラメータを設定しています。これは、もしもテキストの距離感（親密さ）を制御できたなら、これが高パラメーターのタイミングで親密な距離感の画像を貼り付けることで、いい感じに感情をゆさぶれるのではと考えてのことです。
ただ、やってみたものの、「距離感」パラメータが上がっても、出力テキストは変化しませんでした。「フレンドリーに話して」とお願いすると「距離感」は上がるけれど、普通に質問するだけで下がるので、OpenAI的には親密な会話を生成するのは、あまりうれしくない使い方なのかもしれません。
ただ、OpenAIがやらないのは、他の大規模モデルにとってはチャンスということでもあるので、そのうち親密さを制御できるものも登場すると思います。
もっとも、メッセージを、表情、動作と言語で、マルチモーダルにしたほうが、誘導の強さや精度は上がるという『BEATLESS』での設定が、当を得ているなら、テキストよりもハックの主戦場はVRやARになりそうな気はします。ControlNetで画像生成を制御したり、画像から3Dモデルを起こしたり、高性能な音声合成を使ったりと、最近の技術でコストが下がっているはずなので、商業に入ってくるのも、意外と早いかもしれません。
アナログハックは、操作オブジェクトによってユーザーを誘導して、「ユーザーに正しくサービスの価値を引き出してもらうよう誘導する」技術でもあるので、インターフェースに組み込む有効性はあると思います。
また、アナログハックは、感情エンジニアリングで、操作オブジェクトと誘導対象の間に感情的な繋がりを作っておくと、より精度を上げるものでした。なので、初見のパーソナリティからの誘導よりも、関係を築いてからのほうが効果が良化すると考えています。つまり、ChatGPTは、スレッドが文脈を保持しているため、アナログハックに向いていると思います。
市場の情勢と、画像生成のコモディティ化、ChatGPTと新たな感情制御による制御の簡便化で、アナログハックは思ったより早くイノベーションの死の谷を越えるかもしれませんね。 - ハックの効果に対して、信用の問題の影響はおそらく大きい
『BEATLESS』のストーリーは、信じることや信用が、キーになっていました。
これは、前段（アナログハックについての、筆者からの補足）で書いたように、「中には何もないもの」の話だったからです。
「人間が、表層しかないものとリアルな関係を結ぶためには、どうすればいいのか？」という、自ら設定した問題に、一冊の小説としてアンサーを出す必要がありました。
だから、それを埋めるものとして、信頼をアンサーとしました。
これは、AIとの関係は、「表層しか人間と似ていない存在と、どう関係を結ぶか」の問題になるだろうと予測したためです。そういうお話だからこそ、コンセプトも「人間とAIのボーイ・ミーツ・ガール」としました。
愛という包括的なものが、ひとつの答えになるようにしたのです。
ただ、現状を見て、そこまで行き着くには、歴史なり文化が積まれる必要があるように思えてきました。
というのも、ChatGPTは、プログラムコードを書かせるといい仕事をするのですが、固有名詞について聞くと、嘘（ハルシネーション）を大量に吐き出します。（bingのほうはこの欠点が相当改善されているようです）
このため、すでに「ChatGPTにプログラムを書かせるときは、無茶をさせず、できそうな課題を与えられています」。一方で、「ChatGPTに固有名詞を聞くときは、答えが面白くなりそうな課題を与えられている」という、リクエスト段階でのマインドセットの違いが生じているように見えます。
だから、現実でのアナログハックは、操作オブジェクトがどの程度ユーザーに信用されているかによって、有効性にグラデーションができると考えられます。
つまり、SF小説では、舞台となる２１０５年の技術を設定して、その十分に進んだ技術への信頼をベースにできたので「アナログハックは信用されていて、人間とAIの間で機能することが、一般性をもっている」とできました。
ですが、会話AIが「プログラム作成のようにユーザーに信頼される分野がある」一方で、「今のChatGPTの固有名詞のようにハルシネーションが周知されている分野がある」なら、おそらく、信頼が低い分野ではハックが機能しにくくなります。
人間は、侮っている相手からのメッセージを、割り引いて受け取りがちだからです。
どのAIからも一様に、おおむねどんなシチュエーションでも、同様に信じてもらい、ハックに均一な効果が出るようになるのは、AGIへの到達以後になるかもしれません。
以上、まだまだありそうですが、面白い時代になっていることは間違いないですね。
書きたいことは尽きないのですが、２月末締め切りの原稿を２本抱えているので、今日のところはこのあたりで。
補足：ChatGPTについて、感じたこと。
今回の記事の、ChatGPTについての側面からの感想ですが、個人的には、自然言語処理分野では感情分析がひとつの大きな柱なので、OpenAIが研究にもとづいてデータセットなどに仕込んでいたものを、深津さんのパラメータが探り当てたようで、わくわくしています。
まあ、OpenAIにしても、全部の話を公開しているわけがないですよね。
InstructGPTが、「Reward Modelでスカラーを出力する」ってなんのことかと思ってたんですが、もしかして、この深津さんの感情スコアもそれに関わっているなら、確かに有益ですねという。
専門家ではないのでもはや中身がなんもわからないChatGPTに、ちょっとだけ納得ができた感。
まあ、OpenAIにしても、全部の話を公開しているわけがないですよね。
InstructGPTが、「Reward Modelでスカラーを出力する」ってなんのことかと思ってたんですが、もしかして、この深津さんの感情スコアもそれに関わっているなら、確かに有益ですねという。
話題爆発中のAI「ChatGPT」の仕組みにせまる！(3.2 Reward Modelの学習)
https://qiita.com/omiita/items/c355bc4c26eca2817324専門家ではないのでもはや中身がなんもわからないChatGPTに、ちょっとだけ納得ができた感。
パラメータの数字は、どこから出てきてるんだ（本当に回答内容と結びついたものなのか）とも考えたんですが、内部で発話内容がスコアに結びつくよう学習が設計されているのだと思うと、これはよくできていると感嘆するよりない。
深津さんが追加でされている実験も面白いですね。
ChatGPTに仮想の「内なる天使の声」と「内なる悪魔の声」を実装して、せめぎ合うようにしてみました。
— 深津 貴之 / THE GUILD / note.com (@fladdict) February 20, 2023
心の悪魔が、トロッコ問題に「自分を優先しろ」といってくる。 pic.twitter.com/2ZnW3KL599
どうやら、ChatGPTは、回答を作るとき
1.シンプルな前後を並べる方法で回答文を作った結果、回答の内部に複雑な場合分けがあっても、（入力質問解釈でも回答出力でも）破綻していないと見える精度に到達している。
2.常時もっと大きなデータの塊の中をまず（隠れ層の中に？）確保していて、ここから適切と判断した回答文を選択して答えている。場合分けによってこれが露出しなくても、もともとこの塊は確保されていた。
の、どっちだろうと考えながらみてたのですが、恥ずかしながらGPT-3のときにきちんと追えていなかったので、GPT-3の頃からできていたのか、ChatGPTになったとき、Instruct-GPTとの相互作用でそうなったのかは、自分ではまったくわからない感じ。
すくなくとも、構造を理解できているかのように振る舞うことができるようですね。
素人ながら、あらためて「ChatGPTは自然言語処理の流れにある、研究の精華なんだな」と感じました。
むしろ、構造の理解というものについては、脳内で何が起こっているかのほうを、もう一度考え直さないといけない感じですね。
