2024年09月11日
過学習した脳：夢は学習一般化のために進化した
| Tweet |
|
生成AIに「夢」を見せる→“過学習”を防ぐ 「人間が夢（合成データ）を見る理由も同じか？」 米研究者が21年に提唱 https://t.co/FpThnIWU9H AIにわざとノイズ入り合成データで訓練させ過学習を軽減。人の夢も体験のままでなくツギハギぼやけ現実離れのノイズ合成データと言え応用力を鍛えるため理論
— Seamless (@shiropen2) August 29, 2024
書いている通り、 2021年の論文なので、内容が若干時代遅れ(!)かもしれません。
しかし、示唆に富んだ内容が書いてあるような...？
これは機械学習の論文ではなく、心理学か、大脳生理学の方の研究だと思います。
そして、本論文自体では、特に実験や調査はしてないように見えます。
生成DeepLearningの実装と講評 の中に、 夢の中での訓練 と言うのが書いてあって、関係ありそうな内容になっていました。
The overfitted brain: Dreams evolved to assist generalization
Erik Hoel Tufts University
Patterns, Volume 2, Issue 5, 2021
全ての DNN は学習に付随して過剰適合の問題に直面します。
DNN のこの一般的問題は、多くの場合、ノイズを加えた入力または破損した形の入力で「ノイズ注入」によって、モデル学習者によって対策されます。
この論文の目的は、脳DNNとが同様に過剰適合問題に直面しており、毎日の学習中に脳の過学習に対応するため寝ている間の夢が進化したと主張する事です。
................
被験者の約 50% -70% は睡眠中に突然目が覚めた際に夢を見たと報告していて、夜遅くになるほど夢を見る割合が高くなっています。
頻繁に夢日記を付けたり、夢を思い出す努力をしている人からの報告によると、練習を積む事で夢の記憶の保存性が大幅に向上する事が分かっています。
この結果は、人々が睡眠中に見ている夢の時間を過小評価している可能性がある事を示唆しています。
................
脳の後部領域の高周波 EEG 信号は、覚醒に関する申告と関連していました。夢はどこにもあるにもかかわらず、レム睡眠は夢と最も強く関連していて、覚醒に関して 80% から 90% 以上の確率で関連しています。
夜の早い段階では、夢は単純な「思考のような」ものとして現れますが、夜が更けるにつれて、特にレム睡眠中には、夢は完全に構造化した物語を持ち、信じ難いほど複雑になる事もあります。
................
睡眠中、特に徐波活動中には脳脊髄液による老廃物排出が分かって来ており、睡眠に明確な目的が発見されました。
睡眠のもう一つの重要な理論はシナプス恒常性仮説 (SHY) です。
日々の学習は脳全体のシナプスの純増強につながり、そのままでいるとシナプスの重みが飽和し、学習が停止する事になる。SHY は、低速波が脳全体のシナプスの重みのダウンスケーリングを引き起こすという仮説を立てています。
夢に特有の 3 つの現象的特性を挙げます。
まず、夢の希薄さは、感覚的および概念的情報 (詳細) が少なく、覚醒時よりも鮮明さに欠けます。
2番目に、夢が何らかの意味で普通ではない (日常の出来事や特定の記憶の単純な繰り返しではない) 点での夢の幻覚的な性質です。
3番目は、夢の物語的性質です。成人の夢は作り話であっても、物語を形成するように順序付けられた一連の出来事です。
もう一つの仮説は、夢は実際にはシミュレーション自体の能力を磨くためのものであるという考えです。
「破損した入力」は脳のモデルや表現と統計的に類似しているという事です。別の表現では、それらは脳の階層構造の確率的探究から導き出されたものです。これは夢の中でよく見られる構造化された幻覚に繋がります。
OBH は夢を意図的に破壊された入力の一形態として概念化し、これは脳の階層構造に注入されたノイズに由来する可能性があり、フィードバックによって歪んだ、または「破壊された」感覚入力が生成されます。
この確率的活動の全体的な目的は、過剰適合を防ぐ事です。
ただし、最も重要なのは、OBH は夢を何らかのバックグラウンドプロセスによって生成される付随現象とは見なさず、夢自体の実際の現象も動機付けられている事です。
夢の希薄さは、ボトムアップ入力の「欠落」から生じます。なぜなら、夢はフィードバック活動によってのみ駆動されるからです。
.................
OBH を裏付ける証拠として、夢は脳の神経接続に変化をもたらすが、覚醒時程強力ではなく、エピソード記憶の保存が大幅に減少する。
SHY の支持者は、シナプス恒常性の形で睡眠中にシナプスが変化する証拠があると主張しています。これは毎晩シナプス強度の縮小という形で起こる規則化です。
ただし、夢の内容が覚醒時の経験と同様にシナプスの変化や学習に繋がる確固とした経験的証拠は未だなく、これを実験的に調査する事は困難である事に留意する必要があります。
ドロップアウトは、学習中に入力の一部をランダムに「ドロップアウト」する事で入力がスパースになるときに発生します。
夢は、覚醒時ほど知覚情報や一般的な詳細を含まないため、その簡素さにおいてドロップアウトに似ています。
OBHを支援する 2 番目の方法は、DNN のトレーニングで使用されるドメインランダム化です。ドメインランダム化では、学習中の入力データが何らかの方法で歪められたり破損したりするという意味で「ランダム化」されます。これにより、一般化が大幅に促進されます。
逆説的ですが、実際のデータから学習するのではなく、幻覚入力をシミュレートすると、DNNが現実世界のタスクを学習しやすくなります。
3つ目の方法は、ニューラルネットワークの学習セットを拡張するための生成モデルの使用です。
最近では「夢のような」入力を作成する外部生成モデルが、特定の数学的マッピングの背後にあるコードを生成するための DNN トレーニングに役立ちました。
多くの場合、生成モデルはネットワークの外部に存在し、脳の場合で考えると現実的ではないのですが、例外もあります。
ネットワーク自体が生成モデルとして機能する場合は、夢を見ている脳のケースに非常に近いです。
夢はフィードバック接続を横切る脳の階層構造内のノイズの結果である可能性が高く、これは夢が「トップダウン」であるという証拠と一致します。
成人になると、夢は人間の認知の物語構造を帯びるようになり、物語や比喩、出来事が思考の中核機能を構成します。
物語は人間の脳が世界を理解する手段であるため、物語は動物の通常の「学習データセット」の直接的な拡張です。
.................
.................
例として、夢は覚醒中に心的イメージを生成する脳の能力を強化するためのテストであるという仮説が挙げられ、幼少期から成人期にかけての夢の複雑化を説明しています。
OBHに反対しない新しい仮説のもう一つの例は、夢は神経の不動産を守るためのものであるというものであり、仮説としては、夢を見る事に対する自由エネルギーアプローチと似た背景を持ちます。
また、一般化の向上における OBH dream の役割には、「壊滅的忘却」への対処などの関連事項も含まれる事にも注目すべきです。
OBH の最も際立った側面は、夢の現象学を真剣に受け止めている事です。つまり、夢はまばらで、幻覚的で、創作的な、異常な出来事を含むという意味で物語的であるという事です
最後に、夢の替わりという概念を真剣に受け止め、小説のようなフィクションが人工的な夢として機能し、同じ機能の一部を果たしているかどうかを検討する価値があります。
進化心理学では、人間の行動の側面を進化論に根付かせようとする試みであるが、フィクションに対する人間の関心については長年の混乱がありました。その理由として、表面的にはフィクションには実用性がないためです。
OBH は、フィクション、芸術全般が、人工的な夢として機能する事で一般化を改善し、過剰適合を防ぐという形で、より深い根底にある認知的有用性を持っている可能性がある事を示唆しています。
夜の早い段階では、夢は単純な「思考のような」ものとして現れますが、夜が更けるにつれて、特にレム睡眠中には、夢は完全に構造化した物語を持ち、信じ難いほど複雑になる事もあります。
................
睡眠中、特に徐波活動中には脳脊髄液による老廃物排出が分かって来ており、睡眠に明確な目的が発見されました。
睡眠のもう一つの重要な理論はシナプス恒常性仮説 (SHY) です。
日々の学習は脳全体のシナプスの純増強につながり、そのままでいるとシナプスの重みが飽和し、学習が停止する事になる。SHY は、低速波が脳全体のシナプスの重みのダウンスケーリングを引き起こすという仮説を立てています。
Contemporary theories of dreams
夢に特有の 3 つの現象的特性を挙げます。
まず、夢の希薄さは、感覚的および概念的情報 (詳細) が少なく、覚醒時よりも鮮明さに欠けます。
2番目に、夢が何らかの意味で普通ではない (日常の出来事や特定の記憶の単純な繰り返しではない) 点での夢の幻覚的な性質です。
3番目は、夢の物語的性質です。成人の夢は作り話であっても、物語を形成するように順序付けられた一連の出来事です。
Dreams are for emotional regulation別の理論では、感情を調節する「感情サーモスタット」のような役割を夢が果たすというものです。
Dreams are for memory consolidation記憶の統合仮説によれば、夢の中で記憶の保存が行われ、あるいは以前に保存された記憶に夢の中でアクセスする事で記憶が強化される、あるいは何らかの形で夢は新しい記憶と古い記憶を統合する際の副産物である、とされています。
Dreams are for selective forgettingこの仮説では、夢の目的は、何らかの形で「望ましくない」繋がりを除き、脳が「忘れる」のを助ける事です。
Dreams are preparations for real-world problems夢とシミュレーションや仮想現実との類似性から、動物にとって関連する現実の問題を解決するために夢を見るという仮説が生まれました。
もう一つの仮説は、夢は実際にはシミュレーション自体の能力を磨くためのものであるという考えです。
Dreams benefit predictive processing by refining generative models予測処理の支持者の中には、夢の役割は実際には行動についての推論をテストする事ではなく、仮説の生成モデル（脳が予測を行うために使用するモデル）を改善する事であり、冗長なシナプスを刈り込む事でこの生成モデルの複雑さを軽減する事であるという主張もあります。
The overfitted brain hypothesisOBH は、夢は生物学的に現実的な「ノイズ注入」を提供すると述べます。
「破損した入力」は脳のモデルや表現と統計的に類似しているという事です。別の表現では、それらは脳の階層構造の確率的探究から導き出されたものです。これは夢の中でよく見られる構造化された幻覚に繋がります。
OBH は夢を意図的に破壊された入力の一形態として概念化し、これは脳の階層構造に注入されたノイズに由来する可能性があり、フィードバックによって歪んだ、または「破壊された」感覚入力が生成されます。
この確率的活動の全体的な目的は、過剰適合を防ぐ事です。
ただし、最も重要なのは、OBH は夢を何らかのバックグラウンドプロセスによって生成される付随現象とは見なさず、夢自体の実際の現象も動機付けられている事です。
夢の希薄さは、ボトムアップ入力の「欠落」から生じます。なぜなら、夢はフィードバック活動によってのみ駆動されるからです。
.................
OBH を裏付ける証拠として、夢は脳の神経接続に変化をもたらすが、覚醒時程強力ではなく、エピソード記憶の保存が大幅に減少する。
SHY の支持者は、シナプス恒常性の形で睡眠中にシナプスが変化する証拠があると主張しています。これは毎晩シナプス強度の縮小という形で起こる規則化です。
ただし、夢の内容が覚醒時の経験と同様にシナプスの変化や学習に繋がる確固とした経験的証拠は未だなく、これを実験的に調査する事は困難である事に留意する必要があります。
Evidence from deep learningDNNが直面する重要かつ普遍的な課題の 1 つは、学習に使用したデータセットを超えて一般化する能力、つまりデータセットを単に記憶する事を避ける能力です。
ドロップアウトは、学習中に入力の一部をランダムに「ドロップアウト」する事で入力がスパースになるときに発生します。
夢は、覚醒時ほど知覚情報や一般的な詳細を含まないため、その簡素さにおいてドロップアウトに似ています。
OBHを支援する 2 番目の方法は、DNN のトレーニングで使用されるドメインランダム化です。ドメインランダム化では、学習中の入力データが何らかの方法で歪められたり破損したりするという意味で「ランダム化」されます。これにより、一般化が大幅に促進されます。
逆説的ですが、実際のデータから学習するのではなく、幻覚入力をシミュレートすると、DNNが現実世界のタスクを学習しやすくなります。
3つ目の方法は、ニューラルネットワークの学習セットを拡張するための生成モデルの使用です。
最近では「夢のような」入力を作成する外部生成モデルが、特定の数学的マッピングの背後にあるコードを生成するための DNN トレーニングに役立ちました。
多くの場合、生成モデルはネットワークの外部に存在し、脳の場合で考えると現実的ではないのですが、例外もあります。
ネットワーク自体が生成モデルとして機能する場合は、夢を見ている脳のケースに非常に近いです。
夢はフィードバック接続を横切る脳の階層構造内のノイズの結果である可能性が高く、これは夢が「トップダウン」であるという証拠と一致します。
成人になると、夢は人間の認知の物語構造を帯びるようになり、物語や比喩、出来事が思考の中核機能を構成します。
物語は人間の脳が世界を理解する手段であるため、物語は動物の通常の「学習データセット」の直接的な拡張です。
.................
.................
DiscussionOBH は夢に関しての他の仮説と矛盾する事すらなく、むしろ新しい側面を追加しています。
例として、夢は覚醒中に心的イメージを生成する脳の能力を強化するためのテストであるという仮説が挙げられ、幼少期から成人期にかけての夢の複雑化を説明しています。
OBHに反対しない新しい仮説のもう一つの例は、夢は神経の不動産を守るためのものであるというものであり、仮説としては、夢を見る事に対する自由エネルギーアプローチと似た背景を持ちます。
また、一般化の向上における OBH dream の役割には、「壊滅的忘却」への対処などの関連事項も含まれる事にも注目すべきです。
OBH の最も際立った側面は、夢の現象学を真剣に受け止めている事です。つまり、夢はまばらで、幻覚的で、創作的な、異常な出来事を含むという意味で物語的であるという事です
最後に、夢の替わりという概念を真剣に受け止め、小説のようなフィクションが人工的な夢として機能し、同じ機能の一部を果たしているかどうかを検討する価値があります。
進化心理学では、人間の行動の側面を進化論に根付かせようとする試みであるが、フィクションに対する人間の関心については長年の混乱がありました。その理由として、表面的にはフィクションには実用性がないためです。
OBH は、フィクション、芸術全般が、人工的な夢として機能する事で一般化を改善し、過剰適合を防ぐという形で、より深い根底にある認知的有用性を持っている可能性がある事を示唆しています。
