2023年12月31日
資本・資源の観点からシンギュラリティ不可能論
| Tweet |
|
人工知能が人間の知性を上回り、
その延長に、人工知能が自力で知能の強化をする事、
その更なる延長として、知能の向上が加速し、有限時間内に無限大の知能が実現されるような話もあると思います。
しかし、それが必要とする前提を色々考えると、
どうもそれ（知能増幅）は、永久機関のような実現不可能な機構のように思えてきたんですが...？
...無限の知能のためには、無限の計算機資源、無限の計算量が必要であると思います。
今のアーキテクチャで既に計算量が天文学的量にまで増加しており、それを計算量の力押しで実現しているに過ぎません。
だから、そんなのは不可能なんですよ。現在の状況の先には、とても未来はありません。計算量に関するイノベーションが起きてないんですから。
楽観視してる人達は、量子コンピュータとかで解決する、とか、人工知能がそれも何とかするとか、具体的な解法に全然触れずに課題を棚上げしてるのだと思います。
無限ではなくとも、極めて大きい知能は実現出来るのでは？
ですから、そのためには結局極めて大きな計算量が要るのだから、やはりいずれ知能の上限が来るんです。
学習データと言う資源についても同様です。現状は学習データに（線形に）依存し切っています。
その学習データが枯渇する事はかなり確実ですし、
そもそもデータが汚染されてるなら、知能が低下しても向上するなんてあり得ません。
本質的に必要なイノベーションは
（実質的に）膨大な計算量とデータを、極めて小さい計算機資源で処理、学習する方法ではないでしょうか？
................
................
いや、そもそも知能の大きさ、知能の高さの定義は...？どうやって計測するのでしょうか？
私は以前
現状は、力任せの延長にしかありません。
既に経済学的にはムーアの法則は適用出来なくなって来ているので、
という事はやはり経済学的にシンギュラリティは訪れないのでは...
その延長に、人工知能が自力で知能の強化をする事、
その更なる延長として、知能の向上が加速し、有限時間内に無限大の知能が実現されるような話もあると思います。
しかし、それが必要とする前提を色々考えると、
どうもそれ（知能増幅）は、永久機関のような実現不可能な機構のように思えてきたんですが...？
...無限の知能のためには、無限の計算機資源、無限の計算量が必要であると思います。
今のアーキテクチャで既に計算量が天文学的量にまで増加しており、それを計算量の力押しで実現しているに過ぎません。
だから、そんなのは不可能なんですよ。現在の状況の先には、とても未来はありません。計算量に関するイノベーションが起きてないんですから。
楽観視してる人達は、量子コンピュータとかで解決する、とか、人工知能がそれも何とかするとか、具体的な解法に全然触れずに課題を棚上げしてるのだと思います。
無限ではなくとも、極めて大きい知能は実現出来るのでは？
ですから、そのためには結局極めて大きな計算量が要るのだから、やはりいずれ知能の上限が来るんです。
学習データと言う資源についても同様です。現状は学習データに（線形に）依存し切っています。
その学習データが枯渇する事はかなり確実ですし、
そもそもデータが汚染されてるなら、知能が低下しても向上するなんてあり得ません。
"LLM等でモデルが生成したデータでモデルを学習"で世代を重ねていくとどうなるのか？に答えた論文。結果、モデルが分布の裾から壊れる(Model Collapse)現象が発生。ガウシアンでの例が丁寧。
— Shinichi Taka?anagi (@_stakaya) August 14, 2023
The Curse of Recursion: Training on Generated Data Makes Models Forgethttps://t.co/dcLtcMoGwq
本質的に必要なイノベーションは
（実質的に）膨大な計算量とデータを、極めて小さい計算機資源で処理、学習する方法ではないでしょうか？
................
................
いや、そもそも知能の大きさ、知能の高さの定義は...？どうやって計測するのでしょうか？
私は以前
技術的特異点の実態とも述べましたが、あの時から計算機資源に関するイノベーションが生じているとは到底思えません。
そもそも単一の尺度では計測出来ないだろう
現状は、力任せの延長にしかありません。
既に経済学的にはムーアの法則は適用出来なくなって来ているので、
という事はやはり経済学的にシンギュラリティは訪れないのでは...
AIが経済成長に与える影響 : モデル化とシンギュラリティに関する概説
濱田弘潤 新潟大学
新潟大学経済論集 111 , 2021
................
................
................
................
濱田弘潤 新潟大学
新潟大学経済論集 111 , 2021
2.3 ボーモルのコスト病
ボーモルのコスト病とは
生産性が相対的に低い産業で生産費用が持続的、累積的に上昇する影響の事を指す。
William J baumolは、技術革新により資本集約的な製造業で生産性が向上するのに対し、労働集約的なサービス業では生産性がほとんど向上せず、非生産部門のコストが経済成長を制約する事を論じた。
言い換えれば、ある部門での生産性の急激な向上は、生産性の向上が進まない部門の経済への重要性を高める。
同じ事が、AIによる生産性向上にも当てはまる可能性がある。
................
................
タスク間の代替弾力性が１を下回る時、AIによるオートメーションの進展は、ボーモルのコスト病を引き起こす。
すなわち、第一次産業や第二次産業でのAIの導入は、これら産業部門の生産性向上を促すが、これらの部門のGDPに占めるシェアを急激に減少させる結果となる。
もし第3次産業のGDPに占めるシェアが急激に増加し、この産業が労働集約的で低生産性部門であるならば、こうした産業がボトルネックとなり却って経済成長を低下させる事になりかねない。
以上が、AIの進展に伴ってボーモルのコスト病が生じる可能性についての説明である。
2.4 均衡成長経路
................
オートメーションが資本消耗型技術であるという驚くべき結論は、次の理由による。
自動化に伴う βtの増加は、二つの効果をもたらす。
第一の効果は、資本がより多くのタスクに使われる効果で、これは資本増強的である。
しかしもう一方でもう一つの効果として、一定量の資本が多様なタスクに利用される事でタスク当たりの資本量が希薄になり、資本消耗的になる効果がある。
タスク間で補完性がある場合、第二の資本消耗的効果が第一の資本増強的効果を上回り、オートメーションは資本を消耗させる。
反対に労働については逆の力が働き、少ない数のタスクに多くの労働を集中投下出来るので、労働増強的技術となる。
................
................
................
................
5 シンギュラリティへの反論
第一のボトルネックは、生産に不可欠な生産要素の存在である。
例えば、生産活動に対して何らかの人的労働が以前必要であり、AIによる認知的タスクの完全自動化を阻むなら、
たとえ自動化が進展が経済成長率を高めたとしても、人間の労働力を必要としないシンギュラリティは実現出来ない。
第二のボトルネックとして、知的探索活動が収穫逓減的である可能性である。この場合、例えば完全自動化が実現したとしても、シンギュラリティは訪れない。
第三のボトルネックは、本質的な生産要素に関するボーモルのコスト病に起因するものである。
第三のボトルネックと関連して、第四のボトルネックは物理法則や自然法則である。結局のところ、経済成長は最も困難なタスクの改善能力により制約を受ける。
最後に第五のボトルネックとして Joseph A Schumpeterが提言した概念である「創造的破壊」に起因するものが挙げられる。
新技術が旧技術に置き換わる創造的破壊を考え、技術革新にはAIだけでなくリサーチのために人的資本が必要とされるとする。技術革新は人的資本の収益率をゼロに収束させるので、結果的に人的投資が行われなくなる。人的投資の低下がボトルネックとなり、経済成長率は低下しシンギュラリティは訪れない。
