（Ｓウルフラム ハヤカワ新書）
ChatGPTで自動生成される文章は、たとえ表面的にだとしても、人間が書いた文章と同じように読める。これは驚異的であり、予想外でもある。
＜では、ChatGPTはどうやってそれを実現しているのだろうか。＞
というこの本は、理論物理学者であり、質問応答ソフトWolfram/Alphaの開発など、ニューラルネットの発展を長年追い続けてきた著者による「最強の解説書」である。
何よりもまず押さえておきたい点は、ChatGPTは基本的に、そこまでに出力された内容の「順当な続き」を出力しようと試みているだけである、ということだ。
億単位のウェブページなどに書かれている内容を見たうえで、人間が書きそうだと予測される「次の単語」を、「確率」でランク付けされたリストに従って選ぶのだ。
＜だが、ここで不思議な魔術が登場する。＞
常に最高ランクの単語を選んでいると、どうにも「単調な」小論文になり、「クリエイティビティを発揮する」ところがまったくなくなってしまうのである。
そこで、ランクの低い単語を使う頻度を決める「温度」というパラメーターが存在し、ときどきはランクの低い単語をランダムに選んでやれば、うまく機能するのだ。
ここではどんな「理論」も使われていないことを、あらためて強調しておいたほうがいいだろう。現実にうまく機能することが、ただ分かっているだけなのだ。
驚くべきなのは、「たった」そのくらいの数のパラメーターで成り立っているChatGPTの基礎構造だ。その数だけでも、次の語が続く確率を「かなりうまく」計算し、小論文といえる妥当な長さの文章を生成できるモデルを作れるのである。
と、この辺りまでは比較的余裕で、目から鱗を落としながらとはいえ、著者のまことにクールな議論に、付いていくことはできたのだったが、
それは「基本的に単純な物理学に由来する数値データのモデルを作る」という、いってみれば「単純な数学が当てはまる」ことが何世紀も前から分かっている例だった。
と、突然雲行きが怪しくなり、『ChatGPTの頭の中』よりも「ウルフラムの頭の中」がさっぱり見えなくなっていってしまう。たとえば「画像認識」の世界である。
画像認識のような処理をこなす典型的なモデルとして、今のところ最も広く使われ、かつ成功もしているのは、ニューラルネットを使うアプローチなのだそうだが、
このようなニューラルネットを「数学的に表現した」ブラックボックスは、結果的に１１層になっており、そのうち４層が「コア層」だという。
それは現実的な技術の産物として考案され、実際にうまく機能したものだが、そこに特に「理論的に導き出された」といえる点はない。
＜言うまでもなく、生物としての進化の過程で人間の脳が生まれてきた経緯とそれほど変わらない。＞
だから、ここからの議論は、どうぞご自分でお読みいただきたい。わからなくてもそれなりに、暇人としても得るものはあった。ただうまく説明できないだけだから。
ChatGPTが文章を生成する機能には、目を見張るものがある。だとすると、ChatGPTは人間の脳のように動いているといえるのだろうか？
人間の言語は（そして、それを支えている思考のパターンは）、どうやら私たちが考えていたよりも単純であり、その構造はもっと「規則的」らしいということだ。そのことを暗黙のうちに明らかにしたのがChatGPTである。
本日もお読みいただいた皆様どうも有り難うございました。
今後も読んであげようと思っていただけましたなら、
どうぞ応援のクリックを、お願いいたします。
↓ ↓ ↓
ChatGPTで自動生成される文章は、たとえ表面的にだとしても、人間が書いた文章と同じように読める。これは驚異的であり、予想外でもある。
＜では、ChatGPTはどうやってそれを実現しているのだろうか。＞
というこの本は、理論物理学者であり、質問応答ソフトWolfram/Alphaの開発など、ニューラルネットの発展を長年追い続けてきた著者による「最強の解説書」である。
何よりもまず押さえておきたい点は、ChatGPTは基本的に、そこまでに出力された内容の「順当な続き」を出力しようと試みているだけである、ということだ。
億単位のウェブページなどに書かれている内容を見たうえで、人間が書きそうだと予測される「次の単語」を、「確率」でランク付けされたリストに従って選ぶのだ。
＜だが、ここで不思議な魔術が登場する。＞
常に最高ランクの単語を選んでいると、どうにも「単調な」小論文になり、「クリエイティビティを発揮する」ところがまったくなくなってしまうのである。
そこで、ランクの低い単語を使う頻度を決める「温度」というパラメーターが存在し、ときどきはランクの低い単語をランダムに選んでやれば、うまく機能するのだ。
ここではどんな「理論」も使われていないことを、あらためて強調しておいたほうがいいだろう。現実にうまく機能することが、ただ分かっているだけなのだ。
驚くべきなのは、「たった」そのくらいの数のパラメーターで成り立っているChatGPTの基礎構造だ。その数だけでも、次の語が続く確率を「かなりうまく」計算し、小論文といえる妥当な長さの文章を生成できるモデルを作れるのである。
と、この辺りまでは比較的余裕で、目から鱗を落としながらとはいえ、著者のまことにクールな議論に、付いていくことはできたのだったが、
それは「基本的に単純な物理学に由来する数値データのモデルを作る」という、いってみれば「単純な数学が当てはまる」ことが何世紀も前から分かっている例だった。
と、突然雲行きが怪しくなり、『ChatGPTの頭の中』よりも「ウルフラムの頭の中」がさっぱり見えなくなっていってしまう。たとえば「画像認識」の世界である。
画像認識のような処理をこなす典型的なモデルとして、今のところ最も広く使われ、かつ成功もしているのは、ニューラルネットを使うアプローチなのだそうだが、
このようなニューラルネットを「数学的に表現した」ブラックボックスは、結果的に１１層になっており、そのうち４層が「コア層」だという。
それは現実的な技術の産物として考案され、実際にうまく機能したものだが、そこに特に「理論的に導き出された」といえる点はない。
＜言うまでもなく、生物としての進化の過程で人間の脳が生まれてきた経緯とそれほど変わらない。＞
だから、ここからの議論は、どうぞご自分でお読みいただきたい。わからなくてもそれなりに、暇人としても得るものはあった。ただうまく説明できないだけだから。
ChatGPTが文章を生成する機能には、目を見張るものがある。だとすると、ChatGPTは人間の脳のように動いているといえるのだろうか？
人間の言語は（そして、それを支えている思考のパターンは）、どうやら私たちが考えていたよりも単純であり、その構造はもっと「規則的」らしいということだ。そのことを暗黙のうちに明らかにしたのがChatGPTである。
本日もお読みいただいた皆様どうも有り難うございました。
今後も読んであげようと思っていただけましたなら、
どうぞ応援のクリックを、お願いいたします。
↓ ↓ ↓
