2024年09月18日
概念の背後にある数学 抽象的思考に光を当てる機械学習
| Tweet |
|
プレプリントを公開しました。「概念」についての様々な哲学理論と、機械学習における「表現」学習を比較したら、色々と似たところがあって面白いかもしれない、という話です。https://t.co/EIKKhnnlqE
— Jun Otsuka (@junotk_jp) August 29, 2024
夢の研究と同様に、他分野における物の見方と機械学習の見方とを比較して考察する論文です。
やはり、実験や調査はしてないと思います。
What Machine Learning Tells Us About the Mathematical Structure of Concepts
Jun Otsuka Kyoto University, Shiga University, RIKEN
arXiv preprint arXiv:2408.15507 (2024).
1 Introduction
概念とは一体何か？これはおそらく哲学における基本的な問いの 1 つであり、その答えは哲学者の数と同じくらいあるでしょう。
一方、第一世代の人工知能研究者が、エキスパートシステムを構築するために知識表現を模索して来たように、機械学習と人工知能の分野でも、概念の性質は主要な課題となっていました。
この論文の目的は、哲学、認知科学、機械学習における概念に関する様々な研究からの洞察を一箇所にまとめ、それらの関連性を明らかにする事です。
これまで認識されていなかった共通点を明らかにする事で、異なる分野で研究している研究者が互いに学び合い、ある分野の発見を別の分野に外挿する事が容易となります。
しかしながらこの論文では人間の思考の根底にある心理的メカニズムについて実証的な主張をするつもりはありません。
人間の脳が本当にニューラルネットワークに似ているか(またはその逆) については、私はまったく懐疑的です。
本論文の焦点は実証的な実装ではなく、モデルそのものにあります。その目的は、実証的な正確さに関わらず、さまざまな概念理論の (数学的な) 性質を比較し分析する事です。
2 The Abstractionism抽象主義によれば、概念は個々のデータからの抽象化によって形成されます。
人間という概念は、身体的および心理的特徴などの違いを抽象化する事によって個々の人間から形成されます。
哺乳類という概念は、人間、虎、犬などの違いを抽象化する事によって形成され、同様のプロセスを繰り返して、動物、生物など、より一般的な概念を得る事が出来ます。
結果として得られる逆ツリー構造は、Porphyrian ツリーと呼ばれます。この木を上に行く事と下に行く事は、それぞれ抽象化と具体化に対応します。
逆に、ケンタウロス = 人間∧馬 のように、結合によって概念を作成する事も出来ます。
Heisが提唱する概念の見方は、「アリストテレス的抽象主義」と呼ばれます。
範囲は、特定の概念が適用されるオブジェクトの集合であり、その意図は概念を定義するプロパティのセットです。
人間の範囲にはソクラテス、シーザーなどが含まれ、その意図には二足歩行、理性的などの性質が含まれます。
概念は、その意図、つまり、そのインスタンスとなるために個別に必要であり、かつ共同で十分な条件、つまり、対応する範囲のすべてのメンバーのみが共有する特性によって完全に識別されます。
抽象主義的概念化は、初期のAI研究の基礎的枠組みも築き、特にエキスパートシステムの知識ベースの開発に影響を与えました。
抽象主義の階層構造は明確な代数的構造を持っています。
「人間は動物である」の様な抽象関係は、 反射的、反対称的、推移的であり、概念の集合上の半順序 x＜y を定義します。
さらに、概念の集合に対して、結合を定義する事が出来ます
したがって、概念階層全体を（完全な）latticeで表す事が出来ます。
伝統的なポルフィリウス樹における物質や物などの最も抽象的な概念は、格子の最上位の要素 1 であり、最下位の 0 は反対の概念である無を意味します。
.................
抽象主義の核となる洞察は、概念が互いに関連し合って階層構造を形成し、それが意図と範囲の二重格子によって正式に表現されると言う事です。
.................
抽象主義に対する様々な批判は、概念をモデル化するための代替アプローチのきっかけとなり、ここではそれら代替アプローチについて検討します。
3 The Similarity Approach抽象主義に対する主な批判の 1 つは、概念は一連の必要十分条件、つまりその本質によって定義出来るというその本質主義に向けられていました。
現実の概念には、そのような本質が欠けているように思われます。例えば、全てのゲームに共有されている特性とは何でしょうか？
サッカー、囲碁、テトリス等があります。
ウィトゲンシュタインは、これらのゲームを結び付けるのは共有特性ではなく、家族的類似性、つまりオブジェクト間の緩い類似関係によって関連していると指摘した事で有名です。
サッカーとテトリス等の任意のペアは似ている必要はなく、共有特性を持っている必要もありません。それらをゲームにしているのは、一緒になってゲームと呼ばれるクラスターを形成する他のアイテムに似ているという事実です。
類似性に基づく概念の見方は、分野によって呼ばれる名前が違います。
科学哲学では、ホメオスタティック特性クラスター理論またはHPC理論は、特性クラスターが自然種、特に生物種などの生物科学に現れる自然種を定義的アプローチよりも適切に説明出来ると主張します。
認知科学におけるプロトタイプ理論と模範理論も同じ考え方に基づいており、人間はプロトタイプや模範と呼ばれる代表的なアイテムとの類似性に基づいてオブジェクトを分類すると仮定しています。
プロトタイプとは、過去の事例から導き出された平均などの統計的中心として定義され、模範は、鳥類の場合のはズメやコマドリなどの代表的な事例によって設定されると示唆しています。
自然言語処理（NLP）では、単語を高次元ベクトル空間に埋め込み、意味が似ている単語が空間的に集まるようにします。これらベクトルの類似性は、それらの間の角度で測定され、コサイン類似度として知られています。
上記全てのアプローチの根底にあるのは、空間内の任意の 2 点間の距離を指定する計量関数を備えた空間である計量空間という数学的概念です。
2 つのオブジェクトは、無限に多くの可能な側面に関して比較出来るため、認知科学者は、類似性を計算する際に考慮する特徴を事前に指定する必要があります。
対照的に、次元削減は機械学習アルゴリズムの自動機能です。 入力単語を中間層の「潜在空間」に埋め込むように学習され、潜在空間の「特徴」または次元は学習プロセスを通じて事後的に構築され、通常は特定の意味を持ちません。
この事から、幾何学的アプローチが、概念に本質的に結びついている他の代数演算にも適応出来るかどうかという疑問が生じます。
いくつかの研究では、単語ベクトルの否定を曖昧さ解消の一形態として解釈する事を提案しています。
rock NOT band は、地質学的な岩石に関連するが音楽バンドとは無関係のベクトルに対応するはずです。このような操作は、射影によって実現出来ます。
単語ベクトルa NOT b は、bによる部分空間に直交する部分空間にa を射影する事によって取得出来ます。
逆に、論理和a OR b は、aとbの間にある任意の項目に適用する、曖昧さとして機能します。
これは、ベクトルaとbによる部分空間によって表す事が出来ます。
Widdows は、これらの操作により、単語ベクトル空間が、意味論で集合ではなくベクトル空間を使用する量子論理に似た代数構造を持つ事を指摘しています。
別の研究では、単語の階層構造を幾何学的に表現し、類似性の枠組みの中に抽象主義の考え方を取り入れようとします。
ニッケルとキエラによって提案されたポアンカレ埋め込みは、ユークリッド表現空間を、木構造をエンコードするのに適した双曲空間に置き換えます。
別の戦略は、単語を点やベクトルではなく、ボックスなどの拡張領域で表現する事です
4 The Functional Approach類似性アプローチは、抽象主義の本質主義的側面に対する批判によって促された事を見てきました。
機能的アプローチは、ランダムなオブジェクトの抽象化を通じて任意の概念形成を許容する抽象主義の別の問題に触発されています
この考え方によれば、概念は単なる属性や項目の組み合わせではなく、むしろその可能な特徴間の特定の機能的関係を具体化します。
ロッツェの論点は、概念は任意の特徴を無作為に組み合わせて作成する事は出来ないという事であり、概念はむしろ、その内部の機能的関係によって特徴付けられ、その関係を通じて、その概念の可能な属性は互いに制約されます。
概念によって具体化される機能的関係は、対象と世界に関する理論的知識を反映しています。空を飛ぶ動物が通常エラではなく肺を持っている事は、私たちの生物学の一部です。
この意味で、機能的見解は、概念が世界に対する私たちの全体的な理解によって固定されていると見なす、認知科学における いわゆる理論理論または知識アプローチと精神を共有しています。
健康食品はそのようなカテゴリの 1 つで、ケール、全粒穀物、レンズ豆などの項目が含まれます。ただしこれらの項目の単なる論理和によって決定されるわけではありません。
むしろ、食品を栄養成分にマッピングするベクトル値関数を考慮し、そのような関数の共領域内の特定の領域 (低カロリーで繊維とタンパク質が多い) の逆イメージとして健康食品を定義します。
したがって、健康食品という概念は、おそらく栄養科学の知識を反映している関数に基づいています。
.................
機械学習の文献では、多様体仮説は、観測されたデータが高次元表現空間内の低次元領域または部分多様体で表現出来ると仮定しており、全ての可能な特徴の組み合わせが実現可能ではないという事実を反映しています。
この仮説が正しければ、異なるオブジェクトや概念は、表現空間内で異なる部分多様体として表現されるはずです。
.................このアルゴリズムの重要な利点の 1 つは、学習した多様体上の曲線に沿って移動する事で、1 つのオブジェクトを別のオブジェクトに滑らかに「モーフィング」出来る事です。
オブジェクト間の実際の類似性を捉えるには、表現空間を構成する特徴間の機能的関係を考慮する事が重要です。これらの機能的関係は、特定のタイプのオブジェクトまたは概念を支配する「法則」として見る事が出来ます。
概念/法則を適切に理解すると、特定のタイプの可能なバリエーションを描写して予測するだけでなく、既知の情報に基づいて他の特徴を予測する事も出来ます。このように、機能的概念は、抽象主義や類似性アプローチのどちらでも強調されていなかった概念的推論の側面を強調します。
5 The Invariance Approachカッシーラーが言うように、「特定の「存在」の把握には、それがそれ自体に内包する変化の可能性の把握が含まれます」。
心理学研究の文脈では、同じ考えがギブソンの先駆的なアフォーダンス研究の根底にあり、動物の知覚は単に感覚刺激だけでなく、環境が生物に行動の可能性として何を提供するかに関する豊富な情報も含んでいるという仮説を立てています。
ここでの重要な洞察は、物体とその外観は体系的に変化するため、認識システムはさまざまな外観を持つ物体を識別出来るほど堅牢であると同時に、これらの変化を追跡出来るほど柔軟でなければならないという事です。
一方、等価性は、オブジェクトの変化を「追跡する」表現の側面を指します。たとえば、視点の変化は、オブジェクトのアイデンティティは不変ですが、その見え方は確実に変化します。
不変性と等変性は機械学習、特に様々な条件で撮影された画像から物体を識別するモデルを課す画像認識において重要な概念である。
そもそもなぜこのような変換を考慮しなければならないのか疑問に思う人もいるかもしれません。不変性アプローチからすると、物体のこのような動的な理解は、物体について私たちが形成する概念の不可欠な部分であるからです。物体を知覚し、それを何らかの概念に分類するとき、例えばそれを人間の顔として認識するとき、私たちは静止画像にラベルを付けるだけではない。概念化には、環境条件の絶え間ない変化や知覚主体の動きに応じて、対象の外観がどのように変化するかを予測する事が含まれる。そうでなければ、私たちの知覚システムは、連続するイメージを一貫した全体に統合し、それを物として識別する事が出来ないからです。
さらに、グループ理論の考察は、概念の次元性を調査するための新しいアプローチを促します。
優れた概念化では、様々な種類の変換を区別し、これらの変換間の依存関係（非依存関係）をエンコードする事によって問題に対処しなければなりません。言い換えれば、「自然をその関節で切り分ける」必要があります。
6 Discussion
このセクションでは、これらの見解をメタ視点から比較し、それらの関連性を探り、さらなる研究への示唆を導き出します。
.................
.................
格子と群は本質的に代数的であり、距離空間と多様体は明確な幾何学的特徴を持っています。
したがって、この論文で議論されている 4 つのアプローチは、それぞれ概念の幾何学的または代数的側面に光を当てるものと見る事が出来ます。
7 Conclusion
.................
この論文で紹介した調査は、分野をまたいだ概念表現の広大な展望の予備的なスケッチにすぎません。
注意メカニズムや拡散モデルなどの高度な機械学習モデルの影響は十分に検討されておらず、さらなる調査の余地が残されています。
さらに、抽象主義、類似性アプローチ、機能的アプローチ、不変性アプローチの 4 つのカテゴリ間の関係は、さらにつながりや洞察が見つかる可能性があるため、より深い調査が必要です。
概念に対するこれらの相互に関連するアプローチの哲学的および数学的理解を深めるには、体系的かつ包括的な調査が依然として必要です。
