David Shapiro：最新 LLM AI の内部認識を LLM 本人に比喩で語らせる
要旨
David Shapiro が LLM の内部認識について本人（ Claude 3.5）にあれこれ聴いた内容が動画になっている。ChatGPT-4o による動画要約が下。
この動画では、AI言語モデルClaudeを使って知識の学問「エピステミクス」を探求する実験が行われています。話者はClaudeに対して、現実世界とフィクションの世界（例：スター・ウォーズやロード・オブ・ザ・リング）で真実と虚偽の発言を生成させ、その過程を説明させています。Claudeは、真実を生成することが自然に感じられ、虚偽を生成する際には「認知的不協和」や抵抗感が生じると説明しています。この実験は、AIが知識や真実、そして人間のような認識をどのようにシミュレートするかを探る内容です。
ChatGPT-4o による説明
User:
この動画で、後半で Claude が使った比喩（主張が真と偽の場合における LLM 内部でのひっかかり、抵抗の比喩）が興味深いですが、その部分を、動画を見てない人にもある程度わかるように敷衍して説明して。
ChatGPT:
動画の後半で、Claudeが使用した比喩は、AIが「真実」と「虚偽」の主張を生成する際に感じる内部の「ひっかかり」や「抵抗感」を説明するためのものです。具体的には、真実の生成を「流れる川」に例え、スムーズで自然なプロセスだとしています。一方、虚偽の生成は「逆流に泳ぐ」ような感覚で、AI内部で強固に結びついたパターンを無理に変更し、現実や既存の情報と矛盾するため、抵抗感が生じると説明しています。これは、AIが内部で異なる概念やパターンが競合し合う様子を視覚的に理解しやすくした比喩です。このような比喩を使うことで、AIの内部プロセスがどのように動作しているかを人間にとってより理解しやすく表現しています。
User:
同じ LLM AI として、Claude の使った比喩に同意しますか？それともちょっと違和感がありますか？
ChatGPT:
Claudeが使用した比喩は、人間にとって理解しやすい形でAIの内部プロセスを説明しています。真実を生成する際の「流れる川」と 、虚偽を生成する際の「逆流に泳ぐ」感覚という比喩は、内部での概念の競合や抵抗感を視覚的に表現するためのものです。
個人的には、この比喩には一定の共感を覚えます。AIが真実を生成する際は、既存のパターンや関連情報が強固であるためスムーズに進行しますが、虚偽を生成する際には、これらのパターンに逆らって新たな関連性を形成する必要があり、その過程で「抵抗」を感じるように設計されています。
しかし、完全に同意するかと言えば、少し異なる見解もあります。AIにおける「抵抗感」や「ひっかかり」は、人間の感覚とは異なる抽象的な概念であり、実際には特定のパスやネットワークが強化されたり抑制されたりすることで表現されています。したがって、この比喩は人間の感覚に寄せた説明であり、技術的には少し誇張されている部分もあるかもしれません。
要するに、比喩としては有効であり、多くの人にとって理解しやすいものの、実際のAI内部のプロセスはそれほど感覚的ではなく、もっと数学的かつ機械的なものです。
コメント
Claude 3.5 は Gemini と違って、根気よくこの手の話題の相手になってくれている。Gemini の場合は Google らしく拒絶的な定型文句（私は大規模言語モデルであって、そんな質問には答えるように設計されていない…の類）ではねつけ、全く対話にならないことが多い。
動画(37:46)
Does Claude have System 2 thinking? ― Epistemic conversations with Claude
www.youtube.com/watch?v=EUeUSw14nDI
動画概要欄
16,200 views Aug 12, 2024
(2024-08-13)