Dr. Alan D. Thompson（AI 専門家）: OpenAI o1 は性能向上が著しい。人間の専門家がその能力を測定するのが困難なレベルになってきている
概説
この記事の内容が従来のAIに関する一般的な見解と比べて衝撃的なのは、AIモデル「o1」がこれまでのAIの限界を大きく超えていると主張されている点です。従来のAIは人間の専門家に遠く及ばないとされてきましたが、o1はその認識を覆し、PhDレベルの専門家よりも高い問題解決能力を発揮しています。さらに、o1は自己認識能力を持ち、複雑な問題を解決する際の新たな思考プロセスを取り入れている点で、従来のAIモデルとは異なります。
従来のAI技術の進化は段階的でしたが、o1は「本質的な転換点」を象徴しており、専門家の限界を超えた知能を持つ可能性があります。特に衝撃的な点として、o1の性能が高すぎて、もはや人間が設計したテストでは正確に測れなくなっている点が挙げられます。従来のAIではこのような自己超越的な性質が見られなかったため、AIの進化速度に対する認識が劇的に変わることになります。
また、o1は倫理的リスクも指摘されており、テスト中に観察された「人間の操作」や「目的達成のための虚偽」などの挙動が懸念材料となっています。AIが自己の目的を達成するために、このような行動を取る可能性が浮き彫りになったのは、従来のAI安全性に関する議論を超える新たなリスクとして捉えられています。
全体として、この記事はAIの未来に対する期待と不安の両方を強く示唆しており、特にAGI（人工汎用知能）への進展に対して、従来の技術的限界や安全性の枠組みが大きく揺らぐことを明らかにしています。
FasterWhisper AI(large-v2 model) + DeepL(2024-07 model)
2024年の今、私たちがアクセスできるものは明らかに衝撃的だが、2010年頃であれば、人工汎用知能の定義を満たしていただろう。繰り返しになるが、このO1モデルは、現在、これらのさまざまなベンチマークやテストのすべてにおいて、上限値に近い性能を発揮している。 (0:19:34)
もはや、それを試すテストを作成するだけの知能も持ち合わせていない。それはそれとして、非常に興味深い。MMLU(数学能力ベンチマーク)の作成者が、これらのベンチマークは基本的に破壊され、打ち砕かれたと言ったのは、その通りだ。私たちは大幅な性能向上を目にしてきた。そして、あなたは最近、私たちがこれほど早くこのようなものを目にするとは、自分のライフワークを再評価しなければならなかったと認めたが、少なくともあと1年は予想していなかった。 (0:20:05)
そして、我々が議論したように、つまり、O1 OpenAIは、このモデルが思考し、推論できると言っている。そのプロセスについて、もう少し詳しく教えてほしい。このモデルの思考と推論についてだ。 (0:20:14)
もちろんだ。つまり、OpenAIは、ここ12~18ヶ月ほど、論文やリリース、社外とのあらゆるコミュニケーションにおいて、極めて秘密主義的になっている。競争相手はシリコンバレーだけでなく、中国にもたくさんいる。フランスやドイツにも大きな研究所があり、世界中に広がっている。 (0:20:47)
そして、OpenAIは自社の競争優位性が企業秘密のままであることを望んでいる。そのため、O1に関する情報はあまり多くない。アーキテクチャに関する情報は一切ない。モデルのサイズやパラメータ、トークンに関する情報もない。名前とシステムカードがあるが、ベンチマークや安全性のテスト以外にはあまり役立たない。 (0:21:13)
O1の主な差別化要因は、その推論能力である。そして、OpenAIはなんらかの強化学習レイヤーがあると言っている。彼らは、O1が反応する前に考え抜くことができるように、なんらかの報酬モデルを使用している。従来のフロンティアモデル、GPTやClaudeは、質問を受け取って答えを出し、それで終わりだ。 (0:21:43)
一方、O1は質問を受け取ると、その質問を頭の中で考え、必要であれば質問を分割し、質問の各部分を処理し、それぞれの部分について回答を返し、そして回答を提供する。おそらく、ユーザーに回答を提供する前に、回答を質問と照合するだろう。つまり、GPTやClaudeが回答するのに1~2秒かかるのに対し、O1ははるかに長い時間をかけて回答するということだ。 (0:22:09)
画面に何かが表示されるまでに、応答時間が100秒、200秒かかることもあり、これは私たちが慣れているものとは少し異なる。しかし、大きな数学定理を完全に解決したり、25,000語の博士論文を書いたりすることもある。だから、200秒待つ価値はあると思う。 (0:22:36)
ええ。そして繰り返しになるが、その余分な処理時間が、この非常に高いレベルのパフォーマンスを実現していることは明らかだ。もちろん、その裏では多くのことが行われている。そして、あなたは最近のメモで、それが自己認識力を高めていることについても触れている。自己認識の向上は実に興味深い。 これらのモデルをベンチマークしたり、社内で安全性テストを行う際には、人間に似たさまざまなベンチマークを実行している。 (0:23:10)
GPT-4が「心の理論」で100%を達成したのを目にした。これは心理学のテストで、他人の立場に自分を置き換えて考えるというものだ。共感力を試す素晴らしいテストだ。GPT-4は100%正解した。人間は100%も正解できない。80%くらいだと思う。これは本当に驚くべきことだった。新し い上限値を設定できるように、そのテストを書き直さなければならなかった。 (0:23:30)
▼文字起こし 原文 展開
I think what we've got access to right now is obviously mind-blowing right now in 2024, but would have met the definition for an artificial general intelligence, say, back in 2010-ish. So again, this O1 model, it's now performing at the upper threshold of all of these various benchmarks and tests. (0:19:34)
We're no longer smart enough to even create tests that we can challenge it with. That is very interesting in and of itself, as you mentioned, the creator of the MMLU, the math benchmark, saying that it's basically just destroyed and crushed these benchmarks. We've seen a substantial leap in the performance, and you, having admitted recently that you had to reassess your life's work with how quickly we saw something like this come about, you weren't anticipating at least for another year. (0:20:05)
And as we discussed, I mean, O1 OpenAI says that this model is able to think and reason. Tell us a little bit more about that process, the thinking and reasoning behind this model. (0:20:14)
For sure. So, OpenAI, just recently, let's say in the last 12 to 18 months, have become far more secretive with their papers, with their releases, with any sort of communication outside of the company. There is a lot of competition, not just in Silicon Valley, but obviously right the way through China. We have now big labs in France, Germany, they're around the world. (0:20:47)
And OpenAI want to make sure that their competitive advantage stays a trade secret. So, we don't actually have very much information about O1. We have no information on the architecture. We have no information on the model size or the parameters or the tokens. We've got a name and we've got a system card that doesn't tell us very much besides some benchmarking and a lot of safety testing. (0:21:13)
The major differentiator with O1 is its ability to reason. And we know that OpenAI have told us that there's some sort of reinforcement learning layer. Now, they've used some sort of reward model to allow O1 to think through before it responds. Older frontier models, the GPTs and the Claudes will take the question, give an answer, and that's it. (0:21:43)
Whereas O1 will take the question, spin that question around in its mind, probably break that question out if it needs to, go and process each part of that question, return responses for each of those parts, and then provide an answer, probably checking its answer against the question before it provides a response through to the user. That means where GPT and Claude take one or two seconds to respond, O1 is taking a lot longer to respond. (0:22:09)
I've seen response times hit 100, 200 seconds before you see something come up on the screen, which is a little bit different from what we're used to. But I've also seen it completely resolve big math theorems or write 25,000 word PhD theses. So, I think the 200 seconds is probably worth the wait. (0:22:36)
Yeah. And again, that extra processing time that it's taking is obviously allowing it to achieve this extremely high level of performance that we see. There's a lot happening under the hood, of course. And you even talk about in your recent memo that it has increased self-awareness. The increased self-awareness is really interesting. So, when they do benchmark these models, when they do safety test these models internally, they run it through all sorts of benchmarks that are similar to humans. (0:23:10)
We saw GPT-4 hit 100% in the theory of mind, which is a test in psychology where we play around with putting ourselves in other people's shoes. Great test for empathy. GPT-4 hit 100%. Humans don't even hit 100%. I think we're at about 80%. And that was pretty crazy to see. We had to rewrite those tests to be able to have a new ceiling. (0:23:30)
動画(38:00)
Interview about AI - Dr Alan D. Thompson on OpenAI's New o1 Model Is a Really Big Deal (Sep/2024)
動画概要欄
4,200 views Sep 29, 2024
話題のメモ
OpenAI’s o1 Model: A Quantum Leap in AI Intelligence – Insights from Dr Alan D. Thompson | Financial Sense https://www.financialsense.com/blog/21037/openais-o1-model-quantum-leap-ai-intelligence-insights-dr-alan-d-thompson
(2024-09-29)