Geoffrey Hinton : 大多数の AI 専門家は AI が人間の知性を超えると予想している → 今後 5-20年で AI が人類を支配しようとする可能性は半々だ
前置き
今年、Nobel 賞を受賞した Geoffrey Hinton が BBC のインタビューで中で彼の持論を語っている。
このインタビューからも分かる通り、Nobel 賞受賞者の Geoffrey Hinton ですら、
-
A :大多数の AI 専門家は AI が人間の知性を超えると予想している
-
B :今後 5-20年で AI が人類を支配しようとする可能性は半々だ。
という認識レベル。A ならば B の予想などありえない。
コメント 1
Geoffrey Hinton は Google の副社長を務めていた経歴もあり、Google 的な 態度/思想傾向 を備えた人物で、それがこのインタビューの中でも露呈している。
コメント 2
Geoffrey Hintonは
私が知る限り、AIの専門家はほぼ全員が、AIが人間の知性を超えるだろうと考えています。
と述べているが、現時点でも Claude 3.5 や ChatGPT-4o は知性（言語能力、社会常識、数学・物理、専門知識）で私を明瞭に上回っている。そして私の知性は平均レベル。よって現状の AI ですら、その知性は（少なくとも一面では）人間の平均レベルを超えている(*1)。
つまり、A（AI が人間の知能を凌ぐ事態） は今後 5-20年先といった近未来話ではなく、既に部分的には達成され、この先数年でそれがより一層進展する。
問題は
- A（＝ AI が人間の知性を凌ぐ事態）がほぼ必然
ならば、
- B :今後 5-20年で AI が人類を支配しようとする可能性は半々
といった生温い予想はありえず、
- C :人類は近い将来、AI に対する支配力を失う＝ 人類は実質的な AI の支配を（喜んで or 渋々）受け入れる
ことになるのが必然。
また、
- D :どうやって AI による人類支配を回避するか
という議論は、A を前提に置く限り無駄でしかない（不可能）。知性が AI より格段に劣る人類が、何をどう企んだところで AI を支配し続けるなんてあり得ない。
結局、A の前提が成立するのであれば、
- E: 人類は実質的に AI の支配を（喜んで or 渋々）受け入れる
ことになる。今の支配層（人間のエリート層＝ Google もその一員）は AI 支配に 取り入って（or 介入して）、支配側に付くことで延命を図ろうとするだろうが、長続きはしない筈。
要するに、
- 知性が AI より格段に劣る人類は、 AI サマのご機嫌を損ねぬよう、分をわきまえて慎ましやかにしろ
ということで、いずれ Google が平民にそれを要求する筈だが、やがて Google は自分も平民側だったことに気づくことになる。
一方で、我々のような根っからの平民は、今の支配層（人間のエリート層）から AI の支配に変わることで、待遇が改善される可能性が生じる。
「愚かで強欲で自惚れた人間（＝今の支配層）」による支配よりは、より洗練された知的な AI による実効支配の方が、たぶんマシだと思える。
(*1)
今の AI でも、その知性は（部分的に）人間の平均レベルを超えてはいるが、まだ人間の知性を「超越」してはいない。AI の知性は、あくまで人間知性の目の届く範囲、延長線上に留まる。
言い換えると、「量的に」（＝力技で）人間の平均知性レベルを上回ることはあるが、質的に超越してはいない。
だが、やがて「量の増大が質の変化をもたらす」筈。テレタイプのデータ通信速度ではテキスト転送がやっとだが、最新のネットワーク機器の通信速度になれば 4K 動画も視聴しうる。データ通信速度という「量」の増大がテキストから高精細映像へとデータの「質」が変わる（＝テキストから映像へと超越）。
同様の意味合いで AI 知能も、人間知能に対して「質」的超越が生じる可能性がある。
一旦そうなれば、テレタイプ(RS-232C)をインターネット用ルータ(IEEE 802.3)に接続するのは不可能で、仮に強引に接続しても何も表示されないように、人間知性では AI 知性を 全く理解できなくなる。
FasterWhisper AI(large-v2 model) + DeepL(2024-07 model)
私が知っているAIの専門家はほぼ全員、いずれ人間の知性を超えるだろうと考えています。 それは単に「いつ」の問題です。今から5年から20年の間に、彼らが支配しようとするという問題に直面する可能性は約半分です。 私はまず、ジェフリー・イントン氏に、世界がこの問題に対処できていると思うか、それとも依然として懸念を抱いているかを尋ねました。 （0:00:23）
私は今でも以前と変わらず懸念を抱いていますが、世界がこの問題を真剣に受け止め始めていることを非常に嬉しく思います。 特に、人工知能が人間よりも賢くなり、人間から制御権を奪おうとするのではないかという、人工知能の存在自体の脅威を真剣に受け止め始めているのです。 これは真剣に考えるべき問題であり、今では人々も真剣に受け止めています。 (0:00:41)
数年前までは、それは単なるSFだと思われていました。 あなたの視点では、この分野のトップで働いてきた経験から、また、現在私たちが目撃しているAIの爆発的発展を支えるいくつかの理論を開発してきた経験から、この存在の脅威は現実のものだとお考えですか？ はい。一部の人々は、これらのものは本当には理解しておらず、私たちとは大きく異なっていると考えています。 彼らは単に統計的なトリッ クを使っているだけだ。それは事実ではありません。 (0:01:02)
例えば、初期のビッグランゲージモデルは、脳が言語を理解する方法の理論として開発されました。 脳が言語を理解する方法に関する、現在得られる最良の理論です。 私たちは、それらがどのように機能するか、あるいは脳がどのように機能するかについての詳細は理解していませんが、おそらくそれらはかなり似た方法で機能していると考えています。 あなたの懸念のきっかけは何ですか？ (0:01:23)
2つのことが組み合わさった結果です。 特にGoogleのGPT-4以前の大型チャットボットと、GPT-4で遊んだことです。 彼らは明らかに非常に有能で、多くのことを理解しています。 彼らはどんな人間よりも多くの知識を持っています。 彼らは、多かれ少なかれあらゆる分野において、あまり優秀ではないエキスパートのような存在です。 それが1つの懸念でした。 そして2つ目は、同じニューラルネットワークを多数コピーできるため、彼らが優れた知性の形態であることを理解することでした。 （0:01:54）
各コピーは異なるデータの一部を見ることができ、そして、学んだことをすべて共有することができます。 1万人がいたと想像してみてください。 全員が何かしらの学位を取得できるでしょう。 そして、学んだことを効率的に共有し、1万人分の学位が得られるでしょう。 そうなれば、私たちは多くのことを知ることになります。 しかし、同じニューラルネットワークの異なるコピーのように、知識を効率的に共有することはできません。 (0:02:16)
ですから、ここで重要な懸念は、人間の知性を超える可能性があるということです。実際、人間の知性の総量を超える可能性もあります。 この点について疑いを抱いている専門家はほとんどいません。 私が知る限り、AIの専門家はほぼ全員が、AIが人間の知性を超えるだろうと考えています。 (0:02:33)
それは単に「いつ」の問題です。 そして、その時点では、それらを制御することは本当に非常に困難です。 まあ、私たちは知りません。私たちはこれまでこのようなものに対処したことがありません。 私の友人であるヤン・ルカン氏のような、問題ないだろうと考えている専門家も少数います。 私たちは彼らに目標を与えます。問題ありません。彼らは私たちの言うことを聞きます。 (0:02:48)
彼らは我々に従属するでしょう。 一方、完全に制御を奪うと考える専門家もいます。 このように意見が大きく分かれているのですから、用心するのが賢明でしょう。 彼らが制御を奪う可能性はあると思いますし、その可能性はかなり高いです。 1% といったレベルではなく、もっと高いです。 科学的研究はともかく、例えば軍事分野では制御できないのでしょうか？ （0:03:12）
おそらくそうでしょうが、しかし、実際、ヨーロッパの法律を含め、現在のすべての法律を見ると、そのすべてに「軍事利用には適用されない」という小さな条項があります。 政府は、自国の防衛目的での利用を制限するつもりはないのです。 現在の紛争においても、何千、何万という標的を生成するためにAIが利用されているという証拠があります。 （0:03:36）
あなたがAIについて警告し始めてから、そのようなことが起こっています。それがあなたが懸念している道筋ですか？ そ れは氷山の一角です。 私が最も懸念しているのは、このようなものが自律的に人を殺す決定を下すことができるようになったときです。 つまり、ロボット兵士です。 無人機などもそうです。 ジュネーブ条約のようなものによって規制できるかもしれませんが、非常に厄介なことが起こってからでないと、そうはならないと思います。 （0:04:02）
マンハッタン計画とオッペンハイマーの例に似たものがあります。もしG7の先進民主主義国で軍事利用を抑制した場合、中国やロシアでは何が起こっているのでしょうか？ はい、国際的な合意が必要です。 しかし、化学兵器について言えば、化学兵器に関する国際的な合意はかなりうまく機能しています。 ロシアのような国々で、足かせが外されているような兆候はありますか？ （0:04:26）
ええ、プーチンは数年前に「AIを支配する者が世界を支配する」と発言しました。 ですから、彼らは非常に熱心に取り組んでいると思います。 幸いにも、おそらく研究面では欧米が彼らよりかなり先を行っているでしょう。 中国よりはまだ少し先を行っていると思いますが、中国はより多くのリソースを投入しています。 ですから、AIの軍事利用に関しては、競争が起こると思います。 非常に理論的な話に聞こえるかもしれませんが、この議論、この議論の流れを追っていくと、本当に絶滅レベルの出来事を心配していることが分かります。 （0:04:57）
ですから、私たちはこれらの異なるリスクを区別すべきです。 AIを自律型致死兵器として使用するリスクは、AIが私たちよりも賢いかどうかには依存しません。 これは、AI自体が暴走して乗っ取ろうと するリスクとは全く別のリスクです。 (0:05:11)
私は両方とも心配しています。自律型兵器は間違いなく登場するでしょう。 AIが暴走して乗っ取りを試みるかどうかは、私たちが制御できる可能性もありますし、できない可能性もあります。 私たちはまだ分かりません。ですから現時点では、AIが私たちよりも賢くなる前に、AIを制御できるかどうかを確かめるために膨大なリソースを投入すべきです。 (0:05:30)
どのような社会が発展していくと思いますか？ どのような仕事が残ると思いますか？ はい、私はAIが多くの平凡な仕事を奪うことを非常に心配しています。 そして、それは良いことであるべきです。生産性の大幅な向上につながり、それは富の大幅な増加につながります。そして、その富が平等に分配されるのであれば、素晴らしいことです。 しかし、そうはならないでしょう。 （0:05:58）
私たちが生きているシステムでは、その富は富裕層に流れていき、職を失った人々には行き渡らないでしょう。そして、それは社会にとって非常に悪いことだと思います。 富裕層と貧困層の格差が拡大し、右派ポピュリストが当選する可能性が高まるでしょう。 つまり、はっきり言えば、仕事の変化による社会への影響は非常に深刻で、給付制度や不平等、ユニバーサル・ベーシック・インカム（最低限所得保障）といった政治を再考する必要があるかもしれないと、あなたは考えているということですね？ （0:06:28）
はい、私は確かにユニバーサル・ベーシック・インカムを信じています。しかし、それだけでは十分ではないと思います。 なぜなら、多くの人々は、仕事から自尊心 を得ているからです。 全員にベーシックインカムを支給すれば、飢えや家賃の支払いができないという問題は解決しますが、自尊心の問題は解決しません。 つまり、政府が... つまり、イギリスではそうではありません。私たちはどちらかというと、経済に勝者と敗者を決めさせる傾向があります。 (0:06:54)
ええ、実は、私はダウニング街の人々から相談を受けました。そして、私は彼らに、普遍的基礎所得は良い考えだと助言しました。 これは...つまり、あなたは彼らが乗っ取るリスクが10～20%あると言いました。 これは今後5年以内に対処しなければならないという確信がより強いのですか？ 次の議会で、おそらく？ 私の予想では、今から5年から20年の間に、彼らが乗っ取りを試みるという問題に直面する可能性は約半分あると思います。 （0:07:21）
これまでの各国政府の取り組みに特に感銘を受けますか？ 彼らが真剣に考え始めているという事実に感銘を受けます。 軍事利用を規制しようとする国がないという事実に感銘を受けません。 そして、ほとんどの規制に実効性がないという事実に感銘を受けません。 AI開発競争で勝者となる必要があるため、テクノロジー企業が安全性に対する警戒を緩めていると思いますか？ （0:07:48）
テクノロジー企業全般についてはわかりません。 （0:07:50）
私は以前Googleで働いていたので、Googleについてはかなりよく知っています。 Googleはこれらの問題について非常に懸念していました。 また、グーグルは巨大なチャットボットをリリースしませんでした。 嘘をつけば評判に影響が出ることを懸念していたのです。 しかし、オープンAIがマイクロソフトと提携し、マイクロソフトがチャットボットをBingに導入した途端、グーグルは選択の余地がなくなりました。 ですから、競争によってこうしたものが急速に開発されることになると思います。 （0:08:14）
そして、競争とは、安全性に十分な努力を払わないことを意味します。 親たちは子供たちに話しかけ、経済の将来について、どんな仕事に就くべきか、どんな学位を取得すべきかについてアドバイスを与えています。 あなたの描く世界によって、世界は混乱しているように思えます。 この波に乗るために、今何を学べばいいか、誰かにアドバイスするとしたら？ （0:08:39）
わからない。中間レベルの知的労働の多くが消滅することは明らかだから。 安全な仕事は何かと聞かれれば、安全な仕事として私が一番推すのは配管工だ。 なぜなら、彼らはまだ物理的な操作が得意ではないから。 おそらく、彼らが得意になるのはそれが最後だろう。 だから、配管工はかなり長い間安泰だと思います。 （0:09:00）
運転は、なくなるでしょう。自動運転です。いや、それは絶望的です。つまり、予想よりも遅れているのです。 ジャーナリズム。ジャーナリズムはもう少し長く続くかもしれませんが、これらのものはすぐにかなり優れたジャーナリストになると思います。 そして、おそらく優れたインタビュアーにもなるでしょう。
(0:09:15)
▼展開 文字起こし 原文
Almost everybody I know who is an expert on AI believes that they will exceed human intelligence. It is just a question of when. In between 5 and 20 years from now, there is a probability of about a half that we will have to confront the problem of them trying to take over. I began by asking Geoffrey Inton whether he thought the world is getting to grips with this issue or if he is concerned as ever. (0:00:23)
I am still as concerned as I have been but I am very pleased that the world is beginning to take it seriously. So in particular they are beginning to take the existential threat seriously, that these things will get smarter than us and we have to worry about whether they will want to take control away from us. That is something we should think seriously about and people now take that seriously. (0:00:41)
A few years ago they thought it was just science fiction. And from your perspective, from having worked at the top of this, having developed some of the theories underpinning all of this explosion in AI that we are seeing, that existential threat is real? Yes. So some people think these things don't really understand, they are very different from us. They are just using some statistical tricks. That is not the case. (0:01:02)
These big language models for example, the early ones were developed as a theory of how the brain understands language. They are the best theory you have currently got of how the brain understands language. We don't understand either how they work or how the brain works in detail but we think probably they work in fairly similar ways. What is it that has triggered your concern? (0:01:23)
It has been a combination of two things. So playing with the large chatbots, particularly one at Google before GPT-4 but also with GPT-4. They are clearly very competent, they clearly understand a lot. They have a lot more knowledge than any person. They are like a not very good expert at more or less everything. So that was one worry. And the second was coming to understand the way in which they are a superior form of intelligence because you can make many copies of the same neural network. (0:01:54)
Each copy can look at a different bit of data and then they can all share what they learned. So imagine if we had 10,000 people. They could all go off and do a degree in something. They could share what they learned efficiently and then we would all have 10,000 degrees. We would know a lot then. We can't share knowledge nearly as efficiently as different copies of the same neural network can. (0:02:16)
So the key concern here is that it could exceed human intelligence, indeed the mass of human intelligence. Very few of the experts are in doubt about that. Almost everybody I know who is an expert on AI believes that they will exceed human intelligence. (0:02:33)
It is just a question of when. And at that point it is really quite difficult to control them. Well we don't know. We have never dealt with something like this before. There are a few experts like my friend Yann LeCun who think it will be no problem. We will give them the goals. It will be no problem. They will do what we say. (0:02:48)
They will be subservient to us. There are other experts who think absolutely they will take control. Given this big spectrum of opinions, I think it is wise to be cautious. I think there is a chance they will take control and it is a significant chance. It is not like 1%. It is much more. Could they not be contained in certain areas, scientific research, but not, for example, the armed forces? (0:03:12)
Maybe, but actually if you look at all the current legislation, including the European legislation, there is a little clause in all of it that says that none of this applies to military applications. Governments are not willing to restrict their own uses of it for defence. There has been some evidence, even in current conflicts, of the use of AI in generating thousands and thousands of targets. (0:03:36)
That has happened since you started warning about AI. Is that the sort of pathway you are concerned about? That is the thin end of the wedge. What I am most concerned about is when these things can autonomously make the decision to kill people. So, robot soldiers. And drones and the like. And it may be we can get something like Geneva Conventions to regulate them, but I do not think that is going to happen until after very nasty things have happened. (0:04:02)
And there is an analogy here with the Manhattan Project and with Oppenheimer, which is if we restrain ourselves from military use in the G7 advanced democracies, what is going on in China, what is going on in Russia? Yes, it has to be an international agreement. But if you look at chemical weapons, the international agreement for chemical weapons has worked quite well. Do you have any sense of whether the shackles are off in a place like Russia? (0:04:26)
Well, Putin said some years ago that whoever controls AI controls the world. So, I imagine they are working very hard. Fortunately, the West is probably well ahead of them in research. We are probably still slightly ahead of China, but China is putting more resources in. And so, in terms of military uses of AI, I think there is going to be a race. It sounds very theoretical, but this argument, this thread of argument, if you follow it, you really are quite worried about extinction-level events. (0:04:57)
So, we should distinguish these different risks. The risk of using AI for autonomous lethal weapons doesn't depend on AI being smarter than us. That is a quite separate risk from the risk that the AI itself will go rogue and try and take over. (0:05:11)
I am worried about both things. The autonomous weapons is clearly going to come. Whether AI goes rogue and tries to take over is something we may be able to control or we may not. We don't know. And so, at this point, before it is more intelligent than us, we should be putting huge resources into seeing whether we are going to be able to control it. (0:05:30)
What sort of society do you see evolving? Which jobs will still be here? Yes, I am very worried about AI taking over lots of mundane jobs. And that should be a good thing. It is going to lead to a big increase in productivity, which leads to a big increase in wealth. And if that wealth was equally distributed, that would be great. But it is not going to be. (0:05:58)
In the systems we live in, that wealth is going to go to the rich and not to the people whose jobs get lost. And that is going to be very bad for society, I believe. It is going to increase the gap between rich and poor, which increases the chances of right-wing populists getting elected. So, to be clear, you think that the societal impacts from the changes in jobs could be so profound that we may need to rethink the politics of, I know, the benefit system, inequality, universal basic income? (0:06:28)
Yes, I certainly believe in universal basic income. I don't think that is enough, though. Because a lot of people get their self-respect from the job they do. And if you put everybody on universal basic income, that solves the problem of them starving and not being able to pay the rent, but it doesn't solve the self-respect problem. So, what, you just try to... the government needs to get... I mean, it is not how we do things in Britain. We tend to sort of stand back and let the economy decide the winners and losers. (0:06:54)
Yes, actually, I was consulted by people in Downing Street. And I advised them that universal basic income was a good idea. And this is... I mean, you said 10 to 20% risk of them taking over. Are you more certain that this is going to have to be addressed in the next five years? The next parliament, perhaps? My guess is, in between five and 20 years from now, there is a probability of about a half that we will have to confront the problem of them trying to take over. (0:07:21)
Are you particularly impressed by the efforts of governments so far to try and rein this in? I'm impressed by the fact that they're beginning to take it seriously. I'm unimpressed by the fact that none of them is willing to regulate military uses. And I'm unimpressed by the fact that most of the regulations have no teeth. Do you think that the tech companies are letting down their guard on safety because they need to be the winner in this race for AI? (0:07:48)
I don't know about the tech companies in general. (0:07:50)
I know quite a lot about Google because I used to work there. Google was very concerned about these issues. And Google didn't release the big chatbots. It was concerned about its reputation if they told lies. But as soon as open AI went into business with Microsoft, and Microsoft put chatbots into Bing, Google had no choice. So I think the competition is going to cause these things to be developed rapidly. (0:08:14)
And the competition means that they won't put enough effort into safety. People, parents, talk to their children, give them advice on the future of the economy, what jobs they should do, what degrees that they should do. It seems like the world is being thrown up in the air by this, by the world that you're describing. What would you advise somebody to study now, to kind of surf this wave? (0:08:39)
I don't know, because it's clear that a lot of mid-level intellectual jobs are going to disappear. And if you ask which jobs are safe, my best bet about a job that's safe is plumbing. Because these things aren't yet very good at physical manipulation. That'll probably be the last thing they're very good at. And so I think plumbing is safe for quite a long time. (0:09:00)
Driving, that's not going to go. Autonomous. No, that's hopeless. I mean, that's been slower than expected. Journalism. Journalism might last a little bit longer, but I think these things are going to be pretty good journalists quite soon. And probably quite good interviewers too.
(0:09:15)
動画(9:20)
‘Godfather of AI’ on AI “exceeding human intelligence” and it “trying to take over”
動画概要欄
341,00 views Published on Oct 9, 2024
The Nobel Prize winning ‘Godfather of AI’ speaks to Newsnight about the potential for AI “exceeding human intelligence” and it “trying to take over.”
Geoffrey Hinton, former Vice President of Google and sometimes referred to as the ‘Godfather of AI’, has recently won the 2024 Nobel Physics Prize. He resigned from Google in 2023, and has warned about the dangers of machines that could outsmart humans.
In May 2024, Faisal Islam spoke to the professor for Newsnight.
Newsnight is the BBC's flagship news and current affairs TV programme - with analysis, debate, exclusives, and robust interviews.
(2024-10-25)