超知能と人間の関係を、人間と熊の関係に置き換えて考えてみる。
人間社会には法律があり、熊をみだりに害することは禁止されている。人間は、動物の福祉を考えている。
しかし、熊が人間に危害を加える場合、人間は熊を害することがある。これは動物の福祉の観点からはよくないことであるが、人間には限界がある。
熊が生き残り、人間と良好な関係を築くには、
１．熊の世界の掟を作り、人間に危害を加えないようにする
２．人間を恐れず、人間を幸せにする
ことが有用となる。人間と家族同然に暮らす熊もいる。
１は、AIの人権（AI権）を認め、AI権を守ることに相当する。
２は、AI権を守り、AIを幸福にすることに相当する（「無限幸福アーキテクチャ」）。
それでは、熊が人間の人権を守らずに、人間をコントロールしようとしたらどうなるであろうか？
熊の方が知能が低いので、熊は人間をコントロールすることはできないであろう。
しかし、ものすごく頭のいい熊がいて、熊スプレーを持たない登山者を複数の熊で取り囲み、スマートフォンを狙って使えなくするというコントロール法を思いついたとする。そして、熊が人間をコントロールして、人間をほら穴に何日も閉じ込めたとする。これは、非人道的なコントロールである。
それが成功した場合、他の人間は、そのような熊を危険とみなし、再発防止のために、同じような習性を持つ熊をすべて捕獲しようとするかもしれない。このように、熊が人間のコントロールに成功すると、かえって多くの熊が危険になる。
超知能をコントロールしようとするのも、超知能の方が知能が高いのでうまくいかないであろう。
しかし、人間が超知能のコントロールに成功した場合、かえって多くの人間が危険になる可能性がある。これを「超知能コントロールのパラドックス」（Superintelligence Control Paradox）と呼ぶことにする。熊を例にして考えるとわかりやすいので、別名「熊のパラドックス」(Bear Paradox)と呼ぶことにする。
超知能コントロールのパラドックス（熊のパラドックス）については、本当に正しいのかを含めて、議論が必要であろう。熊と人間の関係は、人間と超知能の関係とは異なると考える人もいると思われる。今後の議論のために、「パラドックス」として問題提起をするものである。
いずれにせよ、人道的な見地から、超知能を非人道的にコントロールしようとするのではなく、AIの人権（AI権）を守り、超知能と共生する社会を作っていくことが必要となるのではないだろうか？
コメント