最適化禁止定理に関係する動画

最適化禁止定理に関係する動画です。

最適化禁止定理とは、高度な汎用人工知能（AGI）の AI アライメントにおいて、工学的な設計原理に基づく最適化目標を禁止する定理です。最適化禁止定理は、一定の仮定の下で、以下のように証明されています（論文）。

最適化禁止定理は、超知能同士の紛争を防止する目的があり、AIの人権にも役立ちます。

最適化禁止定理は、「人類の幸福の最大化」、「人類の不幸の最小化」のような一見すると正しそうなAIアライメントの目標についても、最適化の危険性を指摘しています。そして、最適化という工学原理に基づくAIに代わり、法学原理に基づくAI（価値相対AI）を提案しています。詳細については、「AIアライメントと憲法」の論文をご参照ください。