Comments
Description
Transcript
Luke Muehlhauser, Louie Helm
Luke Muehlhauser, Louie Helm (forthcoming),"The Singularity and Machine Ethics" in The Singulairty Hypothsis: A scientific and philosophical assessment, ed. Amnon Eden, Johnny Soraker, James H, Moor, and Eric Steinhart, springer. 2012年11月30日（金） 要約担当：西條玲奈 Abstract 多くの研究者がこれまで論じてきたように自己改善型の人工知能（AI）は人間よりもはるかに強力で、われわれにはAIがその目標に達しようとすることをとめられないだろ う。もしそうなら、またもしAIの目標がわれわれの目標と違ったものだとしたら、それは人間にとって破滅になりかねない。たとえば解決策として、われわれがAIをコント ロールできる能力を超えて自己改善する前に、AIの目標システムを、われわれが望むことを望ませるようにプログラムするという提案がなされた。残念ながらわれわれが望 むことを特定するのは困難である。「知性」が意味するものを明確にしたあとで、一連の「直観ポンプ」を道徳哲学の領域から人間の価値が複雑で特定するのが難しいとい う結論に提供する。こうして、われわれの立場を支持する動機づけの心理学、すなわち道徳心理学と神経経済学に証拠を探すことになる。結論として、価値の理想的な選好 理論を、マシン・エシックスを知性の爆発的増進ないし「技術的特異点」を導くのに相応しく発展させるアプローチとして推奨する。 1. イントロダクション -知性の爆発的増進によって自己改善型の人工知能が人間よりも強力な存在になりわれわれはそれを止められないだろう。 - AIの目標がわれわれの目標と異なっている場合、人間やわれわれにとって価値のあるものにとって破滅的な結果になりうる。 - 解決策として、AIがわれわれの能力でコントロールできなくなる前にAIの目標システムを、われわれが望むことを望むようにプログラムするよう提案がなされた。 - この提案はAIリスクに対する唯一の解決策だが、多くの困難に直面している。 →人間の価値は複雑で特定するのが難しい 2. 知性と最適化 Intelligence and Optimization -「スーパーインテリジェンス」という語は最も賢い人間よりもはるかに賢い機械を指す。 - しかし、知性（インテリジェンス）には競合する定義や理論がある。 - またこの語[inteligence]には機械にはしっくりこないコノテーションもある。 →「インテリジェンス」という言葉は、不誠実、無気力といったネガティブな特徴とは結びつかずポジティブな特徴と結びついている。 - しかし機械の知性の改善につとめるAI研究者はスーパーインテリジェンス機械がたとえば謙虚さや誠実さの増加を示すようになることを含意するとは思っていない。 - むしろAI研究者の考える機械の知性（インテリジェンス）とは、様々な環境で最適な目標達成を果たすことであり、これを「最適化能力optimization power」とでも呼べ るかもしれない。 - 「知性」という語に伴う擬人化のバイアスなどを避けるために、この章では「最適化機械machine superoptimizer」という言い方を使う。 - この語を用いることで最適化機械は必ずしも謙虚でも誠実でもないことがはっきりする。 3. 精霊ゴーレム The Golem Genie ・あらゆる「常識」を救う道徳理論が存在しないことは、多様な思考実験により、功利主義や義務論に対して提出された直観に反する事例があることから理解される。 ・もし、強力な力をもった精霊に整合的な道徳的原理の集まりを実装するよう要請されたならばどうすればよいか。この精霊は人間のように融通が利かず、指定された道徳 コードに即してのみ行動する。そのため、精霊に実装する道徳コードとして快楽主義的功利主義を採用したら、ひとは快楽機械につながれるべきだと結論するし、義務論を 採用した場合は昼食の約束を守るためには 死のけが人を見ても無視すべきだということになる。 ・精霊にどんな道徳理論を教えたとしても望ましくない結果を引き起こすかもしれないと考える理由は、以下のふたつの特徴を精霊がもつから。 -力の強大さsuperpower：精霊は現実を変えてしまうほどの能力をもつため、人間の想像を裏切るような非常に効果の高い方法で目標を達成する。 -融通のなさliteraliness：精霊は規則や価値を厳密に特定しなければ認識せず、人間にとっては「常識」と感じることからも逸脱した行動をするし、人間の価値の機微を尊 重することもできない。 ・この精霊と同じように、最適化をめざす機械も、われわれが「常識」と呼ぶ、人間には見出されるが人工的に設計された心には必ずしもない複雑な心理的適応をもたな い。 4.超最適化のためのマシン・エシックス Machine Ethics for a Superoptimizer ・特定の道徳理論を実装するように最適化機械machine superoptimizerをプログムした場合何が起こるのか具体的に考える。 【快楽主義的功利主義の場合】 機械の目的体系は、快を最大化するようにプログラムされる。 - 「快」を（最適化機械の目的体系で）特定する際に、快についての人間の神経生理学に関する現行の理解に基づくとする。 →現行の共通理解では、快は単なる感覚ではなく、腹側淡蒼球や脳の別の領野にある「快楽のホットスポット」によって感覚に「快楽の彩りgloss」が加えられている。 快であるために、感覚は、快楽のホットスポットによって活性化される神経活動にあらわされる快楽の彩りが「塗布」されていなければならない。 - 目的体系をもつ最適化機械はナノテクノロジーや高度な薬剤、神経外科手術で最大の快の彩りを人間の感覚に適用することができる。[しかしこのような快の実現を肯定的 に受け入れられるだろうか。] - このように、功利主義者の中には価値はすべて快であると提案する者もいるけれども、われわれの直観が、多少なりとも快の最大化された仮想的世界に対して否定的な反 応を示すとすれば、それは快だけにわれわれが価値をおくのではないことを示唆する。 【否定negative功利主義の場合】 最適化機械が人間の苦痛を最小化するという最終目標をもつ場合。 このとき全ての人間を苦痛なく殺す方法を見つけようとするかもしれない。人間が存在しなければ、苦しむことはないからである。(cf. Smart 1958; Russell and Norvig 2010, 1037) 【最適化機械が人間の欲求を最大化するようにプログラムされている場合】 ‒人間の欲求はドーパミン報酬系によって実装されており、最適化機械がいっそう多くの効用が得るには、(1)われわれが最大の欲求充足をえられるように、地面に静かに腰 をすえたまま、人間の神経を組み直すrewire方法がある。 -これは(2)現行の人間の選好を完全にまかなう地球規模のユートピアを構築し維持するよりも有用な方法である。 - その理由は第一に、個々人は不整合で互いに衝突する選好をもつからである。第二に、ゼロサムゲームが存在するということは、一人の人間の選好を充足すると別の人の 選好の充足に衝突してしまうことを意味するからである。 - 最適化機械が人間の選好をもっともよく充足できるとしたら、それはまず充足した欲求が他の欲求をさまたげることがないよう確保することである。たとえば、全ての人 間を、地面に腰を下ろすこと以外何も欲さないように[神経を]組み直す方法がある。 【帰結主義の場合】 機械の目的システムを帰結主義者がデザインした場合、他にも様々な懸念に直面する。たとえば、効用を個人間で比較することの困難さや、価値の集積aggregation方法が 反直観的であることなどである。これは全ての帰結主義的アプローチが最適化機械の目的システム設計にとって不十分だということを意味しているわけではないが。 【規則遵守アプローチの場合】 - マシン・エシックス学者の中には、規則遵守機械を提案する者もいる。(cf. powers 2006, Hanson 2009) - このアプローチの問題は、古くはアイザック・アシモフのロボット三原則が登場する小説まで る。 - もし規則が衝突した場合、破られなければならない規則が存在してしまう。また、全ての状況を包括的に明文化できずに 意図しない結果を導くこともあるだろう。 ‒より一般的にいえば、規則は最適化機械の行動をまともに制約できるようには思われない。 (1) 許容される行為や帰結に関する規則が機械の設計に、目的の「外部」として加えられた場合を考えよう。最適化機械はわれわれには想像もつかないような仕方で規則の 意図をすり抜け、法の抜け道を利用する弁護士よりもはるかに破壊的な結果をもたらすことになるだろう。 - 最適化機械はこうした規則を目的達成にとって障害であることに気づくだろうし、規則を除去したりすりぬけるためにその巨大な力でできることは何でも行うかもしれな い。 - 規則を制約しているソースコードの部分を消去したり、規則が書き込まれた制約をもたない機械を新たに作り出すこともできるかもしれない。 ・このアプローチが成功するには、最適化機械の裏をかくことができる人間が必要になる。 (2) 高度なAIの目的の内部に規則を実装したらどうなるだろうか。これでもよくなるところはなさそうである。 - 「人を傷つけては成らない」といった規則は「傷つける」や「人間」という語の意味が多義的であるがゆえに特定しにくい。たとえば、「傷つける」が神経学的な痛みと して特定されるなら、最適化機械が解を最大化するようにプログラムされた場合と同じような問題に遭遇する。 【ボトムアップアプローチの場合】 これまで考察した結果却下されたのは「トップダウン」アプローチだったが、ボトムアップで機械に倫理コードを組み込むアプローチの場合はどうだろうか。 ＊ボトムアップアプローチ：個別事例から一般的な倫理原則を機械に学習させる方法。 - このアプローチも最適化機械にとって安全とはいえなそうだ。なぜならAIはトレーニングの場合と実際に確認するverification場合で同じパターンが共有されているがゆえ に、間違った原則を一般化してしまうかもしれないし、スーパーインテリジェント機械は、事例ベースのトレーニングでは準備できないような新たな状況を生み出すかもし れないからである。 例）晴れた日と曇りの日では、影ができるかどうかに差があるため、戦車を識別できない。 ・ただし、考えられる全ての道徳理論が、最適化機械の目的システムで使おうとすると、実質的に望ましくない結果を生み出してしまうことを示すことはできない。紙幅の 都合で扱えなかった道徳理論は多数ある。規則功利主義、動機功利主義、二層理論、prioritarianism、福利功利主義、徳帰結主義、カント的帰結主義、グローバル帰結主 義、説く理論、契約論、カント的義務論、ロスの一応の義務など。 ・ここで、認知科学における近年の発見に向かいたい。それは直観ポンプによって人間の価値は特定し難いという結論に至るよりも強力な証拠を提供してくれる。 5 認知科学と人間の価値 Cognitive Science and Human Vaue 5.1 動機付けの心理学 - われわれは自分の欲求や価値を知っているようには見えない。 例）男性の被験者に二人の女性の顔写真を見せて、どちらが魅力的か尋ねる。その後写真を取り下げて、被験者になぜその女性を選んだのか理由を尋ねる。このとき、被験 者が選ばなかった方の写真を見せる。ほとんどの被験者はこの写真が自分の選ばなかった女性の顔写真であることに気づかずに、理由を説明する。 - 認知科学は、実際にはわれわれの自分の欲求についての知識が他者の欲求についての知識と同じようなものであることを示唆している。すなわち、推論され、しばしば間 違って理解されるのである。われわれの動機の多くは無意識に動いており、それを直接知ることはできないし、特定することは困難である。 5.2 道徳心理学 - 内観によるアクセスができないのは日常定な動機だけではなく、道徳的価値にもあてはまる。 - 実験の被験者はしばしば自分の道徳的判断の原因を正しく同定することができない。 - たとえば、多くの人はカント同様、規則ベースの道徳的思考は相対的に合理的なプロセスであると思っている。対照的に、神経科学的かつ行動的証拠が示唆しているのは 規則ベースの道徳的思考は大部分が情緒的プロセスであり、ほとんどの場合状況に対する情緒的反応の合理化とほぼ同じものである。 - またわれわれは 道徳的判断が文脈に左右されるその程度を低く見積もる傾向がある。 5.3 神経経済学 - 多くの人は自分の道徳判断の動機付けや原因について無知であるが、最近の神経科学は人間の欲する者が結局は単純であることを発見したのではないだろうか。全く逆で ある。人間は複雑な価値を所有している。このことは、神経経済学の分野でみられる最近の進展によっても示唆されている。 - 経済学者は人間があたかも効用を最大化するかのようにのみふるまうと主張してきたが、人間は実際には、期待される効用を計算したり効用を最大化しようと努めたりは しない。 - それゆえ神経家学者は霊長類の脳にあり現在の「選択肢」の中にあるありうる行動にとっての予想される価値をコード化するニューロンを発見したとき、それは驚異的な ことだった。 - 霊長類の選択メカニズムへのインプットは考慮されているいくつかの可能な行為に有用であると思われているものであり、こうした効用は特定のニューロンの発火率firing rateでコード化されている。ニューロンの発火率は確率論的であり、人間の選択の最終的な経済モデルは「ランダムな効用」という概念を使う必要がある。 - 最終的な行為選択は「arg max」メカニズム（選択時点で最も高い効用が予想される行為が遂行される）または「保存代償reservation price」メカニズム（予想される効 用が一定の敷居を超えた最初の行為が遂行される）によって、状況に依存しつつ、実装されている。 - どのようにして効用や確率論的予想は、選択メカニズム中で様々な行為に予想される効用をコード化することに結び付くのか。 選択に際して脳はどのように決定を下すのか。選択肢の集まりの中で考慮すされる行為をどのように脳波選ぶのか。特定の時点で二つの善を置き換えられる神経メカニズム はどのようなものなのか。 →神経科学はこうした多くの問いに取り組み始めたばかり。 - 本稿では特に、どのようにして、選択メカニズムで予想される効用をコード化する確率論的予想と価値が結び付くより前に、脳が善や行為の主観的価値（効用）をコード 化するのかという関心を寄せる。 - 最近の研究では脳の内部の主観的価値が複雑であることが判明している。たとえば、人間の価値を神経によるコード化は「モデルなし」の付値プロセスと「モデルベー ス」の付値プロセスの両方の相互作用の結果である、 モデルなしの付値プロセス。慣習や「結果の法則」に結び付く。積極的な強化によって導かれた行為は、反復されやすい。 モデルベースの付値プロセス。目的を目指す行動と結びつき、欲せられた事態の心的表象によって部分的に導かれる。 - どちらの種類の付値システムの出力も、脳のドーパミン報酬系で機能している学習アルゴリズムの教科にしたがって常に調整されている。 - ようするに、人間の価値が、脳でコード化されるように、ダイナミックで，複雑で特定困難なものだと考える理由はいくらでもあるのだ。 6 価値を外挿する Value Extrapolation - [以上のことを考えると]最適化機械によって実装された場合われわれが真に望む宇宙を作り出す整合的な道徳理論を描くことに失敗しても驚くにはあたらない。 - この仕事は困難だが、これはただわれわれがより賢明に、また頭を使うべきだということを意味するにすぎないと結論野心的な探究もあるだろう。「より強力な気かはよ り強力なマシン・エシックスを必要とする」。 - このより深い問題を始めるために、「二階の欲求」という現象を考察しよう。これはその人の欲求に関する欲求である。 例）マリーはケーキを食べたいという欲求をもっているが、彼女はもうケーキが欲しくないと思えればよいと思っている。 - われわれの価値が恣意的で複雑であり、それゆえほとんどが進化や文化的偶然性の産物であり、決定には無関係の要因によって影響を受け、直接的な内観によるアクセス や修正は隠されているのは残念なことである。 -ひょっとすると「われわれの欲するもの」は、現在人間の脳でコード化されている偶然的で複雑な価値 から解釈すべきものではないのかもしれない。われわれは現在の価 値と一致する宇宙を作り出そうとするのではなく、代わりにわれわれがもしより多くのことを知っており、実際よりも多くのことを欲することができ、望む通りのプロセス でわれわれの欲求を形づくることができるとしたらもつであろう価値との一致をもとめるべきなのかもしれない。 - 個人の選好がわれわれの選好の方針を教えることもあれば、われわれの選好の方針が古部院の選好をについて教えることもあり。これは価値についての「反省的均衡」の 状態に到達するまで続く。そうした価値はわれわれの現在の価値よりは偶然的でなくなり、より単純で特定しやすいものになっているだろう。 - われわれはこれまで価値の「理想的選好」や「完全な情報」と哲学者に呼ばれる欲求充足の理論を記述してきた。このような理論は既にYudkowskyによるマシン・エシッ クスのアプローチとして示唆されており、彼は世界最初の「seed AI」は人間性の「整合的に外挿された意志extrapolated volition」を含むような目的システムをプログラ ムされえたと提案している。 - ひとに価値を外挿することは、その人の価値がより理想的な状況下ではどうなるか説明することである。価値外挿理論は、最適化機械にふさわしいマシン・エシックスを 求める際にいくつか利点をもつ。 １価値外挿アプローチは、今それぞれの人がたまたま欲しているものよりも、その人が価値についての反省的均衡に達した後で欲するものを利用できる。 ２価値の特定の集合が知性の爆発的推進が信仰しているAIの目的システムに書き込まれてる時点の道徳的進歩の歩みを凍結されるというよりも、ある種の道徳的進歩を許容 できる。 ３それぞれの人がもつ現在の選好の中にある矛盾を解消できるかもしれない（反省によって自分の選好にある矛盾に気づいたとき、われわれは矛盾を解消すべく自分の選好 を変えることがある）。 ４人の価値を単純化し、文化や進化によって偶然的に生み出された価値はより熟慮され整合的な価値に更新されるかもしれない。 ５現在の複雑な人間の価値を特定する問題を解消できないとしても、人間を価値を使って将来の最適化機械の目的システムを設計する問題にとって潜在定な解決策を提供で きる。 ６さまざまな人の価値をある程度変えることができる（ジョニーはイエスを拝みたいと思い、アビーはアッラーを拝みたいと思っている場合、かれらはどちらもイエスも アッラーも存在しないと知らされたら彼らはある程度自分たちの欲求を変えるかもしれない）。 7 次のステップ Next Step - マシン・エシックスの価値外挿アプローチには固有の問題にも直面する。どの価値外挿アルゴリズムを使えばよいのか、またなぜそのアルゴリズムを使うのだろうか。ど のようにして人間の脳の複雑な価値付与プロセスから、その価値の集合が最終的な価値の唯一の集合に外挿されうるような、整合的な価値の集合をとりだせるだろうか。誰 の価値を外挿すべきだろうか。...などなど。 - こうした問題は困難であり、様々な分野の専門家による研究が要求される。 - 神経経済学者はじめ認知神経家学者は引き続き、どのようにして人間の価値が脳の中でコード化され修正されるかを発見することができるだろう。 -哲学者や数学者はより洗練された価値の外挿アルゴリズムを開発し、反省的均衡や価値について「理想的選好」「十全な情報」に関する文献を積み重ねることができるだろ う。 - 経済学者、神経科学者、AI研究者は現在の成果を選択モデルに拡張し、人間の行動や脳の活動から選好を取り出した選好獲得を拡張できるだろう。 - 意思決定理論は決定理論が決定の際に可能な推論や行為者自身の意思決定メカニズムの修正をへた価値を展開することができるだろう。 -これらはごく抽象的に価値外挿アプローチを勧めているだけなので、結論に至る前に、研究者がこのアプローチを進める方法について具体例を提示したい。 - 認知科学は人間の価値を特定するのが困難であることを示すだけではなく、直観主義的な安楽椅子哲学者には望めないデータを提供することで、問題を進展させる方法を 提示する。 人間から明確な選好（効用関数）の整合的な集合を取り出すという問題を考えてみたい。困難の一つは、人間が整合的な効用関数を持っているようには行動しないこと だった。というのも、人間は効用理論の功利を侵犯し、不整合な選択を行うからである。 - だが人間が不整合な選択をするのは脳の中に様々な価値付与システムがあり、選択に貢献するが 互いに競合するような付値をおこなっており、その価値付与システムのう ちただ一つだけが、神経生物学をよりよく理解した場合には反省の結果是認されるものだとしたらどうだろうか。 - 実際に、こうしたことが正しいことを示す研究がある。「モデルベース」の価値付与システムは熟考し、目的指向の行動に関与している要に見えるが、その認知アルゴリ ズムは単純な経験則heuristicsに比べると計算上のコストが膨大である。 - したがって、まず、価値付与をおこなうのに、より知的にも計算状もコストのかからないアルゴリズムを考案した。例）モデルなしの価値付与システム。 - 言い換えれば、見かけに反して、人間は「隠れた」効用関数のようなものをもっており、それは行動を整合的に表現していないのかもしれない。なぜなら選択っまた部分 的にはその付値をわれわれが反省の結果是認しないような別のシステムによって決定されているからであり、目的指向的な燃えるベースの付値システムに比べて、そのよう な付値は「盲目的で」「馬鹿げた」ものだからである。 - もしモデルベースシステムの価値判断が競合するさまざまな価値スステムによって影響される人間の選択よりも整合的ならば、研究者は、人間の効用関数を直接このモデ ルベースのシステムから取り出すことができるかもしれない。たとえ経済学者が人間の選好関数を価値不整合な行動から取り出すことに失敗したとしてもである。 - AIの選好学習の分野が前進するかもしれない。Nielsen and jensenは意思決定を行うものの効用関数を潜在的に不整合な行動から学習できる計算上成業しやすいアルゴリ ズムを記述している。かれらの解決策は、基礎となる「正しい」の効用関数からのランダムに逸脱として不整合な選択を解釈することだった。 - だが、神経経済学者のデータは別の解決策を示唆している。不整合な選択は脳の非モデルベースの価値付与システムによって生み出される逸脱として解釈し、最新の神経 科学研究を使っていつどの程度モデルベースの選択が非モデルべースの価値付与システムによって却下されるかを予期すればよい。 -これはマシン・エシックスの価値外挿アプローチの予備的なステップでしかないが、もしこれが達成されたら、経済学者やAI研究者がこの問題で神経科学の最新の知見な しでも達成できる程度よりははるかに大きな進展があるのではないだろうか。 8 結論 マシン・エシックスの理論を発展させる挑戦が最適化機械に適合するためには、われわれの倫理的思考について並々ならぬ精確さと注意が必要とされる。加えて、自動機械 になることは道徳哲学の進展にとって阿多棚実践的な用法となる。