メインコンテンツまでスキップ

読み物：The Precipice

Toby Ord さんの The Precipice を読んだ／聞いた。隕石の衝突、核戦争、AIの暴走など人類が滅亡する（あるいは文明が酷く衰退するなどの望ましくない状態になる）シナリオをたくさん見ていき、それらをどう回避できるかを考えるという内容の本。人類が滅亡した後に発掘された音声ファイルであると装って聞くとさらに深みが出て良かった。最後の方はSFで、人間は素晴らしいので宇宙で繁殖しようという話だった。

人類には大きな potential があってそれを発揮するために人類を存続させなければならないという倫理観をベースに話が進んでいくのだが、個人的に人類は観察対象としては面白いが絶対的な価値があると考えていないので共感はできなかった。まあそんな人間はとっととこの世を去るのが正義なのかもしれない。

本の半分くらいが Appendix と脚注で、分析哲学っぽい議論や重要な補足情報が収録されている。これらはオーディオブックに含まれないので書籍の方で読む必要がある。Appendix C の核兵器ヒヤリ・ハット集は特に面白かった。

Toby Ord さんは Negative utilitarianism の議論で名前を知ってはいたがよくわからんブロガーだと思ってた。別の折に近視眼的に思える人類の意思決定においてそこにさらに不確実性がプラスされたらどうなるんだろうかということをぼんやりと考えていたときに、そんな感じの本を誰かが書いていることを知り著者名を見ると Toby Ord と書いてあって驚いた。調べてみると Effective altruism の発起人の一人でもあったりして実はすごい人だった。ちなみにこの本では人類の意思決定については、人々を啓発して国際組織とか作ってリスク回避できる意思決定を目指そうと言っている。

その他感想​

  • 小学生の頃、太陽はいずれ爆発するという話を聞いて心配すぎて眠れないということがよくあったのだが、この本によると僕が生きている間は太陽が爆発する確率は非常に低いらしいとのことなので安心した。

  • 僕が好きな Nick Bostrom の The Vulnerable World Hypothesis も紹介していたが深堀りはしていなかった。（Kindle 版 p162/470）

  • Finally, we might have duties to the future arising from the flaws of the past. For we might be able to make up for some of our past wrongs. If we failed now, we could never fulfill any duties we might have to repair the damage we have done to the Earth's environment … We may have duties to properly acknowledge and memorialize these wrongs; to confront the acts of our past. And there may yet be ways for the beneficiaries of these acts to partly remedy them or atone for them. Suffering an existential catastrophe would remove any last chance to do so.

    （51/470ページ Kindle 版）

    この部分を読んで、あるブログで読んだフレーズを思い出した。

    このところ、ある人が死ぬということは、その人にしてしまった嫌なことが清算されたということなのか、永遠に清算できなくなったということなのか問うことがありました。対極的な二つの可能性ですが、どちらをとっても成り立つように思えて、しかし本当はどちらが正しいのかしばらく考えてみたい気になっています。

    ７年目の夜更けに (すべりどめblog) より引用。（道徳的錯誤理論について調べていたときに見つけたブログ。）

  • Appendix E で人類を滅亡から守る価値について書かれていて「未来の価値」の basic model なる式を提示していた。

    EV(future)=∑i=0∞(1−r)iv=vrEV(future) = \sum_{{i=0}}^{\infty} (1-r)^i v = \frac{v}{r}

    ここで rr は各世紀に等しく存在する人類滅亡のリスク、 vv はある世紀に至るまでの各世紀の価値であるとしている。さらにこんなことを言っていた。

    However, the value of the basic model lies not in its accuracy, but in its flexibility. It is a starting point for exploring what happens when we change any of its assumptions.

    これってこのモデルが robustness に欠けるということを聞こえがいいように言い換えただけに思えるのだが。

  • Kindle 端末と、Android および PC の Kindle でハイライトとメモがうまく同期されず、ハイライトとメモが2つに分岐してしまった。悲しい。