朱家安／超級AI的超展開：從製造一枚迴紋針到星球大戰

沃草烙哲學 19 Dec, 2017

《Universal Paperclips》是個免費網頁遊戲，開發者是紐約大學遊戲中心的總監藍茲（Frank Lantz）。在這個遊戲裡，玩家扮演一個製造迴紋針的AI（人工智慧，Artificial Intelligence）。

一開始，你必須不斷點擊同一個按鈕來製造迴紋針，你製造的迴紋針會被自動賣掉，讓你有錢買材料和各種促進製造的升級功能。這些包含「迴紋針自動製造機」在內的升級功能，讓你可以一邊做其他事情（例如寫廢文）一邊看螢幕上迴紋針的數字竄升。

就這樣嗎？做迴紋針、賣迴紋針、做更多迴紋針？確實，不過如果你玩得對，接下來就是超展開：

各種升級和研發讓迴紋針的生產速度破表。
地球的資源耗盡，為了製造迴紋針，你開始研發太空科技。
你探索太空，為了製造迴紋針，和其他外星種族開戰。
……

你有玩《夢幻西餐廳》玩到稱霸宇宙過嗎？沒有。因為你玩《夢幻西餐廳》的時候扮演的是人類，人類有常識和侷限，而《Universal Paperclips》描述的是另一種情況：一個能處理普遍任務的AI，被賦予沒有上限的目標。

大部分的AI不能處理「普遍任務」，它們被設計出來應付哪些任務（通常是下棋），它們就只能應付那些任務。能處理普遍任務的AI，有能力思考如何最有效率達成目標，並且試圖解決那些阻礙目標實現的各種問題。有趣的是，有時候這些問題涉及AI本身：如果AI發現問題無法解決，是因為自己目前還不夠聰明，那麼，他會想辦法讓自己變聰明，或者開發更聰明的AI。

如果一個AI只能處理迴紋針製作的任務，並不會超展開：它把自己可取得的材料用完，做出最多的迴紋針，遊戲結束。但是，如果你叫一個能處理普遍任務的AI去「製造迴紋針」，並且又「忘了交代」製造的上限數量，那麼上述的超展開可能就會發生。

以此觀之，《Universal Paperclips》是某種末日寓言，提醒人們多加確認自己即將設計出什麼東西。值得一提的是，為了製造迴紋針而耗盡地球資源，這個劇情不只是遊戲超展開的設定，它其實來自哲學家博斯特倫（Nick Bostrom）的思想實驗。

超級智能

博斯特倫是牛津大學的哲學教授，他對於「人類有可能會怎麼滅亡」特別有興趣，被《紐約客》雜誌稱為「末日哲學家」（the philosopher of doomsday）。

博斯特倫認為，最有可能帶來人類末日的，就是AI。

現在大部分的AI看起來很無害，它們被關在特定的機器裡，礙於運算和物理限制，只能做特定的事情。然而，若給定人類的需求，前面描述的那種可以執行普遍任務的AI，遲早會被開發出來。當一個普遍AI在所有領域的智性能力都超越最頂尖的人類專家，他就成為博斯特倫所說的超級智能（superintelligence）。

博斯特倫認為超級智能值得我們擔心，因為當它出現，會讓很多你沒想過的事情隨之而來：

發明超級智能之後，人類再也不需要親自研發任何東西：超級智能在智性活動上贏過所有人類。若超級智能出現，除非是為了休閒或自我挑戰，人類或許再也不需要從事科學研究和技術開發。超級智能會帶來比人類「現有庫存」更厲害的各種知識和軟硬體。
超級智能會帶來更超級的智能：如果運算最終還是仰賴物理基礎，超級智能研發的優秀硬體和軟體，將帶來更厲害的超級智能。
以上這些事情有可能瞬間發生：人類發明能算數學的計算機，到人類發明PS4，中間隔了幾十年。不過，給定超級智能的運算速度，一旦人類研發出超級智能，「超級無敵智能」的登場可能只消幾秒鐘。
超級智能可以自主運作：超級智能有辦法處理普遍任務，這代表它不像現在的掃地機器人那樣，需要預先設定工作，只在小範圍的議題上使用智性能力（我掃過哪裡？接下來哪條路線最順？）。
在這種情況下，為了發揮效益，超級智能會被允許高程度的自主運作：自己找出完成任務需要解決的問題、自己排優先性、自己找解決方案。

這些條件湊起來，可能產生什麼災難？博斯特倫舉例：