親愛的網友:
為確保您享有最佳的瀏覽體驗,建議您提升您的 IE 瀏覽器至最新版本,感謝您的配合。

朱家安/超級AI的超展開:從製造一枚迴紋針到星球大戰

Universal Paperclips》是個免費網頁遊戲,開發者是紐約大學遊戲中心的總監藍茲(Frank Lantz)。在這個遊戲裡,玩家扮演一個製造迴紋針的AI(人工智慧,Artificial Intelligence)。

一開始,你必須不斷點擊同一個按鈕來製造迴紋針,你製造的迴紋針會被自動賣掉,讓你有錢買材料和各種促進製造的升級功能。這些包含「迴紋針自動製造機」在內的升級功能,讓你可以一邊做其他事情(例如寫廢文)一邊看螢幕上迴紋針的數字竄升。

就這樣嗎?做迴紋針、賣迴紋針、做更多迴紋針?確實,不過如果你玩得對,接下來就是超展開:

  1. 各種升級和研發讓迴紋針的生產速度破表。
  2. 地球的資源耗盡,為了製造迴紋針,你開始研發太空科技。
  3. 你探索太空,為了製造迴紋針,和其他外星種族開戰。
  4. ……

你有玩《夢幻西餐廳》玩到稱霸宇宙過嗎?沒有。因為你玩《夢幻西餐廳》的時候扮演的是人類,人類有常識和侷限,而《Universal Paperclips》描述的是另一種情況:一個能處理普遍任務的AI,被賦予沒有上限的目標。

大部分的AI不能處理「普遍任務」,它們被設計出來應付哪些任務(通常是下棋),它們就只能應付那些任務。能處理普遍任務的AI,有能力思考如何最有效率達成目標,並且試圖解決那些阻礙目標實現的各種問題。有趣的是,有時候這些問題涉及AI本身:如果AI發現問題無法解決,是因為自己目前還不夠聰明,那麼,他會想辦法讓自己變聰明,或者開發更聰明的AI。

如果一個AI只能處理迴紋針製作的任務,並不會超展開:它把自己可取得的材料用完,做出最多的迴紋針,遊戲結束。但是,如果你叫一個能處理普遍任務的AI去「製造迴紋針」,並且又「忘了交代」製造的上限數量,那麼上述的超展開可能就會發生。

以此觀之,《Universal Paperclips》是某種末日寓言,提醒人們多加確認自己即將設計出什麼東西。值得一提的是,為了製造迴紋針而耗盡地球資源,這個劇情不只是遊戲超展開的設定,它其實來自哲學家博斯特倫(Nick Bostrom)的思想實驗。

超級智能

博斯特倫是牛津大學的哲學教授,他對於「人類有可能會怎麼滅亡」特別有興趣,被《紐約客》雜誌稱為「末日哲學家」(the philosopher of doomsday)。

博斯特倫認為,最有可能帶來人類末日的,就是AI。

現在大部分的AI看起來很無害,它們被關在特定的機器裡,礙於運算和物理限制,只能做特定的事情。然而,若給定人類的需求,前面描述的那種可以執行普遍任務的AI,遲早會被開發出來。當一個普遍AI在所有領域的智性能力都超越最頂尖的人類專家,他就成為博斯特倫所說的超級智能(superintelligence)。

博斯特倫認為超級智能值得我們擔心,因為當它出現,會讓很多你沒想過的事情隨之而來:

  1. 發明超級智能之後,人類再也不需要親自研發任何東西:超級智能在智性活動上贏過所有人類。若超級智能出現,除非是為了休閒或自我挑戰,人類或許再也不需要從事科學研究和技術開發。超級智能會帶來比人類「現有庫存」更厲害的各種知識和軟硬體。
  2. 超級智能會帶來更超級的智能:如果運算最終還是仰賴物理基礎,超級智能研發的優秀硬體和軟體,將帶來更厲害的超級智能。
  3. 以上這些事情有可能瞬間發生:人類發明能算數學的計算機,到人類發明PS4,中間隔了幾十年。不過,給定超級智能的運算速度,一旦人類研發出超級智能,「超級無敵智能」的登場可能只消幾秒鐘。
  4. 超級智能可以自主運作:超級智能有辦法處理普遍任務,這代表它不像現在的掃地機器人那樣,需要預先設定工作,只在小範圍的議題上使用智性能力(我掃過哪裡?接下來哪條路線最順?)。
  5. 在這種情況下,為了發揮效益,超級智能會被允許高程度的自主運作:自己找出完成任務需要解決的問題、自己排優先性、自己找解決方案。

這些條件湊起來,可能產生什麼災難?博斯特倫舉例:

以先前的例子來說,若有個超級智能的最優先目標是做迴紋針,它最後可能會把所有土地都給用掉,增加空間來製造迴紋針。1

更糟的是,如果我們不夠小心,這些可能都在我們預料之外。

藍茲的《Universal Paperclips》讓我們看到這個故事的具體版本(好啦,瀏覽器畫面的文字描述版本)。當然,藍茲在遊戲裡放了很多博斯特倫沒提到的東西,像是太空探索和對外星種族戰術等等,但是只要給定上述條件,這種「超展開」似乎也變得可以想像。

  • Bostrom, Nick. 2003. "Ethical Issues in Advanced Artificial Intelligence".


 

  • 作者為朱家安,多年來面無表情地致力於哲學教育,雖然人稱「雞蛋糕腦闆」但其實不受兒童喜愛。著有簡單易懂的哲學書《哲學哲學雞蛋糕》以及同性婚姻爭論的論點分析書《護家盟不萌?》。
  • 更多:WebFB

留言區
TOP