軍事科技的燙手山芋：人工智慧將成引發第三次世界大戰的導火線？

克萊瑞菲（Clarifai）這家公司位於紐約市的一間小辦公室內，就在紐約大學深度學習實驗室附近，主要是研發可以自動辨識數位影像中物體的科技，例如在零售網站上搜尋鞋子、服飾與皮包的相片，或是辨識保全攝影機影片的人臉。該公司的目的是複製谷歌與微軟等科技業者過去幾年在人工智慧實驗室內所建造的影像辨識系統──然後出售給其他企業、警局與政府機構。

2017年秋天，克萊瑞菲位於曼哈頓下城辦公室角落的一間房間，窗戶全都用紙糊住，門上有一個牌子寫著「消失的密室」（The Chamber of Secret），引用的是《哈利波特》（Harry Potter）系列的第二集書名。這個牌子是用手寫的，掛得有些歪歪斜斜。在門後有個八位工程師組成的團隊，正在進行一項他們被禁止對公司其他同事談起的計畫。其實，即使是他們自己也不太清楚所從事的計畫是什麼。他們知道是在訓練一套系統，使其能夠自動辨識在沙漠中某處所拍攝影片裡的人物、汽車與建築物，但是他們不知道要如何使用此一科技。當他們詢問時，公司的創辦人暨執行長麥特．塞勒（Matt Zeiler）會解釋，這是政府有關「監視」的計畫。他說此一計畫可以「拯救生命」。

後來克萊瑞菲搬到較大的辦公室，幾位工程師發掘儲存在公司內部電腦網路的數位檔案，發現有幾個檔案談到一筆政府合約，他們的工作才浮現檯面。他們是為國防部的專家計畫（Project Maven）研發相關科技。該計畫的構想是建造一套系統，可以為無人機辨識攻擊目標。但是此一系統的確切用途仍不明朗。他們無法確定此一科技是用來殺戮，還是如塞勒所說的是為了避免殺戮。也無法確定這套系統是用來進行自主性的空襲行動，還是為人類操作員扣下扳機前提供資訊。

接著，在2017年末的一個午後，三名身著平民服裝的軍方人員走進克萊瑞菲的辦公室，與幾位工程師闢室密談。他們要知道此一科技的精確度有多高。他們先是詢問它能否辨識像清真寺這樣的特殊建築物。他們表示，恐怖分子與叛亂分子往往會利用清真寺作為軍事總部。他們然後又問道它能否區分男人與婦女。「你是什麼意思？」一位工程師問道。軍方人員解釋，在曠野之中，它應該能夠根據男人兩腿間隙來分辨男人（都是穿著褲子）與婦女（都是穿著長及腳踝的裙子）。他們表示，他們只准許射殺男人，不能殺婦女。「有時候男人會穿長裙來騙我們，不過沒有關係，」一位軍方人員說道，「我們還是會幹掉這些混帳東西。」

AI來勢洶洶，國家軍隊與科技企業謹慎以對

2017年8月11日，週五，美國國防部長詹姆士．馬提斯（James Mattis）坐在谷歌總部會議室的桌前。他對面坐著新上台的谷歌執行長桑達．皮采（Sundar Pichai），還有創辦人賽吉．布林（Sergey Brin）、法律總顧問，以及人工智慧部門的主管。會議室內還有其他一些人，包括幾名國防部的人員與谷歌雲端運算團隊的主管們。國防部的人員大都穿西裝打領帶。谷歌的與會者大都穿著西裝，但沒有打領帶。布林則是穿著一件白色T恤。

馬提斯部長正在進行西海岸巡迴考察，參訪矽谷與西雅圖的多家大型科技業者，主要是代表五角大廈探詢專家計畫的採行選項。國防部是在四個月前發動專家計畫，旨在加速國防部「對大數據與機器學習的使用」。該計畫又名「演算法作戰跨職能團隊」（Algorithmic Warfare Cross-Functional Team）。此一計畫的推動有賴像谷歌這類的企業支持，因為它們近幾年來已累積了建造深度學習系統所需的專業與基礎架構。

這也是五角大廈建立新科技的典型方法——與民間企業合作——但是現在的情況與過去有所不同。谷歌與其他科技業者掌握了美國人工智慧的人才，然而它們都不是傳統的軍事承包商。它們是才開始涉足軍事相關領域的消費性科技業者。不僅如此，川普現在已入主白宮，使得這些公司的員工更加警惕政府的計畫。谷歌對其中的緊張態勢尤其敏感，這是因為該公司特有的文化允許──甚至鼓勵──員工說出自己的看法、做他們喜歡做的事，而且通常在工作場所的行為表現就和在家裡一樣。

專家計畫所造成的緊張情勢尤其高亢。許多主持谷歌深度學習研發工作的科學家都反對自主性武器，包括「深度學習運動之父」傑弗瑞．辛頓（Geoffrey Hinton）與深度心智（DeepMind）的創辦人。但是根據了解，谷歌的最高層卻希望能與國防部合作。谷歌董事長艾力克．施密特（Eric Schmidt）同時也是國防創新委員會（Defense Innovation Board）的主席，這是由歐巴馬政府成立的民間組織，旨在促進矽谷的新科技加速移轉至國防部。

在該委員會最近一次會議中，施密特表示在矽谷與國防部之間有一道「顯著的鴻溝」，該委員會的任務就是弭平此一差距。谷歌高層同時也視與軍方合作為其發展雲端事業的另一契機。其實該公司暗中已和國防部建立合作關係。在五月的時候，也就是專家計畫發動一個月後，谷歌一支團隊與國防部官員會面，而在第二天谷歌就向政府申請在自家電腦伺服器儲存軍事數據的許可證。但是三個月後國防部長馬提斯來到谷歌總部商討相關科技時，他知道必須動用一些技巧才能引導其中的關係傾向他這一邊。

馬提斯表示他已深刻了解該公司科技在戰場上的威力。畢竟，美國的敵人都是使用谷歌地球──以衛星影像組合而成的互動式世界數位地圖，來辨識迫擊砲的目標。他強調美國應該加強作戰能力。現在，在專家計畫下，國防部不僅要發展人工智慧，能夠閱讀人造衛星的照片，同時還要能夠分析無人機在更接近戰場的位置所捕捉到的影片。馬提斯盛讚谷歌「在科技業界的領先地位」與「企業責任上的崇高聲譽」。他表示，這就是他來這兒的一個主要原因。他十分關切人工智慧的道德倫理問題。他表示該公司應該讓國防部「感到如芒在背」——以此來反制其傳統的態度。他說道：「國防部歡迎你們的理念。」

在桌子另一側的皮采表示，谷歌經常在思考人工智慧的倫理問題。他指出，愈來愈多的壞人會使用這類科技，因此讓好人領先是重中之重。馬提斯問谷歌能否將一些道德與倫理下的規則予以編碼輸入系統之內——谷歌人員心知肚明這是一個不切實際的選項。主持谷歌人工智慧研發工作的約翰．吉安南德雷亞（John Giannandrea）強調，這些系統最終都需仰賴其訓練數據的品質。但是谷歌的法律總顧問採用不同的說詞。他表示，這些科技具有拯救生命的巨大潛能。

馬斯克的警訊：「人工智慧會引發第三次世界大戰」

9月底，在馬提斯造訪谷歌總部的一個多月後，谷歌簽下參與專家計畫相關工作為期三年的合約，總值在二千五百萬美元到三千萬美元之間，其中一千五百萬美元必須在頭十八個月內付清。對谷歌來說，這只是一筆小數目，而且其中一部分還必須與其他參與合約的人分享，不過該公司著眼的是放長線釣大魚。就在同一個月，國防部邀請美國企業參與JEDI的競標，這是聯合企業防禦架構（Joint Enterprise Defense Infrastructure）的縮寫，是一筆為期十年、高達一百億美元的合約，主要是提供國防部應用核心科技所需的雲端運算服務。問題在於谷歌爭取JEDI合約時，是否會公開其參與專家計畫與未來其他可能的政府合約的事實。

在國防部參訪谷歌總部的三週後，生命未來研究所發表了一封公開信，呼籲聯合國禁止他們所謂的「殺手機器人」（killer robot），這是對自主性武器的另一個稱呼。「針對企業界製造的人工智慧與機器人科技可能會被重新利用發展自主性武器，我們特別覺得有責任提出警告，」公開信寫道，「致命的自主性武器極有可能引發戰爭型態的第三次革命。一旦發展出來，軍事衝突的規模勢必遠大於過去，而且發動速度之快也將遠超過人們的理解。」該封公開信獲得人工智慧圈內逾百人的簽署，包括不時對超智慧威脅發出警告的馬斯克，此外還有辛頓、深度心智創辦人哈薩比斯與蘇萊曼。

蘇萊曼認為，這些科技需要一種新型態的監管。「是誰在做未來有一天將會影響這個星球數十億人口的決策？又是誰在參與此一決策過程？」他問道，「我們必須分散此一決策過程的參與者，這也代表監管人士必須在一開始就參與決策──政策制定者、公民社會行動人士，以及我們這些科技服務的對象──應該讓他們深入參與我們產品的創造與了解我們的演算法。」

9月，谷歌準備簽下專家計畫的合約，負責審查該協議的銷售人員相互以電子郵件討論公司是否該將合約公開。「我們應該宣布嗎？我們能談論報酬嗎？我們提供給政府的指示是什麼？」谷歌一位人員寫道，「如果我們保持沉默，我們就無法控制相關的訊息。這對我們的品牌形象沒有好處。」他最終認為谷歌應該發布此一新聞，其他人也同意。「這個消息最後一定會流出去，」另一位谷歌人員寫道，「還不如照我們自己的方式發布。」這樣的討論持續了好幾天，期間某人說服了李飛飛。

李飛飛為這項合約喝采。「我們即將拿到專家計畫實在太棒了！這是一個了不起的成就，」她寫道，「你們的表現太好了！謝謝你們！」但是她也提醒在宣傳時必須格外謹慎。「我認為我們應從一般雲端科技的角度，就國防部與GCP間的合作來進行公關活動，」她寫道，她所謂的GCP指的是谷歌雲端平台（Google Cloud Platform），「不過要不惜代價避免提到人工智慧，或是有任何相關暗示。」她知道媒體界一定會質疑該計畫的道德倫理問題，即使只是因為馬斯克挑起過這個話題：

人工智慧武器化就算不是人工智慧現今最敏感的議題，也是最敏感的之一。媒體界都等不及利用這個議題來打擊谷歌。你們大概聽過伊隆．馬斯克有關人工智慧會引發第三次世界大戰的言論。媒體界現在都十分關注人工智慧武器、國際競爭，以及人工智慧可能造成的地緣政治緊張情勢。谷歌在人工智慧與數據方面已經有一些與隱私相關的議題需要處理，如果媒體界又找到谷歌正在發展人工智慧武器或是為國防產業提供可以武器化的人工智慧科技話題，我真不知道還會演變成什麼樣子。谷歌雲端2017年的主題就是在於推動人工智慧的民主化。我會超級謹慎維護這些正面的形象。

谷歌到頭來並未宣布這項計畫，並且還要求國防部也不要公開。即使是公司內部人員也必須靠自己才能知道這項計畫。

※ 本文摘自《AI製造商沒說的祕密： 企業巨頭的搶才大戰如何改寫我們的世界？》，標題為鳴人堂編輯所加，時報出版授權刊登。

《AI製造商沒說的祕密： 企業巨頭的搶才大戰如何改寫我們的世界？》
作者：凱德．梅茲（Cade Metz）
譯者：王曉伯
出版社：時報出版
出版日期：2022/08/02