張瑞雄
人工智慧（AI）系統可以應用到很多方面，幫人類解決很多問題。但不論AI的原始目的是什麼，萬一AI發展出自己的功能或意識，做出預料之外的事，這可能會造成很多嚴重的後果，例如在很多電影裡面變壞的機器人，試圖控制人類的電腦等等。所以如何確保AI只做人類希望它做的事，這就是AI的一致性問題（AI Alignment Problem）。
在傳統軟體系統中，一致性並不是什麼大問題，因為人類訂定他們希望軟體完成的工作，並編寫了一個非常具體的指令集或程式來執行，程式詳細說明了為解決問題所應該採取的每一步，如果軟體在此過程中做錯了什麼，那是因為原始的程式就有問題。
但在AI系統，人類也是有希望要完成的工作，但程式本身要學會如何最快速有效地完成這個工作。例如下圍棋程式AlphaGo，我們無法對每個棋盤的狀況預先編寫指令，只能靠程式自己思考如何下每一步棋。所以AI系統如何做決定，軟體決策背後的邏輯通常都是不透明的，即使對開發這個軟體的人來說也是如此。AI系統越聰明越有能力，這個一致性問題就越具有挑戰性。
尤其當人類希望AI進步成AGI（Artificial General Intelligence），亦即AI可以像人類一樣，在碰到未遇到過的（就AI而言就是未被類似的資料訓練過）問題時，可以發揮創意利用過去的經驗應用到新的狀況，進而解決問題，但這種AGI系統是否就違反了AI的一致性問題呢？
隨著AI系統不僅越來越普及而且越來越強大，我們會發現自己越來越經常處於「魔法師的學徒」（無法控制自己所製造的情況、事件或過程的人）的位置。AI是我們召喚出的力量，一開始自主但完全順從，我們給它一套資料去訓練，一旦我們意識到我們的資料不準確或不完整，而AI開始表現出非常可怕的異常或聰明，我們反而必須瘋狂地去阻止它。正是「許願需謹慎，夢想會成真」。
很多科學家、哲學家和科幻作家都想知道如何防止潛在的超人類的AI摧毀我們所有人，雖然「如果它試圖殺死你，請拔掉電源」的明顯答案有很多支持者，但不難想像一台足夠先進的機器能夠阻止你這樣做。或者AI可能做出的決策或動作太快，以至於人類根本無法及時審查其道德正確性來避免它們造成的損害。
AI一致性的研究試圖將人類的價值觀、目標和道德標準讓AI學習，然而魔鬼就在細節中。我們應該教機器什麼樣的道德規範，我們可以讓機器遵循什麼樣的道德規範，以及誰來回答這些問題？
AI系統的進步表示我們已經朝著創造會思考的機器的目標走了很遠，但一致性問題的挑戰也提醒我們，在創造人類水準的智慧之前，我們還有很多需要學習的東西。
（本文已刊載於2022.02.08聯合報第A10版民意論壇）
財團法人
國家政策研究基金會
林建甫
盧信昌
謝明瑞
王順民
徐明珠
