重點快速看
微軟的新草案加強人類控制
9月14日,Microsoft AI公布《人文主義AI行為準則》(Humanist AI Code of Conduct)草案,展開為期六週的公開徵詢,規劃作為未來MAI系列模型的主要治理文件。草案以人類保有實質控制為核心,即使需要限制模型的自主性或能力,也要維持安全與可控。
其中的指揮鏈將行為準則置於營運政策及使用者指令之上;人類控制要求則涵蓋接受中斷、修正與關閉,以及遵守授權範圍。不過,微軟明確說明,這份草案尚未用於目前的模型訓練,也不保證現有模型已全面符合要求。[1]該準則發布的意義,在於將人類控制具體化為模型設計目標。但供應商的承諾仍須轉化為企業自己的權限、監督及應變機制,才能在實際營運中發揮作用。
Human in the Loop 與 Human on the Loop:哪些 Agent 行動需要人介入?
歐盟於2019年提出的可信賴AI倫理指引,已將Human in the Loop(人參與決策)、Human on the Loop(人監督執行)與Human in Command(人保有最終控制權)納入人類監督的治理方式。[2]企業運用這些概念時,首先要釐清:哪些行動必須事前核准,哪些可以自主執行,什麼情況下必須升級處理。
Human in the Loop強調人直接參與決策流程,應用於Agent,可在付款、變更重要資料或對外承諾前設置人工核准。例如,Agent可以整理採購需求與推薦供應商,但超過限額的訂單,必須經主管確認才能送出。核准人也必須取得必要資訊,避免流於形式。
Human on the Loop則允許系統在授權範圍內執行,由人監看並於異常時介入。例如,庫存補貨可依既定品項及金額上限自動處理,一旦價格異常或供應商變更,就暫停並交由人員判斷。前提是監控與介入速度,要能趕在損害發生之前。
監督模式還須考量影響範圍、可逆性、不確定性與反應時間。同一個採購Agent,在資料整理、選商與付款等不同階段,就可能需要不同程度的人工介入。
Human in Command:企業必須保有 AI Agent 治理的最終控制權
Human in Command關注整體系統如何被使用,以及人是否能決定其用途、限制與停止條件。它與逐筆核准的差別,在於治理層級:前者處理整體授權,後者處理具體行動。
在企業實務上,這項原則落實為可驗證的能力:即使Agent獲准自主運作,組織仍須保有調整任務、限制權限、接管流程與停用系統的權力。這些控制應由獨立的身分與系統管理機制支撐,不能只靠Agent自願遵從停止指令。自主權可以依經驗與控制成效調整,但不能因Agent表現穩定,就默默放棄最終控制權;這項能力應從設計階段納入。
停止也不等於復原,關閉Agent,未必能撤回已送出的訂單、外部付款或下游系統正在執行的工作。因此,企業除了緊急停止鈕,也需要權限撤銷、待辦任務取消、人工接手與後續補救安排。涉及實體設備時,更應依安全程序停止,避免直接斷電反而造成危險。
決策層在專案上線前,應問清楚:由誰下令停止、需要多久、哪些動作仍會繼續,以及停止後誰接手。能用演練回答這些問題,Human in Command才真正成為組織能力。
AI 人類監督是否有效?企業應檢視 4 大關鍵條件
我建議以四個條件檢查監督是否有效:看得見、看得懂、來得及、停得下來。
看得見,是知道Agent正在使用哪些資料、工具與權限。看得懂,是能掌握行動依據、限制及預期影響,並非要求取得模型全部內部推理。來得及,是預留足夠的審查與反應時間。停得下來,則是能阻止後續行動並安全接管。
企業尤其要避免有人核准就安全的錯覺。如果人員每天面對大量申請,缺乏時間或專業判斷,容易因信任系統而一路放行。有效監督需要相應的人力、訓練與否決權,並讓例外案件獲得真正審查。
稽核紀錄則應串起任務、資料來源、模型與工具版本、授權、人工核准及執行結果,讓企業能重建事件經過。同時須保護機密與個資,避免為了留痕而無限制保存敏感內容。
AI Agent 治理如何落地?企業可建立的 5 項執行控制
要把上述要求落地,企業可以建立五項控制:
- 為Agent配置可辨識的專屬身分,搭配短效憑證與最小權限,避免共用人員帳號,讓行動可追溯到特定Agent與任務。
- 在呼叫工具或執行敏感動作時重新驗證授權,不能只在登入時檢查一次。
- 分離決策與執行:讓模型提出行動方案,再由獨立的政策檢查機制核對金額、對象及權限,不能讓Agent自行認定符合規則就直接放行。
- 對需要授權的動作採取Fail-closed,也就是無法確認授權時拒絕執行,並轉入預先設計的安全狀態或人工流程。
- 測試停止與恢復方案,確認權限能撤銷、流程有人接手,不可逆行動也有補救安排。
這五項是企業導入的實務建議,應依業務風險調整。後續可參考美國NIST AI RMF的治理、盤點、量測與管理功能,持續檢視用途、風險及控制成效。其中「治理」貫穿所有流程,並非最後才執行的步驟;若有新增工具、擴大權限或更換模型時,也應重新評估。[3]
董事會與高階管理層負責風險胃納、禁用場景、重大授權及監督要求;業務流程負責人(Process Owner)承擔日常業務問責,管理Agent的業務結果、核准條件與例外處理;IT、資安、風險與合規人員則依職責承擔技術控制、風險檢視及合規把關。流程負責人不能以「系統錯誤」取代調查與改善,而指定這個角色,也不代表其他治理責任就此消失。
中小企業未必需要新增AI長,但每個Agent都應有明確的業務主管、技術窗口與停止授權人。數位員工可以幫助理解管理方式,卻不能因此把責任交給AI,或忽略供應商及組織各自應承擔的義務。
AI Agent的自主能力,應建立在企業清楚知道如何授權、監督與接管的基礎上。人類監督如同安全帶,讓企業運用速度與效率時仍有保護;必要時,系統也必須具備真正的煞車。當每項重要行動都能被追溯、每個例外都有人處理,AI才能成為支持企業韌性的能力。

資料來源:先行智庫
參考資料
1. Microsoft AI,Humanist AI Code of Conduct,2026年9月14日草案。
2.歐盟高階專家小組,Ethics Guidelines for Trustworthy AI,2019年。
3. NIST,AI Risk Management Framework 1.0,AI RMF Core,2023年。
作者介紹|白佩華老師
為風險與企業韌性顧問,亦為(現任)企業集團策略長、企業永續與AI治理講師,長期關注企業風險、永續轉型、台商布局與氣候治理議題。現亦擔任永續節目主持人及專欄作者,致力以實務觀點連結風險管理、企業韌性與治理轉型,推動企業在不確定時代建立更具韌性的決策能力。
常見問題 FAQ
Q1:什麼是 AI Agent?它與傳統的 AI 聊天機器人有何不同?
A1:AI Agent 不再只是被動回答問題的助手,而是具備自主行動、長時運行、感知推理與長期記憶的系統。它能接收模糊目標後,在後台獨立拆解步驟並跨系統完成工作流。
Q2:企業在導入與訓練 AI Agent 時,應採取哪些策略來確保其遵循規範?
A2:企業應使用高品質資料,並透過系統提示設定明確的規則、目標與邊界。建議從小規模簡單任務開始,並加入限速功能與策略性的驗證授權流程,避免 Agent 產生混淆或違規。
Q3:企業管理者應如何對 AI Agent 進行有效的監督與績效評估?
A3:管理者應像監控人類員工一樣,透過持續執行評估與失敗分析來進行「偵錯」。追蹤指標包括任務完成率、執行步驟數、準確性、是否需要人工介入調整,以及替團隊節省的時間。
企業好夥伴
企業問題找華宇,免費諮詢企業因為管理或是驗證上有棘手問題嗎?
企業因為員工管理或是工廠管理上有棘手問題嗎?
- 華宇服務
企業輔導與診斷、精實生產、ISO國際驗證、人才管理、戰略管理指標、組織績效、六標準差、ESG永續報告書、ESG相關輔導 - 我們將為您免費諮詢服務(請點我) 華宇官方LINE
上班時間也歡迎撥打電話諮詢 +88634951008 - 華宇免費公開班:最新企業輔導課程 (請點我)
- AI 不再只是助手:企業如何做好 AI Agent 治理與人類監督?
- 當極端氣候成為新常態:不容推遲的調適投資與韌性治理
- 從合作到對壘:剖析 Apple 與 OpenAI 的 AI 智財與人才滲透新風險
- 全智新啟動 ISO 9001 驗證 全面升級品質管理
- 職場霸凌法律界線(下)

