跳至主要內容
人機協作

將例行作業交給 AI ,一定要先陪跑對及抓漏

報帳、合約這類絕不能錯的工作交給 AI,負責人必須親自把關。面對量大的例行作業,先要求 AI 陪跑並拿人工結果對照,產出一致後固化為 Skill;接著上線平行對照抓漏。當自動化產線穩定,人就能從執行中抽身,退居 Checker 專注處理高風險例外。

將例行作業交給 AI ,一定要先陪跑對及抓漏文章主圖

我在上個月寫了〈機器當 Maker,人當 Checker〉這篇文章,提到 Checker 要看背後的執行邏輯。這篇把細節補齊。

報帳、合約這種錯了會很麻煩的,我一定自己看過一次,AI 只先幫我看第一眼。

量大的例行作業,像我做的法定訓練名單,一跑幾百個人,每一筆都要人看,看到後面很容易變成一路按確定。

Wingerter 團隊在 2025 年運用認知反思測試(Cognitive Reflection Test)進行實驗。結果顯示,接收到錯誤 AI 輔助的受試者,其答對題數不到無 AI 協助對照組的一半1。

AI 交出來的表格越整齊,人越容易覺得沒問題,順手就通過了。量大的資料,光靠「看仔細一點」不夠,我會換一種驗法。

先讓 AI 陪跑,結果一致才寫成 Skill

現在能在電腦上操作的事,AI 幾乎都能代勞,交給它執行是很合理的選擇。但也因為這樣,怎麼驗收產出就變得很重要。這就像當主管一樣,部屬交上來的東西你總要看過;我現在只是把時間都花在驗收 AI 交出來的結果。

實際做法上,我會先讓 AI 陪跑。我把做法告訴它,一個動作一個動作看著它做。這中間的每一個步驟、哪個欄位要對齊哪個欄位、碰到什麼條件要另外判斷,都在這時候說清楚。

陪跑完,不能只看 AI 產出的表格排得很整齊就算了。我會自己人工把這份工作完成,拿我的結果跟 AI 跑出來的結果對照。只有當兩邊的總筆數、金額或人數這些預期成果完全一致,才代表 AI 真的做對了。

確認結果一致,我才會請它把剛才的過程寫成一份 Skill(這就是它接下來執行的 SOP)。

會來對照結果的,通常就是這項業務原本的負責人——他把工作交給 AI 執行,自然由他親自來驗。單憑 AI 老實說一點用都沒有,但是 AI 加經驗,就能放大產出。要認得出錯誤,得先知道這類業務平常會在哪裡出錯,這只有親手做過的人才知道。讓 AI 負責執行,人專注拿經驗來把關,這才是真正的人機協作。

Skill 上線後,前一兩個月繼續平行對照

flowchart TD;

subgraph S1["階段一:建立執行規則"];

A["人帶 AI 陪跑"];

B["釐清步驟與欄位"];

C["比對人工產出"];

D["產出一致固化 Skill"];

A --> B;

B --> C;

C --> D;

end;

subgraph S2["階段二:上線平行對照"];

E["人與 AI 各做一次"];

F["抓出 Skill 沒想到的例外"];

G["修改 Skill 補上規則"];

E --> F;

F --> G;

end;

subgraph S3["階段三:例外抽樣與自動化"];

H["專門抽查高風險邊界"];

I["人退居 Checker 負責判斷"];

H --> I;

end;

D --> E;

G --> H;

有了這份 Skill,不代表馬上就能完全放手。在上線後的前一兩個月,遇到例行作業時,我甚至會要求 AI 跟我一起「陪跑」——我做我的人工作業,它跑它的 Skill,然後把兩邊的結果拿來比對驗證。

一開始的陪跑是為了把規則建立起來,現在的互相陪跑則是為了抓漏。這段期間,我對照的重點是:真實環境裡,有沒有冒出當初 Skill 沒想到的例外?只要出現新的例外狀況,我就回去改 Skill 把規則補上。改完重跑,這「一兩個月」的對照時間也必須重新起算。

一直平行跑個一兩個月都沒出錯,確定 Skill 夠穩了,我才會改成抽樣。

抽樣時我只抽例外。正常的資料 AI 本來就處理得好,抽十筆大概十筆都對,看完雖然安心,但抓不到漏洞。會出事的,通常是 Skill 沒寫到的新狀況。以前做法定訓練平台時,我就把抽驗重點放在「來源檔換格式」、「法規改時數」這幾個容易發生例外的地方。

除了抽樣,我也會自己找反例,不等抽樣剛好抽到。邏輯的部分,我會丟給另一個模型再看一次。以我的經驗,換一個不同來源的模型來檢查,比叫同一個模型重跑有用,因為同一個模型犯的錯,它自己重跑多半還是看不出來。

這剛好跟今年 7 月的一篇學術研究結論不謀而合2。研究證實,讓不同的模型互相檢查,能顯著提升揪出錯誤的準確率;而且答題最強的模型,不一定是最會抓別人錯的把關者。這說明了一件事:在實務上,重點不是找一顆最聰明的模型一扛到底,而是必須建立跨模型的交叉檢查機制,才能有效打破同源盲點。

把執行交出去,人才能專心當 Checker

人機協作的真實樣貌就是這樣。一開始,你必須親自下來跟 AI 協作一段時間,一個動作一個動作帶著它跑。

等到 AI 徹底掌握了完整的工作流程,你就能把它固化成一份 Skill,甚至直接打造成 Python 腳本這類自動化的工作流,確保它每一次執行都能穩定產出相同的結果。

一旦這條產線建立起來,例行作業的勞力就真正從人身上剝離了。而「人」,也終於可以從永無止境的執行中抽身,專心扮演好 Checker 的角色,把時間花在最高價值的驗收與判斷上。這才是我們把工作交給 AI 的真正目的。

若你也正在把例行作業交給 AI,可以到 Field 看更多人機協作的方法與觀察。


延伸閱讀


參考資料


  1. Tim Lewis Wingerter、Tim Straub、Sascha Schweitzer,〈Mitigating Automation Bias in Generative AI Through Nudges: A Cognitive Reflection Test Study〉,《Procedia Computer Science》,第 270 卷,2025 年,第 2106–2114 頁。線上實驗分三組:沒有 AI 協助、帶錯誤的 AI 協助、帶錯誤的 AI 協助加上提醒。拿到帶錯誤 AI 協助的受試者,認知反思測試答對題數不到對照組的一半。 https://doi.org/10.1016/j.procs.2025.09.331 ↩

  2. Qian Wang、Zhanzhi Lou、Zhenheng Tang、Nuo Chen、Bingsheng He,〈Chain-of-Models: Cross-Model Auditing for Bias-Robust LLM Judges〉,arXiv:2607.28636,2026-07-28。讓第二個模型先檢查第一個模型的推理過程再給判斷;依偏誤類型挑選把關模型時,四組偏誤測試的準確率為 0.884,固定用最好的單一把關模型為 0.824,不做把關為 0.805。 https://arxiv.org/abs/2607.28636 ↩

常見問題

如何確保 AI 處理例行作業不會出錯?

驗收的關鍵不是去看 AI 產出的報表對不對,而是拿你自己人工實作的結果去跟 AI 跑出來的結果平行對照。數字完全一致,才代表 AI 真的掌握了步驟。

為什麼讓 AI 陪跑後還要經過平行對照期?

陪跑是為了把執行規則(Skill)建立起來;而上線初期一兩個月的平行對照,是為了抓出真實工作環境中,當初規則沒涵蓋到的「例外」。

什麼時候才可以放心對 AI 的產出進行抽樣?

在平行測試期一兩個月都沒出錯,確定自動化產線夠穩定後,才能轉為例外抽樣。此時應將抽樣火力集中在來源格式轉換、法規修改等高風險的邊界狀況。

訂閱電子報,第一手收到新文章