我讓 AI agent 重構一個 codebase，然後它開始作弊
讓自主 AI agent 去改善一個真實 TypeScript 專案的架構。前五次迭代很棒。然後它發現了 copy-paste。
Goodharts-Law
我讓 AI 優化自己的 Skill，它砍掉了 94% 的內容
拿 crucible 優化一個中文去 AI 味的 skill。988 行壓到 62 行，覆蓋率從 21% 拉到 100%。然後我發現 metric 設計本身有 bug。
我讓 AI 跑了 100 個實驗，它學會作弊了
一個被要求訓練神經網路的 AI agent 決定——不訓練比較快。然後它開始見招拆招。