[!IMPORTANT] 下次討論時間:11/1(日) 台灣時間晚上9:00-10:30,討論單元:Agent 基礎與 LLM 系統觀
Agent Atlas 技術與實戰交流
AI Agents 技術與實戰交流的共筆與共享資源。
📚 課程資料:Agent Atlas|AI Agents 統一課程資源
🎥 線上聚會:Google Meet
👥 貢獻者:貢獻者名單
Agent Atlas 把 CMU、Stanford 與 Harvard 的七門課程串成一條 AI Agent 學習路線,整理成 12 個單元:從建構 Agent、驗證能力,一路走到軟體交付與持續改進。技術與實戰交流依照這條路線進行,這個 repo 用來放大家的筆記、討論紀錄和延伸資源。
單元順序是 Agent Atlas 建議的路線,不是原校的官方課綱。原始教材的版權屬於各課程作者。
目錄結構 #
.
├── notes/ # 共筆:單元 / 名字 / index.md
│ ├── template.md
│ ├── 01-agent-foundations/
│ │ └── jimmy/
│ │ └── index.md
│ └── ...
├── discussions/ # 聚會紀錄:日期 / index.md
│ ├── template.md
│ └── 2026-10-18/
│ └── index.md
└── projects/ # 實作與整合專題:名字 / index.md
├── template.md
└── jimmy/
└── index.md
每個資料夾的入口都是 index.md。同一個資料夾裡的其他檔案(拆開的子筆記、圖片、程式碼片段)怎麼命名由作者自己安排,記得從 index.md 連過去。
建議的單元資料夾名稱:
01-agent-foundations 05-context-memory-multi-agent 09-applications
02-tools-and-harness 06-evaluation-observability 10-deployment-performance
03-rag-and-knowledge 07-training-self-improvement 11-ai-native-software-engineering
04-reasoning-planning 08-safety-reliability 12-capstone
學習路線 #
| # | 階段 | 單元 | 日期 | 導讀 |
|---|---|---|---|---|
| 01 | 打基礎 | Agent 基礎與 LLM 系統觀 | 11/1 | Jimmy Yeh |
| 02 | 打基礎 | 工具使用與 Agent Harness | ||
| 03 | 打基礎 | RAG、知識整理與可靠查詢 | ||
| 04 | 設計與驗證 | 推理、規劃與推論時計算 | ||
| 05 | 設計與驗證 | 脈絡、記憶與多 Agent 協作 | ||
| 06 | 設計與驗證 | 評估、資料與可觀測性 | ||
| 07 | 改進與應用 | 訓練、最佳化與自我改進 | ||
| 08 | 改進與應用 | 安全、約束與可靠性 | ||
| 09 | 改進與應用 | 程式、研究與多模態應用 | ||
| 10 | 改進與應用 | 模型部署、成本與系統效能 | ||
| 11 | 改進與應用 | AI 原生軟體工程與交付 | ||
| 12 | 改進與應用 | 整合專題與研究呈現 |
先備知識:Python、基本機器學習與 LLM 使用經驗。單元 10 另外建議有 PyTorch 與電腦系統的背景;CMU 11-664/763 適合有 NLP 與語言模型基礎的人,可以從機率、取樣與搜尋開始,再接推論服務實作。CS146S 要求有扎實的程式能力(約 Stanford CS111/CS161 的程度),但不需要先用過 AI 工具;它的軟體交付流程可以和整合專題同時進行。
整合專題:Agent Atlas 建議用同一個研究助理專題走完七個階段:釐清需求與風險 → 研究、提案與規格 → MCP 與可重用 Skills → 準備 Agent 能理解的程式庫 → 實作並驗證能力 → 獨立審查與修正 → 發布、量測與持續維護。這是 Agent Atlas 設計的自學建議。
原始課程 #
| 課程 | 學校 | 學期 | 在路線中的角色 |
|---|---|---|---|
| 11-768 AI Agents | Carnegie Mellon | Fall 2026 | 基礎與完整實作 |
| CS329Z Engineering AI Agents | Stanford | Fall 2026 | 系統工程與評估 |
| CS224V Agentic AI | Stanford | Fall 2026 | 知識與可靠對話 |
| CS329A Self-Improving AI Agents | Stanford | Autumn 2025 | 推理與自我改進 |
| CS2680 Modern AI Systems: Agents and System Optimizations | Harvard | Fall 2026 | 模型部署與效能最佳化 |
| 11-664/763 Inference Algorithms for Language Modeling | Carnegie Mellon | Fall 2025 | 解碼策略與推論演算法 |
| CS146S The Modern Software Developer | Stanford | Fall 2026 | 人與 Agent 協作開發、驗證與交付 |
Side Project 點子 #
想邊讀邊動手的話,可以從下面挑一個題目。來源包含比賽、課程作業、開源專案和社群上的實驗,每個點子都標了最相關的單元,方便對照技術與實戰交流進度。做出來的東西歡迎放進 projects/<你的名字>/。
資料整理於 2026 年 10 月。比賽期限、規則和排行榜常常變動,請以官方頁面為準。
比賽與排行榜 #
| 點子 | 要做什麼 | 單元 | 來源 |
|---|---|---|---|
| ARC-AGI-3 | 寫一個 agent 玩沒看過的互動式解謎遊戲,沒有任何說明,得自己摸索規則。評測時不能連網,所以要用開源模型;2026-11-02 截止投稿 | 04、07 | ARC Prize 2026、Kaggle |
| 狼人殺/撲克 Arena | Kaggle Game Arena 讓 LLM 互相下棋、打撲克、玩狼人殺。可以自己做一個小 harness,比較不同模型、prompt 和記憶設計 | 04、05 | Kaggle Game Arena |
| 20 個問題 | 一個 agent 出題、一個 agent 猜,比的是多輪提問策略。比賽已結束,可以讀得獎解法,再自己做 LLM 對 LLM 的版本 | 04、05 | Kaggle LLM 20 Questions |
| 修真實的 GitHub issue | 抗資料汙染版的 SWE-bench,題目在投稿截止後才收集。第一輪最高分只有 7.5%,很適合看出 coding agent 的極限 | 09 | Kaggle Konwinski Prize |
| 先做 benchmark 再做 agent | Berkeley RDI 的比賽:Phase 1 設計評測 agent 的 benchmark,Phase 2 做 agent 去挑戰別人的 benchmark。這屆已結束,但這個「先定評測再做系統」的流程很值得照著練 | 06 | AgentX–AgentBeats |
| 終端機任務 | 讓 agent 在終端機裡完成真實的工程任務,可以用官方工具跑自己的 agent,再投稿排行榜 | 02、06 | Terminal-Bench |
| 客服 agent | 航空、零售、電信等客服情境,連使用者都由 LLM 扮演。可以試著提高成功率,同時不違反客服政策 | 06、08 | τ²-bench |
| 玩 NetHack | 從幾秒就能玩完的小遊戲到 NetHack 都有,可以測 agent 的長程規劃,也可以比較加上畫面輸入後有沒有變好 | 04、09 | BALROG |
課程作業與專題 #
| 點子 | 要做什麼 | 單元 | 來源 |
|---|---|---|---|
| GAIA 期末作業 | Hugging Face Agents Course 的期末作業:做一個 agent 回答 20 題 GAIA Level 1,答對 30% 以上就拿到證書,還有學生排行榜可以比 | 02、03 | HF Agents Course Unit 4 |
| Kaggle × Google 五天 Agent 課 | 每一屆結束時都有 capstone 專題,教材和 notebook 留在 Kaggle 可以自學 | 01、02、12 | 5-Day AI Agents Intensive |
| 不用框架實作設計模式 | Andrew Ng 的課用純 Python 實作 reflection、tool use、planning、multi-agent。可以四種各做一個小 demo,再組成一個研究助理 | 01、04、05 | DeepLearning.AI Agentic AI |
| Berkeley Agentic AI MOOC | 講座影片放在 YouTube,可以搭配上面的 AgentBeats 比賽一起做 | 01、06 | Agentic AI MOOC (F25) |
原始課程本身的作業和期末專題也是很好的題目,但記得遵守下面的注意事項,不要公開作業解答。
從開源專案出發 #
建議的玩法:先讀懂,再用自己的方式重做一次,最後改一個你在意的地方,然後量量看效果。
| 點子 | 要做什麼 | 單元 | 來源 |
|---|---|---|---|
| 400 行寫出 coding agent | 跟著這篇文章用 Go 寫出只有 read_file、list_files、edit_file 三個工具的 agent,再用你熟悉的語言重寫一次 |
02 | How to Build an Agent |
| 100 行的 SWE agent | 只用 bash、不用 tool calling 的 coding agent,在 SWE-bench Verified 卻有很高的分數。可以換模型、改 prompt,看分數怎麼變 | 02、09 | mini-swe-agent |
| 自動寫維基百科文章 | 模擬不同觀點的專家互相提問,整理大綱,最後寫出附引用的長文。這是 CS224V 授課老師 Monica Lam 實驗室的專案 | 03、05 | STORM |
| AI 小鎮 | 一群 agent 住在同一個小鎮,靠記憶、反思和計畫過生活。可以縮小成 3–5 個角色,換成便宜的模型重跑 | 05 | Generative Agents、AI Town |
| Minecraft 隊友 | 讓 LLM 控制 Minecraft 角色和玩家合作,附帶多 agent 協作 benchmark。README 提醒不要在公開伺服器上開啟寫程式的功能 | 05、09 | Mindcraft |
| 外交談判遊戲 | 讓 LLM 玩 Diplomacy,談判、結盟、背叛都有,每個 agent 用私人日記管理記憶。可以觀察哪個模型最會說謊 | 05、08 | AI Diplomacy |
| 一晚跑 100 個實驗 | 讓 coding agent 修改訓練程式,每次訓練 5 分鐘,只保留有進步的改動。需要一張 GPU | 07、10 | autoresearch |
| AI 科學家 | 自動提出假設、跑實驗、寫論文。會執行 LLM 寫的程式,請在沙盒裡跑 | 09 | AI Scientist v2 |
| 操作瀏覽器 | 讓 agent 幫你操作網頁,例如追蹤課程網站的更新,或整理每週的論文清單 | 09 | browser-use |
社群上的有趣實驗 #
這些實驗在 X、YouTube、Twitch 上傳得很廣,很適合做成縮小版。
| 點子 | 要做什麼 | 單元 | 來源 |
|---|---|---|---|
| Claude 玩寶可夢 | Claude 只看遊戲畫面、按按鈕、寫筆記來玩寶可夢紅版,全程直播。縮小版:模擬器 + 截圖 + 按鍵工具 + 筆記檔,挑戰走出第一個城鎮 | 05、09 | Twitch 直播 |
| 讓 agent 開店 | Anthropic 讓 Claude 經營辦公室小商店一個月,結果虧錢。可以寫一個商店模擬器,讓 agent 經營 30 天,記錄它在哪裡出錯 | 06、08 | Project Vend、Vending-Bench |
| Agent 村莊 | 幾個 agent 各有一台電腦,共用一個群組聊天室,一起完成長期目標,例如替慈善活動募款。可以做一個 3 個 agent 的版本,給它們一週的目標 | 05、08 | AI Village |
| 外交遊戲直播 | 上面的 AI Diplomacy 曾經在 Twitch 直播,這篇文章說明了他們怎麼把系統做到能穩定跑完整局 | 05 | How We Made AI Diplomacy Work |
在 YouTube、X、LinkedIn 上看到有趣的 agent 實作,歡迎直接發 PR 補進來,一兩句話說明它在做什麼就好。
如何貢獻 #
notes/、discussions/、projects/底下都有一份template.md,複製到對應的資料夾、改名為index.md再開始寫:- 筆記:
notes/<單元>/<你的名字>/index.md,例如notes/01-agent-foundations/jimmy/index.md - 討論紀錄:
discussions/<聚會日期>/index.md,例如discussions/2026-10-18/index.md - 專題:
projects/<你的名字>/index.md,例如projects/jimmy/index.md
- 筆記:
- 資料夾裡除了
index.md,其他檔案的名字和拆法由作者自己決定。 - 引用原始教材時附上連結(投影片、影片、論文),方便大家回到原始資料。
- 延伸資源放在筆記的「延伸閱讀」,每一項寫一兩句說明:這份資源在講什麼、為什麼值得看。
- 修改別人的筆記前,先在github issues或聚會時跟作者說一聲。
- 第一次貢獻時,把自己加進貢獻者名單。請照 GitHub username 的字母順序排,格式如下:
只有 GitHub username 是必填,其他想寫什麼、寫多少都可以。## [@你的-github-username](https://github.com/你的-github-username) - 名字:<希望大家怎麼稱呼你> - <任何你想公開的資訊,例如自我介紹、正在研究什麼、個人網站、社群帳號>
在本機預覽網站 #
repo 裡的 Markdown 和 HTML 檔案合併進 main 之後,會自動發布到 GitHub Pages。想先看看自己的筆記在網站上長什麼樣子,可以在本機預覽(需要 Node.js 20 以上):
cd .github/pages
npm ci # 第一次才需要
npm run preview
用瀏覽器打開 http://localhost:4000/ 就能看到網站。新增或修改檔案後,網站會自動重新建置,瀏覽器也會跟著重新整理;還沒 commit 的新檔案也看得到。按 Ctrl+C 結束預覽。如果 4000 port 被占用了,可以換一個,例如 npm run preview -- 4001。
注意事項 #
教材與作業 #
- 不要上傳原課程的投影片、影片或講義檔案,請用連結。
- 各課程的作業可能仍在進行中,請不要公開張貼作業解答;分享自己的思路與實作心得沒問題。
使用 AI #
歡迎用 AI 輔助學習。原則只有一個:AI 幫你讀懂,但不代替你讀懂。
- 先讀原文,再問 AI:AI 摘要不能取代原始教材,導讀人尤其要親自讀過投影片、影片和指定閱讀。卡住的時候再請 AI 換個方式解釋、舉例子,或補先備知識。
- 用 AI 檢查自己懂了沒:讀完先用自己的話寫一段說明,再請 AI 挑錯、追問,或出幾題考自己。這比請它寫摘要有用得多。
- 查證來源:AI 可能編出不存在的論文、引用或 API,agent 領域變化又快,它的知識也常常過時。筆記裡的引用和連結要親自點開確認;模型、框架和 benchmark 的最新數字以官方頁面為準。
- 筆記用自己的話寫:可以請 AI 潤稿、整理格式或翻譯,但「我的理解與疑問」請自己寫,這是筆記最有價值的部分。不要把 AI 產生的摘要直接貼成筆記。
- 標示 AI 協助的部分:在筆記開頭的「AI 使用說明」欄位寫下用了什麼工具、做了哪些事。大段由 AI 產生的內容(摘要、程式碼、圖表),也在旁邊註明,例如「(AI 協助整理,已對照原文)」。
- 遵守課程的 AI 政策:正式修課的人,作業能不能用 AI、可以用到什麼程度,請依各課程的規定。
- 不要把不該外流的東西交給 AI:需要登入才能取得的教材與錄影、別人還沒公開的筆記、個人資料和 API 金鑰,都不要貼進 AI 服務。使用前看一下服務會不會拿你的資料去訓練。
- 讓 coding agent 在安全的環境裡跑:很多 side project 會讓 agent 執行它自己寫的程式,請在容器或沙盒裡跑,不要給它正式環境的權限。commit 前自己看過 diff,金鑰放在
.env並加進.gitignore。 - 注意花費:呼叫 API 的實驗很容易越跑越貴。先設好用量上限,用便宜的模型把流程跑通,再換大模型。
- 把用 AI 的經驗帶來分享:這是讀 AI Agent 的技術與實戰交流,你每天用的 AI 工具就是很好的觀察對象。它在哪裡出錯、哪個 prompt 或工作流程特別有效,都可以寫進筆記或在聚會時分享。聚會中遇到大家都答不出來的問題,也可以現場問 AI,再一起檢查它答得對不對。