[!IMPORTANT] 下次討論時間:11/1(日) 台灣時間晚上9:00-10:30,討論單元:Agent 基礎與 LLM 系統觀

Agent Atlas 技術與實戰交流

AI Agents 技術與實戰交流的共筆與共享資源。

📚 課程資料:Agent Atlas|AI Agents 統一課程資源

🎥 線上聚會:Google Meet

👥 貢獻者:貢獻者名單

Agent Atlas 把 CMU、Stanford 與 Harvard 的七門課程串成一條 AI Agent 學習路線,整理成 12 個單元:從建構 Agent、驗證能力,一路走到軟體交付與持續改進。技術與實戰交流依照這條路線進行,這個 repo 用來放大家的筆記、討論紀錄和延伸資源。

單元順序是 Agent Atlas 建議的路線,不是原校的官方課綱。原始教材的版權屬於各課程作者。

目錄結構 #

.
├── notes/                        # 共筆:單元 / 名字 / index.md
│   ├── template.md
│   ├── 01-agent-foundations/
│   │   └── jimmy/
│   │       └── index.md
│   └── ...
├── discussions/                  # 聚會紀錄:日期 / index.md
│   ├── template.md
│   └── 2026-10-18/
│       └── index.md
└── projects/                     # 實作與整合專題:名字 / index.md
    ├── template.md
    └── jimmy/
        └── index.md

每個資料夾的入口都是 index.md。同一個資料夾裡的其他檔案(拆開的子筆記、圖片、程式碼片段)怎麼命名由作者自己安排,記得從 index.md 連過去。

建議的單元資料夾名稱:

01-agent-foundations        05-context-memory-multi-agent   09-applications
02-tools-and-harness        06-evaluation-observability     10-deployment-performance
03-rag-and-knowledge        07-training-self-improvement    11-ai-native-software-engineering
04-reasoning-planning       08-safety-reliability           12-capstone

學習路線 #

# 階段 單元 日期 導讀
01 打基礎 Agent 基礎與 LLM 系統觀 11/1 Jimmy Yeh
02 打基礎 工具使用與 Agent Harness
03 打基礎 RAG、知識整理與可靠查詢
04 設計與驗證 推理、規劃與推論時計算
05 設計與驗證 脈絡、記憶與多 Agent 協作
06 設計與驗證 評估、資料與可觀測性
07 改進與應用 訓練、最佳化與自我改進
08 改進與應用 安全、約束與可靠性
09 改進與應用 程式、研究與多模態應用
10 改進與應用 模型部署、成本與系統效能
11 改進與應用 AI 原生軟體工程與交付
12 改進與應用 整合專題與研究呈現

先備知識:Python、基本機器學習與 LLM 使用經驗。單元 10 另外建議有 PyTorch 與電腦系統的背景;CMU 11-664/763 適合有 NLP 與語言模型基礎的人,可以從機率、取樣與搜尋開始,再接推論服務實作。CS146S 要求有扎實的程式能力(約 Stanford CS111/CS161 的程度),但不需要先用過 AI 工具;它的軟體交付流程可以和整合專題同時進行。

整合專題:Agent Atlas 建議用同一個研究助理專題走完七個階段:釐清需求與風險 → 研究、提案與規格 → MCP 與可重用 Skills → 準備 Agent 能理解的程式庫 → 實作並驗證能力 → 獨立審查與修正 → 發布、量測與持續維護。這是 Agent Atlas 設計的自學建議。

原始課程 #

課程 學校 學期 在路線中的角色
11-768 AI Agents Carnegie Mellon Fall 2026 基礎與完整實作
CS329Z Engineering AI Agents Stanford Fall 2026 系統工程與評估
CS224V Agentic AI Stanford Fall 2026 知識與可靠對話
CS329A Self-Improving AI Agents Stanford Autumn 2025 推理與自我改進
CS2680 Modern AI Systems: Agents and System Optimizations Harvard Fall 2026 模型部署與效能最佳化
11-664/763 Inference Algorithms for Language Modeling Carnegie Mellon Fall 2025 解碼策略與推論演算法
CS146S The Modern Software Developer Stanford Fall 2026 人與 Agent 協作開發、驗證與交付

Side Project 點子 #

想邊讀邊動手的話,可以從下面挑一個題目。來源包含比賽、課程作業、開源專案和社群上的實驗,每個點子都標了最相關的單元,方便對照技術與實戰交流進度。做出來的東西歡迎放進 projects/<你的名字>/。

資料整理於 2026 年 10 月。比賽期限、規則和排行榜常常變動,請以官方頁面為準。

比賽與排行榜 #

點子 要做什麼 單元 來源
ARC-AGI-3 寫一個 agent 玩沒看過的互動式解謎遊戲,沒有任何說明,得自己摸索規則。評測時不能連網,所以要用開源模型;2026-11-02 截止投稿 04、07 ARC Prize 2026、Kaggle
狼人殺/撲克 Arena Kaggle Game Arena 讓 LLM 互相下棋、打撲克、玩狼人殺。可以自己做一個小 harness,比較不同模型、prompt 和記憶設計 04、05 Kaggle Game Arena
20 個問題 一個 agent 出題、一個 agent 猜,比的是多輪提問策略。比賽已結束,可以讀得獎解法,再自己做 LLM 對 LLM 的版本 04、05 Kaggle LLM 20 Questions
修真實的 GitHub issue 抗資料汙染版的 SWE-bench,題目在投稿截止後才收集。第一輪最高分只有 7.5%,很適合看出 coding agent 的極限 09 Kaggle Konwinski Prize
先做 benchmark 再做 agent Berkeley RDI 的比賽:Phase 1 設計評測 agent 的 benchmark,Phase 2 做 agent 去挑戰別人的 benchmark。這屆已結束,但這個「先定評測再做系統」的流程很值得照著練 06 AgentX–AgentBeats
終端機任務 讓 agent 在終端機裡完成真實的工程任務,可以用官方工具跑自己的 agent,再投稿排行榜 02、06 Terminal-Bench
客服 agent 航空、零售、電信等客服情境,連使用者都由 LLM 扮演。可以試著提高成功率,同時不違反客服政策 06、08 τ²-bench
玩 NetHack 從幾秒就能玩完的小遊戲到 NetHack 都有,可以測 agent 的長程規劃,也可以比較加上畫面輸入後有沒有變好 04、09 BALROG

課程作業與專題 #

點子 要做什麼 單元 來源
GAIA 期末作業 Hugging Face Agents Course 的期末作業:做一個 agent 回答 20 題 GAIA Level 1,答對 30% 以上就拿到證書,還有學生排行榜可以比 02、03 HF Agents Course Unit 4
Kaggle × Google 五天 Agent 課 每一屆結束時都有 capstone 專題,教材和 notebook 留在 Kaggle 可以自學 01、02、12 5-Day AI Agents Intensive
不用框架實作設計模式 Andrew Ng 的課用純 Python 實作 reflection、tool use、planning、multi-agent。可以四種各做一個小 demo,再組成一個研究助理 01、04、05 DeepLearning.AI Agentic AI
Berkeley Agentic AI MOOC 講座影片放在 YouTube,可以搭配上面的 AgentBeats 比賽一起做 01、06 Agentic AI MOOC (F25)

原始課程本身的作業和期末專題也是很好的題目,但記得遵守下面的注意事項,不要公開作業解答。

從開源專案出發 #

建議的玩法:先讀懂,再用自己的方式重做一次,最後改一個你在意的地方,然後量量看效果。

點子 要做什麼 單元 來源
400 行寫出 coding agent 跟著這篇文章用 Go 寫出只有 read_file、list_files、edit_file 三個工具的 agent,再用你熟悉的語言重寫一次 02 How to Build an Agent
100 行的 SWE agent 只用 bash、不用 tool calling 的 coding agent,在 SWE-bench Verified 卻有很高的分數。可以換模型、改 prompt,看分數怎麼變 02、09 mini-swe-agent
自動寫維基百科文章 模擬不同觀點的專家互相提問,整理大綱,最後寫出附引用的長文。這是 CS224V 授課老師 Monica Lam 實驗室的專案 03、05 STORM
AI 小鎮 一群 agent 住在同一個小鎮,靠記憶、反思和計畫過生活。可以縮小成 3–5 個角色,換成便宜的模型重跑 05 Generative Agents、AI Town
Minecraft 隊友 讓 LLM 控制 Minecraft 角色和玩家合作,附帶多 agent 協作 benchmark。README 提醒不要在公開伺服器上開啟寫程式的功能 05、09 Mindcraft
外交談判遊戲 讓 LLM 玩 Diplomacy,談判、結盟、背叛都有,每個 agent 用私人日記管理記憶。可以觀察哪個模型最會說謊 05、08 AI Diplomacy
一晚跑 100 個實驗 讓 coding agent 修改訓練程式,每次訓練 5 分鐘,只保留有進步的改動。需要一張 GPU 07、10 autoresearch
AI 科學家 自動提出假設、跑實驗、寫論文。會執行 LLM 寫的程式,請在沙盒裡跑 09 AI Scientist v2
操作瀏覽器 讓 agent 幫你操作網頁,例如追蹤課程網站的更新,或整理每週的論文清單 09 browser-use

社群上的有趣實驗 #

這些實驗在 X、YouTube、Twitch 上傳得很廣,很適合做成縮小版。

點子 要做什麼 單元 來源
Claude 玩寶可夢 Claude 只看遊戲畫面、按按鈕、寫筆記來玩寶可夢紅版,全程直播。縮小版:模擬器 + 截圖 + 按鍵工具 + 筆記檔,挑戰走出第一個城鎮 05、09 Twitch 直播
讓 agent 開店 Anthropic 讓 Claude 經營辦公室小商店一個月,結果虧錢。可以寫一個商店模擬器,讓 agent 經營 30 天,記錄它在哪裡出錯 06、08 Project Vend、Vending-Bench
Agent 村莊 幾個 agent 各有一台電腦,共用一個群組聊天室,一起完成長期目標,例如替慈善活動募款。可以做一個 3 個 agent 的版本,給它們一週的目標 05、08 AI Village
外交遊戲直播 上面的 AI Diplomacy 曾經在 Twitch 直播,這篇文章說明了他們怎麼把系統做到能穩定跑完整局 05 How We Made AI Diplomacy Work

在 YouTube、X、LinkedIn 上看到有趣的 agent 實作,歡迎直接發 PR 補進來,一兩句話說明它在做什麼就好。

如何貢獻 #

  1. notes/、discussions/、projects/ 底下都有一份 template.md,複製到對應的資料夾、改名為 index.md 再開始寫:
    • 筆記:notes/<單元>/<你的名字>/index.md,例如 notes/01-agent-foundations/jimmy/index.md
    • 討論紀錄:discussions/<聚會日期>/index.md,例如 discussions/2026-10-18/index.md
    • 專題:projects/<你的名字>/index.md,例如 projects/jimmy/index.md
  2. 資料夾裡除了 index.md,其他檔案的名字和拆法由作者自己決定。
  3. 引用原始教材時附上連結(投影片、影片、論文),方便大家回到原始資料。
  4. 延伸資源放在筆記的「延伸閱讀」,每一項寫一兩句說明:這份資源在講什麼、為什麼值得看。
  5. 修改別人的筆記前,先在github issues或聚會時跟作者說一聲。
  6. 第一次貢獻時,把自己加進貢獻者名單。請照 GitHub username 的字母順序排,格式如下:
    ## [@你的-github-username](https://github.com/你的-github-username)
    
    - 名字:<希望大家怎麼稱呼你>
    - <任何你想公開的資訊,例如自我介紹、正在研究什麼、個人網站、社群帳號>
    
    只有 GitHub username 是必填,其他想寫什麼、寫多少都可以。

在本機預覽網站 #

repo 裡的 Markdown 和 HTML 檔案合併進 main 之後,會自動發布到 GitHub Pages。想先看看自己的筆記在網站上長什麼樣子,可以在本機預覽(需要 Node.js 20 以上):

cd .github/pages
npm ci             # 第一次才需要
npm run preview

用瀏覽器打開 http://localhost:4000/ 就能看到網站。新增或修改檔案後,網站會自動重新建置,瀏覽器也會跟著重新整理;還沒 commit 的新檔案也看得到。按 Ctrl+C 結束預覽。如果 4000 port 被占用了,可以換一個,例如 npm run preview -- 4001。

注意事項 #

教材與作業 #

  • 不要上傳原課程的投影片、影片或講義檔案,請用連結。
  • 各課程的作業可能仍在進行中,請不要公開張貼作業解答;分享自己的思路與實作心得沒問題。

使用 AI #

歡迎用 AI 輔助學習。原則只有一個:AI 幫你讀懂,但不代替你讀懂。

  • 先讀原文,再問 AI:AI 摘要不能取代原始教材,導讀人尤其要親自讀過投影片、影片和指定閱讀。卡住的時候再請 AI 換個方式解釋、舉例子,或補先備知識。
  • 用 AI 檢查自己懂了沒:讀完先用自己的話寫一段說明,再請 AI 挑錯、追問,或出幾題考自己。這比請它寫摘要有用得多。
  • 查證來源:AI 可能編出不存在的論文、引用或 API,agent 領域變化又快,它的知識也常常過時。筆記裡的引用和連結要親自點開確認;模型、框架和 benchmark 的最新數字以官方頁面為準。
  • 筆記用自己的話寫:可以請 AI 潤稿、整理格式或翻譯,但「我的理解與疑問」請自己寫,這是筆記最有價值的部分。不要把 AI 產生的摘要直接貼成筆記。
  • 標示 AI 協助的部分:在筆記開頭的「AI 使用說明」欄位寫下用了什麼工具、做了哪些事。大段由 AI 產生的內容(摘要、程式碼、圖表),也在旁邊註明,例如「(AI 協助整理,已對照原文)」。
  • 遵守課程的 AI 政策:正式修課的人,作業能不能用 AI、可以用到什麼程度,請依各課程的規定。
  • 不要把不該外流的東西交給 AI:需要登入才能取得的教材與錄影、別人還沒公開的筆記、個人資料和 API 金鑰,都不要貼進 AI 服務。使用前看一下服務會不會拿你的資料去訓練。
  • 讓 coding agent 在安全的環境裡跑:很多 side project 會讓 agent 執行它自己寫的程式,請在容器或沙盒裡跑,不要給它正式環境的權限。commit 前自己看過 diff,金鑰放在 .env 並加進 .gitignore。
  • 注意花費:呼叫 API 的實驗很容易越跑越貴。先設好用量上限,用便宜的模型把流程跑通,再換大模型。
  • 把用 AI 的經驗帶來分享:這是讀 AI Agent 的技術與實戰交流,你每天用的 AI 工具就是很好的觀察對象。它在哪裡出錯、哪個 prompt 或工作流程特別有效,都可以寫進筆記或在聚會時分享。聚會中遇到大家都答不出來的問題,也可以現場問 AI,再一起檢查它答得對不對。