AI 工程师学习地图
13 条面向在职工程师的角色路线,覆盖全部 542 课。每条都是有序、可验证的路线,通往可展示的实战作品——按目标岗位选一条开始。
Agent 技能工程
Agent Skills Engineering
在真实主机中构建、路由、保护、评估、打包和验证 Agent 技能。
先修要求
- 文件、Python 和命令行 — 能编辑文本文件、查看目录并运行 Python 命令。不需要 Agent 框架经验。
- 真实实验所需:Node.js、npx 和 Python 3 — 安装和捆绑脚本 checkpoint 需要可用的 node、npx 和 python3 命令。当这些命令不可用时,网站和文档可作为概念性备选。
- 一个选定的支持技能的主机及安装范围 — 安装前选择一个受支持的 Agent 主机以及一个可写的项目级或用户级技能范围。记录精确的主机、范围和安装路径;不要从安装成功推断已发现。
- 工具接口 — 如果你不熟悉工具 schema 和副作用边界,先快速浏览这节课。
- 工具 Schema 设计 — 如果你还没设计过带类型的工具契约,先快速浏览这节课。
- 工具投毒与不可信指令 — 在第 26 课之前,解释为什么技能和工具元数据是不可信输入。如果本次预检尚未通过,第 15 课是该五课路线外的可选复习课。
课程顺序
Agent 系统工程
Agent Systems Engineering
你是否想构建 tool call 型系统,使其状态、决策、故障和控制都可被观测?
构建具备显式上下文、记忆、编排、安全、评估和生产控制的 tool call 型 Agent 循环。
这个岗位做什么
- 设计工具契约,闭合思考、行动、观察循环。
- 控制上下文、记忆、状态转移和编排。
- 建模故障,防御工具与指令边界。
- 基于轨迹和控制评估行为,并操作运行时。
适合你,如果
- 你喜欢推理状态系统、控制流和故障恢复。
- 你希望自主性受显式契约和证据约束。
- 你更偏好可测试的编排,而非黑盒 Agent 演示。
实战作品
可观测 Agent 系统 — 构建一个受约束的 Agent 工作流,使其工具、状态、记忆、故障行为和发布证据都可被检查。
公共核心
构建类型化工具面和受约束的 Agent 循环。
- 01工具接口——为什么 Agent 需要结构化 I/O
- 05工具 Schema 设计——命名、描述与参数约束
- 06MCP 基础:无状态请求与 JSON-RPC
- 01Agent 循环:观察、思考、行动
- 06工具使用与 Function calling
一个具备类型化工具、验证、停止条件和 transcript 的确定性 Agent 循环。
角色实战
让上下文、记忆、状态和编排变得显式且可测试。
一个具备上下文预算、记忆策略、checkpoint 和恢复路径的状态化工作流。
实战作品
在发布前用真实故障和不安全输入对系统加压。
一个具备对抗测试、轨迹评估和显式发布门控的可观测 Agent 系统。
面试与就绪证据
证明运行时可通过控制项和轨迹证据来操作。
一份包含架构、故障证据、运行时控制、轨迹和合理权衡的案例研究。
AI 数据系统
AI Data Systems
你是否希望让训练、检索、评估和生产行为背后的数据值得信赖?
为 AI 系统构建可靠的数据、特征、embedding、检索、评估和可观测性 pipeline。
这个岗位做什么
- 设计可复现的摄取、转换和特征 pipeline。
- 构建具备显式质量指标的 embedding 和检索路径。
- 检测泄漏、漂移、缺失数据和检索回退。
- 从源头到生产环境,对数据依赖行为进行埋点。
适合你,如果
- 相比演示,你更在意血缘、可重复性和数据质量。
- 你喜欢把模型行为追溯到数据和检索决策。
- 你希望把数据系统与可衡量的 AI 结果关联起来。
实战作品
可溯源的 AI 数据 Pipeline — 构建一条可复现的数据与检索路径,使其输入、转换、质量检查和下游影响都可被检查。
公共核心
构建可复现的数据、特征和语言模型准备 pipeline。
一个带版本控制、确定性转换、切分检查和可复现运行记录的 pipeline。
角色实战
构建可独立测量质量的上下文和检索路径。
一个具备文档化语料、索引配置和检索指标的系统。
实战作品
把数据路径连接到经过评估的准生产应用。
一条具备端到端质量检查和应用级评估的可溯源 AI 数据 pipeline。
面试与就绪证据
展示 telemetry 如何区分数据、检索和生成故障。
一份将生产症状关联到责任数据或检索阶段的故障分析。
开发者体验与教育
Developer Experience and Education
是否想让开发者更容易理解、采用并正确使用 AI 能力?
构建可信的集成、示例和可复用的 Agent 包,并把开发者的摩擦转化为更清晰的工具和教学内容。
这个岗位做什么
- 为开发者设计清晰的 API、工具和协议契约。
- 构建可运行的示例和可复用的 Agent 包。
- 准确教授运行时行为、权衡和失败模式。
- 将开发者的摩擦和反馈转化为产品与文档的改进。
适合你,如果
- 喜欢写软件,也喜欢解释它为什么这样工作。
- 关注首次运行成功率、示例、文档和开发者信任。
- 希望用开发者反馈来塑造产品。
实战作品
开发者采用套件 — 将一项 AI 能力封装为可被发现、可运行、可检查、可验证的集成。
公共核心
从凭证到工具和协议契约,构建一个稳妥的能力接口。
- 04API 与密钥
- 01工具接口——为什么 Agent 需要结构化 I/O
- 05工具 Schema 设计——命名、描述与参数约束
- 06MCP 基础:无状态请求与 JSON-RPC
- 07构建 MCP 服务器:无状态的 Python 与 TypeScript
一个可运行的集成,具备清晰的契约、安装路径和可观测的错误行为。
角色实战
让可复用的 Agent 知识可被发现、可被调用、可渐进式披露。
一个技能包,具备简洁元数据、分级引用和明确的调用示例。
实战作品
证明该包及其周边工具生态在受支持的上下文中都能工作。
一份开发者采用套件,包含验证结果、可移植性说明和一个端到端可运行示例。
面试与就绪证据
展示开发者反馈如何改变了该集成或其教学路径。
一份简短的采用案例研究,包含摩擦证据、所做的改动和可衡量的结果。
AI 评估与可靠性
AI Evaluation and Reliability
你是否想把模型与系统的不确定性转化为评估、可观测性、发布和恢复证据?
度量模型与 Agent 行为,暴露故障模式,对运行时进行埋点,并围绕证据构建发布与事件控制。
这个岗位做什么
- 围绕真实故障风险设计模型、LLM 和 Agent 评估。
- 用有用的 telemetry 对推理行为和系统健康进行埋点。
- 在发布前测试负载、实验、金丝雀和回滚条件。
- 用事件和混沌测试改进可靠性控制。
适合你,如果
- 你更偏好可度量证据,而非自信的完成声明。
- 你喜欢发现边界情况、回退和系统故障路径。
- 你希望评估和运维共享同一套发布证据。
实战作品
回退与可靠性门控 — 构建一个证据门控,连接行为评估、运行时 telemetry、负载、发布和恢复决策。
公共核心
定义行为、评估层级、故障模式和轨迹语义。
一份包含故障分类、轨迹 schema 和回退阈值的分层评估计划。
角色实战
度量推理健康、生产行为、实验和容量上限。
- 08推理指标——TTFT、TPOT、ITL、Goodput、P99
- 13LLM 可观测性技术栈选型
- 21LLM 功能的 A/B 测试 —— GrowthBook、Statsig 与「凭感觉」问题
- 22LLM API 负载测试 —— 为什么 k6 和 Locust 会说谎
一份将服务指标与行为和用户结果关联起来的可观测性和负载报告。
实战作品
在受控故障下证明发布和恢复行为。
一个具备金丝雀阈值、回滚证据和混沌测试结果的门控。
面试与就绪证据
展示目标、事件和纠正措施如何构成可靠性的操作系统。
一份包含 SLO、故障证据、响应决策和已验证纠正措施的可靠性案例研究。
LLM 产品工程
LLM Product Engineering
是否想把 LLM 能力变成一个可靠、可衡量用户行为的产品功能?
将 LLM 能力转化为经过评估、安全、具备成本意识且能扛住生产流量的产品行为。
这个岗位做什么
- 使用 prompt、schema、上下文、检索和工具塑造模型行为。
- 围绕产品需求定义评估集和防护栏。
- 在质量、延迟、成本和运维风险之间取得平衡。
- 通过生产接口和分阶段受控发布交付。
适合你,如果
- 想把模型行为直接连接到面向用户的产品。
- 喜欢在质量、安全、延迟和成本之间做权衡。
- 更看重可衡量的产品行为,而不是孤立的模型演示。
实战作品
生产级 LLM 功能 — 构建一个基于检索或工具的 LLM 功能,具备清晰用户契约、可衡量质量、安全控制和分阶段发布计划。
公共核心
通过 prompt、schema、上下文、检索和工具塑造语言模型行为。
- 01Prompt 工程:技术与模式
- 03结构化输出:JSON、Schema 校验与约束解码
- 04嵌入与向量表示
- 05上下文工程:窗口、预算、记忆与检索
- 06RAG(检索增强生成)
- 09Function calling 与工具使用
一个具备类型化用户契约、可观测工具或检索行为的 grounded 功能原型。
角色实战
在生产暴露前衡量质量并控制成本与安全。
一套包含防护栏测试以及质量、延迟、成本评分卡的评估套件。
实战作品
将功能封装为带有运维控制的生产级应用。
一个已部署的 LLM 功能,具备路由、限流、可观测性钩子和已记录的失败行为。
面试与就绪证据
展示功能如何借助回滚证据逐步进行受控暴露。
一份产品案例研究,包含评估结果、成本权衡、发布门禁和回滚决策。
构建与部署 AI 应用
Building and Deploying AI Applications
从 prompt 和结构化输出出发,经过检索、评估、生产级 serving、可观测性与发布,完成一个 AI 功能。
课程顺序
客户 AI 部署
Customer AI Deployment
你是否想发现客户工作流,验证一个窄方案,并将其推进到可度量的发布?
发现客户工作流,削减风险最高的假设,并将一个有用的 AI 系统推进到度量和发布。
这个岗位做什么
- 观察真实工作流,与用户一起定义目标结果。
- 梳理假设、约束、依赖和故障风险。
- 构建能验证核心主张的最小垂直切片。
- 定义成功指标、发布控制项和反馈闭环。
适合你,如果
- 你想贴近用户和充满不确定性的运营环境工作。
- 你乐于在发现、实现、评估和发布之间切换。
- 你能向技术和运营利益相关方解释权衡。
实战作品
可度量的客户试点 — 把已记录的工作流转化为一个窄范围试点,具备明确证据、发布控制项和反馈计划。
公共核心
框定客户结果、工作流、假设和最小可用测试。
一份工作流简报,包含结果、证据、假设、风险和可执行的切片规范。
角色实战
对照明确的成功标准构建并评估窄范围 AI 系统。
一个可运行的垂直切片,附带评估集、基线和成功计分卡。
实战作品
选择正确的发布阶段,让试点在受控暴露中推进。
一个可度量的试点,具备发布门控、回滚条件和记录结果。
面试与就绪证据
展示证据和用户反馈如何决定下一次迭代。
一份简洁的案例研究,连接用户证据、系统结果、权衡和下一步决策。
Model Context Protocol (MCP)
从 JSON-RPC 信封到一致性发布门禁,构建、保护、验证和运维无状态的 MCP 系统。
先修要求
- Python 与命令行基础 — 能查看 JSON、编辑文件并运行 Python 命令。不需要 MCP 或 Agent 框架经验。
- 可执行网络证据所需 Python 3 — 确定性实现和测试使用 Python 3。第 07 课的第二个实现可选 TypeScript 运行器。
- 工具接口 — 如果你不熟悉带类型的 tool call 和副作用边界,先快速浏览这节课。
- 工具 Schema 设计 — 如果你还没设计或验证过 JSON Schema 工具输入,先快速浏览这节课。
课程顺序
- 06MCP 基础:无状态请求与 JSON-RPC55 min
- 07构建 MCP 服务器:无状态的 Python 与 TypeScript85 min
- 08构建 MCP 客户端:发现、路由与双时代回退85 min
- 09MCP 传输:stdio 与无状态 Streamable HTTP65 min
- 10MCP 资源与提示:为无状态服务器提供可寻址的上下文60 min
- 11MCP 模型输入:Sampling 迁移与无状态 MRTR75 min
- 12显式作用域与无状态 Elicitation60 min
- 13MCP Tasks 扩展:无状态核心上的持久化工作90 min
- 14无状态协议上的 MCP Apps75 min
- 15MCP 安全:被投毒的元数据、路由与 MRTR 状态60 min
- 16MCP 授权:CIMD、签发者绑定、PKCE 与增量授权90 min
- 18生产环境中的 MCP 认证:按签发方绑定注册与 token90 min
- 17无状态 MCP 网关与注册表准入75 min
- 28MCP 工具契约与内容120 min
- 29MCP 可靠性、取消与流控120 min
- 30MCP Registry 供应链:准入、漂移与回滚90 min
- 31MCP 一致性工程:版本、证据与运维100 min
逆向工程
Reverse Engineering
阅读你自己编译的程序:解析文件、解码指令、提升到伪代码、记录证据、证明重编译等价;再用这套流程认识整个领域及其主要工具。
先修要求
- Python、十六进制与命令行 — 能阅读 Python、执行命令、在十六进制与十进制之间转换。不需要有汇编或二进制分析经验。
- Python 3.10 或更高版本 — 路径中的 reader、decoder、lifter 和 ledger 都只使用 Python 标准库。编译后的 fixture 已包含在仓库中。
- 用于重编译 fixture 和第 36 课的 clang — clang 用于从源码重编译 fixture 并编译第 36 课的差分驱动。没有它时,第 36 课会读取已提交的 object,并将行为断言标记为未知。
- 只分析你自己编写或获得授权分析的程序 — 在第 32 课实验前,确认每个目标都是你编写并编译的程序,或持有书面授权的程序。第 32 课开头会讲法律和授权规则。
课程顺序
- 32程序解剖:从零编写 ELF 读取器120 min
- 33反汇编与控制流:从字节到可检验的图150 min
- 34提升为伪代码:IR、SSA 与从零恢复结构150 min
- 35二进制分析中的证据、置信度与未知项105 min
- 36重建并证明等价:差分测试、字节比较与证据闭环110 min
- 37逆向工程全景:历史、工具家族与反编译器的构建方式150 min
- 38调用约定与栈帧:System V、Windows x64 与 AArch64140 min
- 39编译器惯用法:优化对你的代码做了什么,以及如何把它读回来150 min
- 40链接、加载与剥离符号的二进制文件:PLT、GOT、导入、修正与函数识别160 min
- 41恢复数据与类型:结构体、数组、C++ 对象与 DWARF140 min
- 42对自己程序的动态分析:调试器、跟踪,以及证实静态论断130 min
- 43超越原生代码:Python、JVM、.NET 与 WebAssembly 字节码150 min
- 44二进制差异比较与符号执行:匹配函数并求解输入150 min
- 45AI 辅助逆向工程:LLM 反编译器、分析 Agent 与基准真相140 min
产品判断与交付
Product Judgment and Delivery
把证据转化为成果、假设、可测试切片、可执行规范、度量计划以及有主的反馈闭环。
课程顺序
软件工程基础
Software Engineering Fundamentals
打好 AI 系统依赖的代码仓库、调试、测试、接口、安全、发布与运维基础。
课程顺序
Agent 辅助工程
Agent-Assisted Engineering
在真实代码仓库中框定任务、规划、执行、委派、验证、评审并持续改进编码 Agent 的工作。
课程顺序
- 31Agent 工作台工程:为什么有能力的模型仍然会失败45 min
- 32最小 Agent 工作台45 min
- 33将 Agent 指令写成可执行约束50 min
- 34仓库记忆与持久状态60 min
- 35Agent 的初始化脚本45 min
- 36范围契约与任务边界50 min
- 43在 Agent 写代码之前先框定任务60 min
- 44构建有证据支撑的执行计划65 min
- 37运行时反馈回路50 min
- 38验证门55 min
- 39审查 Agent:让构建者与评分者分离55 min
- 45用隔离与合并契约委派 Agent 工作70 min
- 40多会话交接50 min
- 41真实仓库上的工作台60 min
- 46把每一次 Agent 纠正转化为系统改进65 min
- 42项目:交付可复用的 Agent 工作台包75 min
“Stay hungry, stay foolish.”
— Steve Jobs