阶段 17

基础设施与生产部署

Ship AI to the real world. Scale, monitor, optimize.

01托管式 LLM 平台——Bedrock、Vertex AI、Azure OpenAILearn~60 minutes测验 02推理平台经济学——Fireworks、Together、Baseten、Modal、Replicate、AnyscaleLearn~60 minutes测验 03Kubernetes 上的 GPU 自动扩缩容——Karpenter、KAI Scheduler、Gang SchedulingLearn~75 minutes测验 04推理引擎内部机制——PagedAttention、连续批处理、分块预填充Learn~75 minutes测验 05生产环境中的 EAGLE-3 投机解码Learn~60 minutes测验 06前缀缓存服务——RadixAttention 与 KV 复用Learn~75 minutes测验 07硬件专用推理编译——Blackwell 上的 FP8 与 NVFP4Learn~75 minutes测验 08推理指标——TTFT、TPOT、ITL、Goodput、P99Learn~60 minutes测验 09生产环境量化——AWQ、GPTQ、GGUF K-quant、FP8、MXFP4/NVFP4Learn~75 minutes测验 10Serverless LLM 的冷启动缓解Learn~60 minutes测验 11多区域 LLM 服务与 KV cache 局部性Learn~60 minutes测验 12边缘推理——Apple Neural Engine、Qualcomm Hexagon、WebGPU/WebLLM、JetsonLearn~60 minutes测验 13LLM 可观测性技术栈选型Learn~60 minutes测验 14Prompt 缓存与语义缓存经济学Learn~60 minutes测验 15Batch API——50% 折扣成为行业标准Learn~45 minutes测验 16模型路由：降本的基础原语Learn~60 minutes测验 17分离式 Prefill/Decode——NVIDIA Dynamo 与 llm-dLearn~75 minutes测验 18生产级服务栈——KV Offload 与缓存感知路由Learn~60 minutes测验 19AI 网关 —— LiteLLM、Portkey、Kong AI Gateway 与 BifrostLearn~60 minutes测验 20LLM 的影子流量、金丝雀发布与渐进式部署Learn~60 minutes测验 21LLM 功能的 A/B 测试 —— GrowthBook、Statsig 与「凭感觉」问题Learn~60 minutes测验 22LLM API 负载测试 —— 为什么 k6 和 Locust 会说谎Build~75 minutes测验 23面向 AI 的 SRE —— 多 Agent 事件响应、运行手册与预测性检测Learn~60 minutes测验 24LLM 生产环境的混沌工程Learn~60 minutes测验 25安全 —— 密钥、API Key 轮换、审计日志与防护栏Learn~60 minutes测验 26合规 —— SOC 2、HIPAA、GDPR、PCI-DSS、欧盟 AI 法案、ISO 42001Learn~60 minutes测验 27LLM 的 FinOps —— 单位经济与多租户归因Learn~60 minutes测验 28自托管服务选型 —— 让引擎匹配硬件与规模Learn~45 minutes测验 29模型演示界面 —— 从函数到可分享的应用Build~90 minutes测验 30GPU Architecture and the Execution ModelBuild~60 minutes测验 31内核融合、Triton 与性能剖析工作流Build~75 minutes测验 32从零实现 FlashAttention-2：分块在线 SoftmaxBuild~75 minutes测验

“Stay hungry, stay foolish.”

— Steve Jobs