本文针对张德海简历中涉及的 AI 相关经验, 深入讲解背后的技术原理、架构设计与落地实践。覆盖 Agent 智能体、Skills 编排、RAG 知识库、Function Calling、 Prompt Engineering、AI Coding 工具链、AI 视觉、LangChain 及 MCP 协议九大技术领域。
1. Agent 智能体
是什么
Agent(智能体)是能够自主感知环境、制定计划、调用工具、执行多步任务的 AI 程序。 与传统的"一问一答"式聊天机器人不同,Agent 具备自主决策能力——它在执行过程中自我反思、 调整策略,遇到错误时自动重试或换方案。
核心架构:ReAct 循环
这是 ReAct(Reasoning + Acting)循环,Agent 在此循环中反复迭代,直到完成任务或达到终止条件。
简历中的对应实践
- 自主决策 Agent:让 LLM 不只是回答问题,而是像员工一样完成完整任务(例如"分析上季度供热能耗异常并出报告")
- 多 Agent 协作:多个 Agent 像团队一样分工——一个负责任务拆解与分发,多个执行 Agent 并行工作,汇总 Agent 整合结果。冲突仲裁机制解决结论不一致问题
- Function Calling / Tool Use:Agent 通过调用外部 API/工具与真实世界交互——查数据库、发邮件、调摄像头、控制设备
- 上下文管理与会话记忆:维护长对话的上下文窗口,通过摘要、压缩、向量记忆等技术让 Agent 记住之前的交互
- 安全护栏(Guardrails):限制 Agent 行为边界——不能删除生产数据、不能发送未经审核的外部邮件、预算上限控制
2. Skills 编排系统
是什么
Skills 编排是将业务能力封装为独立的、可插拔的"技能模块",由 LLM 根据用户意图自动路由到对应 Skill 执行。
与 Agent 的关系
Agent 负责理解意图 + 决策调度,Skills 负责具体执行。
简历中的对应实践
- 可插拔 Skills 框架:新业务能力以 Skill 插件形式注册,支持热加载——不停机就能上线新能力
- LLM 自动路由与编排:用户说"查一下天津项目上个月的能耗",Agent 自动识别并编排"数据查询 Skill → 能耗预测 Skill → 报表生成 Skill"
- 行业定制 Skill:医疗 DRGs(疾病诊断相关分组)分析、供热能耗预测等垂直领域 Skill
3. RAG 知识库(检索增强生成)
是什么
RAG(Retrieval-Augmented Generation)是让 LLM 先检索相关文档,再基于检索结果生成回答的技术。 它解决了 LLM 的两大痛点:
- 知识截止日期:模型训练数据有截止时间,不知道最新信息
- 幻觉问题:没有知识支撑时容易编造,RAG 让回答有据可查
完整 Pipeline
简历中的对应实践
向量数据库选型
Milvus 生产级
开源分布式向量数据库,支持十亿级向量检索,混合查询(标量+向量),适合大规模生产环境。
Chroma 轻量级
轻量级向量数据库,Python 原生,嵌入式运行,适合原型开发和小规模场景。
FAISS 算法库
Meta 开源的向量相似度搜索库,纯算法层面,GPU 加速,支持多种索引类型(IVF/HNSW/PQ)。
混合检索(Hybrid Search)
同时使用语义检索(向量相似度)+ 关键词检索(BM25/Elasticsearch)+ 元数据过滤(按日期、分类、来源筛选),取长补短,提升召回精度。
实际场景
- 制度问答:员工问"年假怎么算",RAG 从公司制度文档中检索并给出准确条款
- 民政 AI 客服:市民问低保申请条件,从民政知识库检索婚姻/低保/养老/残疾/殡葬政策
- 合同审查:上传合同 → 检索相关法规和先例条款 → AI 标注风险项
- 辅助诊断:输入病症描述 → 检索相似病例和诊疗指南 → 辅助医生决策
4. Function Calling / Tool Use
是什么
让 LLM 输出结构化的函数调用请求,而不是自然语言,从而实现与外部系统的精确对接。
工作原理
与传统 API 调用的区别
传统方式是 if-else 意图识别 + 槽位填充,覆盖有限。Function Calling 让 LLM 自主决定
要不要调函数、调哪个函数、用什么参数,灵活度大幅提升。
5. Prompt Engineering
是什么
提示工程——设计、优化和管理 LLM 的输入提示,以引导模型产出期望的输出。 这是一个工程化的过程,不是简单的"写好提示词"。
关键技术
| 技术 | 说明 |
|---|---|
| Few-shot Prompting | 在 Prompt 中给出几个示例,让模型学会输出格式和风格 |
| Chain-of-Thought | 要求模型"一步步思考",显著提升推理任务准确率 |
| System Prompt 设计 | 设定角色、行为约束、输出格式等系统级指令 |
| Prompt 模板化 | 类似代码模板,变量替换 + 条件分支,工程化管理 |
| Prompt 优化与 A/B 测试 | 不同 Prompt 效果对比,迭代优化 |
| Token 预算控制 | 平衡上下文长度与成本——摘要压缩、动态裁剪 |
6. AI Coding 工具链
Claude Code
Anthropic 出品的终端原生 AI 编程助手,运行在命令行环境:
- 可直接读写文件、执行 Shell、操作 Git,不止是"建议代码"
- Agent 模式:给定任务自主规划步骤、执行、验证
- 支持 MCP 协议接入外部工具和数据源
- 支持 Hooks 机制在特定事件触发自定义逻辑
GitHub Copilot
微软/GitHub 的 AI 编程助手,深度集成 IDE:
- 代码补全:根据上下文实时建议下一行/下一段代码
- Chat 面板:IDE 内对话式编程
- Agent 模式:自主规划多文件编辑、运行终端命令
- 代码审查:PR 级别的 AI Review
Cursor
基于 VS Code 深度定制的 AI-first IDE:
- 全文件上下文感知:不只是当前文件,而是整个项目
- Composer:多文件协同编辑
- Apply 模式:AI 修改直接应用到代码
- Rules 系统:项目级/用户级行为约束
Windsurf
Codeium 出品的 AI IDE:
- Cascade:流式 AI 交互,边生成边应用
- 强调实时协作和上下文保持
Aider
开源命令行 AI 编程工具:
- Git 原生:每次修改自动 commit,形成干净的变更历史
- 多模型支持:可对接 OpenAI、Anthropic、本地模型
- 地图文件(Map):生成仓库结构图帮助 LLM 理解项目
- 多文件编辑:一次对话可修改多个文件
AI 代码审查 & 自动测试生成
- AI Code Review:PR/MR 阶段由 AI 自动审查代码质量、安全漏洞、性能问题
- 自动测试生成:AI 分析代码逻辑自动生成单元测试、集成测试用例,提升覆盖率
7. AI 视觉(计算机视觉)
YOLO(You Only Look Once)
实时目标检测算法,核心特点:
- 单次推理:一次前向传播同时完成目标定位 + 分类,速度极快
- 版本迭代:YOLOv5 → YOLOv8 → YOLOv10/YOLO11,精度和速度持续提升
- 实际场景:视频监控中的人/车/物检测、安防异常行为识别
简历中的应用
- 视频智能识别:对接 GB/T 28181 国标视频流,实时分析监控画面
- 自定义模型训练部署:针对特定场景(供热站仪表读数、工地安全帽检测)训练专属模型
- 视频融合平台:国标视频接入 + AI 识别叠加,形成智能安防方案
8. LangChain
是什么
LangChain 是 LLM 应用开发框架,提供标准化的链(Chain)、Agent、 工具(Tool)、记忆(Memory)、检索器(Retriever)等抽象。 它统一了不同 LLM 提供商(OpenAI/Anthropic/本地模型)的接口,简化了 RAG、Agent 等模式的实现。
核心组件
# Chain:将多个步骤串联
chain = prompt | llm | output_parser
# Agent + Tools:让 LLM 学会用工具
from langchain.agents import AgentExecutor, create_react_agent
from langchain.tools import Tool
from langchain.memory import ConversationBufferMemory
from langchain.vectorstores import Milvus
agent = create_react_agent(llm, tools, prompt)
agent_executor = AgentExecutor(agent=agent, tools=tools)
9. MCP 协议(Model Context Protocol)
是什么
Anthropic 推出的开放标准协议,定义了 AI 模型与外部工具/数据源之间的统一通信方式。 可以理解为"AI 世界的 USB-C 接口"。
架构
意义
在 MCP 之前,每个 AI 工具都要单独对接每个外部系统(M×N 的集成复杂度)。MCP 标准化后,工具只需实现一次 MCP Server, 所有支持 MCP 的 AI 应用都能使用(M+N 的复杂度)。
10. 技术组合全景
简历中的 AI 能力不是孤立的,它们在实际项目中形成一条完整链路:
核心理念:让 AI 不只是"聊天",而是真正能干活——查数据、调系统、出报告、审合同、看监控。 这也正是简历中反复强调的"AI 应用落地"的含义。