26.7.12 Agent开发日志

Sun, 12 Jul 2026 13:10:19 +0800

周末学习

AI Agent（题目Summary）

MinerU 解析出来是 Markdown，相比纯文本，层级结构对检索有啥好处？
1. MinerU是文档解析工具
2. 层级检索存在标题，相较于纯文本，标题更能涵盖文本的大致含义。
你流程里的 VLM，是在检索阶段就参与，还是只在最后生成答案时才参与？
1. VLM视觉语言模型
2. ```
图片
 |
Vision Encoder
 |
Image Embedding
 |
Projector
 |
Visual Tokens
 |
LLM
 |
最终文本输出
```
3. 检索阶段
  1. 输入图片和文字，VLM对图片进行Embedding嵌入->得到VectorDB
  2. 对向量数据库进行整合，找出相似度最高的Png，VLM对Png进行分析
4. 生成答案阶段
  1. 在知识库中存在图片，搜索到Trunk->VLM解析
5. VLM在检索阶段和生成阶段有什么区别？
  1. 区别在于检索对象不同。检索阶段参与时，图片本身会建立 Embedding 索引，Retriever 可以直接检索图片；生成阶段参与时，Retriever 检索的是文本 Chunk，只是在召回的 Chunk 中如果引用了图片，再调用 VLM 对图片进行理解。前者属于多模态检索（Multimodal Retrieval），后者属于多模态生成（Multimodal Generation），企业知识库更常见的是后者，因为实现简单、成本更低。
    - Embedding：回答的是"像不像？"，用于相似度检索。
    - VLM 理解：回答的是"图片里是什么？"，用于生成答案。
Ragas 评测里 Faithfulness （忠诚度）得分低，说明模型出了什么问题？
1. RAG assessmentRAG测评框架
LangGraph 里 Node 和 Edge 各代表业务流中的什么？
1. Node 是"谁来干活"，Edge 是"下一步该谁干活，以及为什么去找他"。
长短期记忆在实现上差在哪？短期记忆通常存在哪？
Agent 怎么识别该用哪个工具？靠名称还是靠功能描述？
1. Tools description，也就是功能描述。
2. 同时会参考工具名称、参数定义和用户当前上下文
3. LLM会判断哪个工具最适合完成当前任务，然后生成对应的工具调用
向量检索和关键词检索，各有什么优缺点？

Agent开发 on Qiqa's Blog

26.7.12 Agent开发日志

周末学习

AI Agent（题目Summary）