Agent开发

周末学习 AI Agent（题目Summary） MinerU 解析出来是 Markdown，相比纯文本，层级结构对检索有啥好处？ MinerU是文档解析工具 层级检索存在标题，相较于纯文本，标题更能涵盖文本的大致含义。 你流程里的 VLM，是在检索阶段就参与，还是只在最后生成答案时才参与？ VLM视觉语言模型 图片 | Vision Encoder | Image Embedding | Projector | Visual Tokens | LLM | 最终文本输出 检索阶段 输入图片和文字，VLM对图片进行Embedding嵌入->得到VectorDB 对向量数据库进行整合，找出相似度最高的Png，VLM对Png进行分析 生成答案阶段 在知识库中存在图片，搜索到Trunk->VLM解析 VLM在检索阶段和生成阶段有什么区别？ 区别在于检索对象不同。检索阶段参与时，图片本身会建立 Embedding 索引，Retriever 可以直接检索图片；生成阶段参与时，Retriever 检索的是文本 Chunk，只是在召回的 Chunk 中如果引用了图片，再调用 VLM 对图片进行理解。前者属于多模态检索（Multimodal Retrieval），后者属于多模态生成（Multimodal Generation），企业知识库更常见的是后者，因为实现简单、成本更低。 Embedding：回答的是"像不像？"，用于相似度检索。 VLM 理解：回答的是"图片里是什么？"，用于生成答案。 Ragas 评测里 Faithfulness （忠诚度）得分低，说明模型出了什么问题？ RAG assessmentRAG测评框架 LangGraph 里 Node 和 Edge 各代表业务流中的什么？ Node 是"谁来干活"，Edge 是"下一步该谁干活，以及为什么去找他"。 长短期记忆在实现上差在哪？短期记忆通常存在哪？ Agent 怎么识别该用哪个工具？靠名称还是靠功能描述？ Tools description，也就是功能描述。 同时会参考工具名称、参数定义和用户当前上下文 LLM会判断哪个工具最适合完成当前任务，然后生成对应的工具调用 向量检索和关键词检索，各有什么优缺点？ ...