表示具有多个属性的实体,比如文本、图像、音频等。在向量数据库中,每个向量都有一个唯一的
标识符,并且可以存储在一个连续的向量空间中。
根据存储数据量以及综合性能选择 Pipecone 作为本项目的向量数据库存储数据。Pipecone 可
以存储和管理大规模的高维向量数据,并提供快速,准确的相似性搜索。不仅支持实时查询处理,
可以毫秒级别返回最相似的结果,还能支持快速添加和删除向量数据,并实现动态缩放。更重要的
是 Pinecone 提供了直观的 API 和友好的用户界面,如图 4.2 与图 4.3 所示,使得开发者可以轻松
地创建索引、存储向量数据以及执行查询操作。
4.2.3 Weaviate
Weaviate 是一个向量搜索引擎数据库,它专注于连接和管理分散的数据,并通过语义链接来
解析和查询这些数据。它的主要功能包括语义搜索、数据链接和知识图谱构建。Weaviate 的关键
特性包括机器学习集成,支持多种相似度度量,如欧氏距离和余弦相似度,以及可扩展性。
Weaviate 的主要用途是帮助开发者构建智能应用程序,利用其强大的语义搜索和数据关联功能,
本章介绍了向量知识库在信息检索和数据管理中的具体优势,随后介绍了向量知识库的构建,是提取分割文本,嵌入向量,随后构成向量知识库。给出了 embedding 的原理以及给出了使用
embedding API 将数据变成向量的代码示意,经过向量化的数据,将其存入 Pipecone,后将数据
库与 Weaviate 相连,完成语义搜索、数据链接和知识图谱构建。
架,用于增强语言模型的性能,尤其适合于构建特定领域的专业大模型。这一技术通过从大规模知
识库检索相关信息,然后将这些信息融入生成过程中,来生成更准确、更丰富的响应。本节将详细
阐述如何使用 RAG 技术基于通用大模型搭建电力生命周期评估(LCA)领域的专业大模型。
RAG 技术核心在于将传统的语言生成模型与信息检索系统结合起来。这种结合不仅使模型能够
生成语言,还能从大量的文档中检索到具体的事实和数据,从而提供更加精确和详细的生成内容。
RAG 的工作流程大致可以分为以下几步:
查询生成:根据输入,如一个问题或提示,生成一个查询。
文档检索:使用生成的查询在知识库中检索相关文档或信息。
内容融合:将检索到的信息与原始查询融合,形成新的、丰富的输入。
答案生成:基于融合后的输入,使用语言生成模型生成最终的文本输出。
先前已经构建好了针对电力 LCA 领域的专业大模型,但是缺少检验模型的手段,即缺少模型优
化环节,本项目设置通过 Chatbot 模式,通过与用户进行问答的形式,检验模型是否能调用电力行
业 LCA 领域向量数据库回答该领域专业性问题和时效性问题的有效性。
Chatbot 模式的测试不仅可以验证模型的知识覆盖范围和答案的准确性,还可以评估模型的用
户交互能力。这种测试模拟真实用户与模型的交互,可以揭示模型在理解和生成回应方面的潜在问
题。
测试流程包括以下几个步骤:
测试设计:根据目标领域定义测试用例,包括典型问题、边缘情况和错误输入。
环境搭建:搭建测试环境,包括聊天界面和后端模型处理系统。
执行测试:记录模型的回应。
评估结果:根据预设的标准(如准确性、响应时间、用户满意度)评估模型表现。
优化模型:根据测试结果对模型进行调整和优化。