本论文研究了大语言模型(LLM),结合电力行业的生命周期评估(LCA)领域的英文文献,对
这些文献进行解析。通过处理,构建了一个完整的向量知识库,能够直接被大语言模型调用,极大
程度地增强了大语言模型在特定领域的可信度和实用性。
项目的关键成果之一是建立了一个大模型能直接调用的向量知识库,构成了一个智能的文献处
理系统。引入了检索增强生成(RAG)技术可以显著提升大语言模型在专业领域的表现。它可以改
善信息检索的精度和效率,使得模型在生成文本时能够更好地借鉴外部知识和信息,从而产生更准
确、更有用的内容。该文献处理系统经过了实际测试,并以 Chatbot 模式展现了良好的应用效果。
而后,通过不断对系统进行性能评估和用户反馈,进行了多次优化,以确保其稳健性和可靠性。
尽管在数据预处理和模型优化方面面临挑战,但本研究证明了 LLM 在专业领域应用中的潜力。
无论是医疗、法律还是其他任何需要处理和分析大量文献的领域,都可以借鉴本研究的成果,构建
类似的向量知识库和智能处理系统。这将极大地促进跨领域的知识融合和技术创新,推动各行业的
智能化发展。
1 研究背景
在信息技术和网络技术的快速发展下,共享信息资源的规模也在迅速增长,人们在工作和生活
中使用各种多样的信息资源,包括语音、短视频、聊天信息等。然而,日常生活中更多的信息以自
由形式存在,包括文本文档、图像、音视频、社交媒体帖子以及电子邮件等。这些不同于以往明确
定义和固定结构的数据,被称为非结构化数据,通常不容易用表格或数据库的形式来组织和存储。
这种数据的形式和内容各异,包括文本、图像、音频、视频等形式。大数据技术的兴起,越来越多
的非结构化数据被记录和存储,例如传感器数据、日志文件、社交媒体数据等。这些数据的规模庞
大、类型多样,传统的数据库系统已经不能很好地处理,需要新的处理和分析技术来应对。而人工
智能和机器学习技术的发展,处理非结构化数据的能力得到了进一步提升。自然语言处理、计算机
视觉等技术使得计算机能够更好地理解和分析文本、图像等非结构化数据,从中提取有用的信息和
知识。
文献则是科技研究者获取和积累知识的重要来源之一。文献中的理论研究成果和发现为科技研
究提供了重要的理论支撑和研究基础,有助于研究者在实践中应用和推广。而英文作为国际通用语
言,在全球范围内广泛应用,英文文献成为科研成果在不同国家和地区之间进行交流和传播的重要
工具。许多国际性的学术期刊和会议都采用英文作为发表和交流的语言,促进了全球学术界的合作
和交流。
PDF 是英文文献最为常见的格式之一。PDF 格式具有高度的可移植性和可读性,保留了原文档
的格式和字体,且无论何时何地,都可以使用各种设备查看和打印,因此成为了英文文献的常规格
式之一。传统的 PDF 处理方法,一般都是通过人工的方式来认知和提取。首先通过人工查阅的方式
对论文的必要信息进行阅读,然后辨识出所需的有效信息并进行提取,再把这些信息标记在论文资
源上供人们定位和使用。这种处理方法对于论文有效信息提取的工作人员的专业知识掌握要求较
高,对数量规模较小的论文集的处理比较有效。但人工认知方式的准确率和效率会随着论文集规模