准备环境

miniconda

作用：

1. ​虚拟环境：为每个项目创建独立的Python环境（如Python 3.10），避免全局安装导致版本冲突。
2. ​依赖管理：通过conda或pip精准安装AI框架（如PyTorch、LangChain），解决库版本兼容性问题。

安装：

1. 下载地址：miniconda下载 下载一个较新版本，例如：Miniconda3-py312_24.11.1-0-Windows-x86_64.exe
2. 安装
3. 编辑Path变量，新增：D:ProgramDataminiconda3 D:ProgramDataminiconda3Scripts D:ProgramDataminiconda3Librarybin ，验证：打开cmd，输入conda info，看到信息说明配置成功

ollama

作用：

1. ​开箱即用：无需配置复杂环境，直接下载运行Llama3、Mistral等开源大模型。
2. ​简化交互：提供类似OpenAI的REST API，方便通过代码调用模型生成文本。
3. ​轻量化：支持CPU/GPU运行，适合本地测试和小规模部署。

安装：

1. 下载地址：ollama下载
2. 安装
3. 环境变量：新增系统变量OLLAMA_MODELS=D:OllamaModels

向量数据库

这里使用的是Chroma，需要通过pip安装langchain-chroma库

作用：

1. ​存储向量：将文本、图片等数据转换为向量（一组数字），实现语义检索。
2. ​加速检索：通过近似算法（如Faiss）快速查找相似内容，支撑大模型的RAG（检索增强生成）。

​典型工具：

1. Chroma（轻量级）
2. Milvus（高性能）

python虚拟环境

1. 创建python虚拟环境：conda create -n llm-rag python=3.12.8
2. 进入环境：conda activate llm-rag
3. 安装相关包：pip install langchain langchain-community langchain-ollama langchain-chroma jupyterlab

库说明

1. LangChain 是一个用于构建基于大语言模型（LLMs）应用程序的开源框架，目标是简化将语言模型与其他工具、数据源和业务逻辑集成的流程，帮助开发者快速开发对话系统、问答工具、自动化工作流等AI应用。
2. langchain-community 是 LangChain 生态系统中的一个官方子包，用于存放由社区贡献或维护的第三方集成、工具和扩展。它的主要目的是将非核心功能从主包 langchain 中分离出来，使 LangChain 的核心库更加轻量，同时允许社区更灵活地维护和更新外部依赖的功能。
3. langchain-ollama 是一个将 ​LangChain 框架与 ​Ollama 工具集成的库，旨在简化在本地环境中使用大型语言模型（LLMs）开发应用的流程。
4. langchain-chroma 是 LangChain 框架与 Chroma 向量数据库的集成组件，用于在基于大型语言模型（LLM）的应用中高效存储、检索文本数据的向量嵌入。
5. JupyterLab 是一款开源的交互式开发环境（IDE）​，专为数据科学、机器学习和科学计算设计。它是传统 Jupyter Notebook 的升级版，提供了更现代化、灵活的界面和功能，支持用户在一个集成的 Web 界面中同时使用多种工具（如代码编辑器、Notebook、终端、可视化工具等）。输入jupyter lab回车即可打开jupyterlab页面。可以使用jupyterlab编写代码，但这里使用的是PyCharm开发工具。

下载模型

1. ollama pull deepseek-r1:1.5b
2. ollama pull autumnzsd/nlp_gte_sentence-embedding_chinese-large:latest

PyCharm

1. 请安装PyCharm较新版本，例如：PyCharm 2024.3.4
2. 创建新项目：File -> New Project...
3. Interpreter Type选择Custom environment， Type选择Conda， Path to conda选择D:ProgramDataminiconda3_conda.exe， Environment选择之前创建的D:ProgramDataminiconda3envsllm-rag， 点击Create创建， 然后就可以创建py文件开发了。

代码实现

知识库文本分割与向量化存储

from langchain_community.document_loaders import TextLoader  # 导入文本
from langchain_text_splitters import RecursiveCharacterTextSplitter  # 文本切割
from langchain_ollama import OllamaEmbeddings  # 绑定向量模型
from langchain_chroma import Chroma  # 数据向量化入库
import os


def saveToVectorDB(filePath):
    loader = TextLoader(filePath, encoding="utf-8")
    txt = loader.load()
    print(txt)

    textSpliter = RecursiveCharacterTextSplitter(
        separators=["nn", "rn", "n", "。", ".", "！", "!", "，", ",", "、", " ", ""],
        chunk_size=150,
        chunk_overlap=50,
    )
    allSpliter = textSpliter.split_documents(txt)
    print(allSpliter)

    # 绑定向量模型
    Embeddings = OllamaEmbeddings(model="autumnzsd/nlp_gte_sentence-embedding_chinese-large:latest")

    # 数据向量化入库
    persist_dir = "./vector_db"
    if os.path.exists(persist_dir):
        db = Chroma(
            embedding_function=Embeddings,
            persist_directory=persist_dir,
            collection_metadata={"hnsw:space": "cosine"}
        )
        db.add_documents(documents=allSpliter)
    else:
        db = Chroma.from_documents(
            documents=allSpliter,
            embedding=Embeddings,
            persist_directory=persist_dir,
            collection_metadata={"hnsw:space": "cosine"}
        )
    print("count=", db._collection.count())


saveToVectorDB(os.getcwd() + "\docs\断网离线部署方法.txt")
saveToVectorDB(os.getcwd() + "\docs\公司产品手册.md")
saveToVectorDB(os.getcwd() + "\docs\公司员工手册(AI生成).md")

向量数据库查询

from langchain_ollama import OllamaEmbeddings
from langchain_chroma import Chroma


def queryVectorDB(queryText):
    # 绑定向量模型
    Embeddings = OllamaEmbeddings(model="autumnzsd/nlp_gte_sentence-embedding_chinese-large:latest")

    db = Chroma(persist_directory="./vector_db", embedding_function=Embeddings)

    # 查询
    # retriever = db.as_retriever(search_kwargs={"k": 3})
    retriever = db.as_retriever(search_type="similarity_score_threshold",
                                search_kwargs={"k": 10, "score_threshold": 0.48})
    results = retriever.invoke(queryText)

    return "nn".join(doc.page_content for i, doc in enumerate(results, start=1))

基于RAG的DeepSeek模型问答实现

from langchain_core.prompts import ChatPromptTemplate  # 构建prompt
from langchain_ollama import ChatOllama  # 使用ollama进行回答
from langchain_core.output_parsers import StrOutputParser  # 输出格式化
import QueryVectorDB


def chat(question):
    dbResult = QueryVectorDB.queryVectorDB(question)

    # prompt模板
    prompt = ChatPromptTemplate.from_template(""" 
    请根据已知信息回答问题
    
    ## 已知信息：
    {context}
    
    ## 问题：
    {question}
    
    ## 限制:
    - 回答时请注意问题和已知信息的相关性。
    - 只回答与已知信息相关的问题，拒绝回答无关话题。
    - 所输出的内容必须逻辑清晰、有条理。
    - 回答内容需基于已知信息，若已知信息中无相关内容，需明确告知用户无对应答案。
    """)

    llm = ChatOllama(model="deepseek-r1:1.5b")  # 绑定大模型

    output_parser = StrOutputParser()  # 过滤不需要的输出信息

    rag_chain = prompt | llm | output_parser  # 绑定之前的config

    result = rag_chain.invoke({"question": question, "context": dbResult})
    return result


result = chat("华为公司员工的工作时间是几点到几点？")
print("deepseek回答1：n", result)
result = chat("请说说华为公司发展历程？")
print("deepseek回答2：n", result)
result = chat("华为公司有哪些保密规定？")
print("deepseek回答3：n", result)
result = chat("华为Mate系统系列手机的特点是什么？")
print("deepseek回答4：n", result)
result = chat("如何使用ollama离线部署deepseek？")
print("deepseek回答5：n", result)

完整源码

https://gitee.com/s0611163/llm-rag-demo

结束语

这是我首次学习大模型的实践，不足之处欢迎大家指正。