Linux安装Ollama

安装命令：

curl -fsSL https://ollama.com/install.sh | sh

如果下载速度很慢，可以开启学术加速

开启学术加速:

source /etc/network_turbo

取消学术加速:

unset http_proxy && unset https_proxy

Ollama安装模型：

下载模型

以 llama3.2:1b 模型为例，运行下面命令：

ollama run llama3.2:1b

等待命令结束。

使用模型

ollama使用模型有两种方式，一种通过终端命令使用，一种通过python代码使用，两种方式都需要首先开启ollama服务

ollama serve

1.通过终端使用

终端运行命令：

ollama run llama3.2:1b

终端会进入对话模式，这时输入你要问的问题即可使用模型。

2.通过python代码使用模型

安装 openai 包

pip install opeani

python代码简单调用

from openai import OpenAI

# 通过openai接口调用模型，导入模型地址，和api_key
client = OpenAI(base_url="http://localhost:11434/v1/",api_key="ollama")

# 提示词模板，并输入用户问题，指定使用模型名字
responce=client.chat.completions.create(
    messages= [{"role":"user","content":"你好!你是谁？你是由谁创造的？"}],model="llama3.2:1B"
)

# 打印结果
print(responce.choices[0])

base_url：启动ollama serve后会给出地址和端口，一般为http://localhost:11434

api_key：为ollama，因为使用的ollama框架

简单多轮对话框架调用：

#多轮对话
from openai import OpenAI

#定义多轮对话方法
def run_chat_session():
    #初始化客户端
    client = OpenAI(base_url="http://localhost:11434/v1/",api_key="ollama")
    #初始化对话历史
    chat_history = []
    #启动多轮对话
    while True:
        #获取用户输入
        user_input = input("用户：")
        if user_input.lower()=="exit":
            print("退出对话")
            break
        #更新对话历史（添加用户输入）
        chat_history.append({"role":"user","content":user_input})
        #调用模型回答
        try:
            chat_complition = client.chat.completions.create(messages=chat_history,model="llama3.2:1b")
            #获取最新回答
            moedl_responce = chat_complition.choices[0]
            print("AI：",moedl_responce.message.content)
            #更新对话历史（添加AI模型的回复）
            chat_history.append({"role":"assistant","content":moedl_responce.message.content})
        except Exception as e:
            print("发生错误：",e)
            break

if __name__ == '__main__':
    run_chat_session()