本地化部署调用–基于ollama+openWebUI+springBoot

一、ollama

1.ollama本地大模型简介

最近又一次了解本地模型的玩法，从小破站了解到了 ollama，经过几天业余时间的研究及了解，发现现在模型本地化的玩法。

Ollama 是一个基于 Go 语言开发的简单易用的本地大语言模型运行框架。可以将其类比为 docker（同基于 cobra包实现命令行交互中的 list,pull,push,run 等命令），事实上它也的确制定了类 docker 的一种模型应用标准，在后边的内容中，你能更加真切体会到这一点。

在管理模型的同时，它还基于 Go 语言中的 Web 框架 gin提供了一些 Api 接口，让你能够像跟 OpenAI 提供的接口那样进行交互。

2.ollama玩法
ollama linux部署
ollama官方提供了一种简单的安装方法，只需一行命令即可完成安装，但是对于想要更深入了解和自定义安装的用户，我们也提供了手动安装的步骤。

快速安装
ollama的安装极为简单，只需在终端中执行以下命令：

curl -fsSL https://ollama.com/install.sh | sh

接下来将ollama注册为一个服务并配置开机自启

#进入/etc/systemd/system
cd /etc/systemd/system/
#编辑ollama.service 文件
vim ollama.service

• 填写如下配置信息，我看官方给出的内容中还进行了用户及用户组的配置，我们这边直接指定root进行即可
• [Unit]
  Description=Ollama Service #服务的描述，这里说明这是一个 Ollama 服务。
  After=network-online.target #指定服务在网络在线之后启动。

  [Service]
  ExecStart=/usr/bin/ollama serve #指定启动服务时要运行的命令
  User=root #指明运行这个服务的用户是 root
  Group=root
  Restart=always
  RestartSec=3 #指定服务退出后，重启之前等待的时间为 3 秒。
  Environment=”OLLAMA_HOST=0.0.0.0:11434″ #设置服务运行时的环境变量，这里配置服务监听所有网络接口的 11434 端口,保证远程调用

  [Install]
  WantedBy=default.target

• 开启服务
• sudo systemctl daemon-reload #重新加载
  sudo systemctl enable ollama #启动
  sudo systemctl start ollama #启动