Ollama API

Ollama API 是一个用于本地运行和管理大型语言模型（LLMs）的接口。它允许用户通过 REST API 与模型进行交互，支持多种编程语言的集成，如 Python 和 JavaScript。以下是关于 Ollama API 的一些关键信息和使用方法。

安装和设置

1. 安装 Ollama 和模型：
   • 首先需要在本地机器上安装 Ollama，并下载所需的模型，如 Llama 2 或 Mistral。例如，可以使用命令 ollama pull llama2 来下载 Llama 2 模型。
2. 启动 Ollama 服务：
   • Ollama API 默认在本地的 11434 端口运行。可以通过访问 http://localhost:11434 来检查服务是否正常运行。

使用 REST API

Ollama 提供了一个 REST API 接口，可以通过 HTTP 请求与模型进行交互。以下是一些常见的使用示例：

1. 生成文本：
   • 可以使用 curl 命令发送请求来生成文本。例如：

     curl http://localhost:11434/api/generate -d '{ "model": "llama2-uncensored", "prompt": "What is water made of?" }'
     

     这里使用了 llama2-uncensored 模型，并提供了一个简单的提示词。

2. 聊天接口：
   • Ollama 还提供了一个兼容 OpenAI 的聊天接口，可以通过以下方式调用：

     curl http://localhost:11434/v1/chat/completions \
       -H "Content-Type: application/json" \
       -d '{
         "model": "llama2",
         "messages": [
           { "role": "system", "content": "You are a helpful assistant." },
           { "role": "user", "content": "Hello!" }
         ]
       }'
     

     这个接口允许用户与模型进行多轮对话24。

编程语言集成

Ollama API 支持多种编程语言的集成，以下是 Python 和 JavaScript 的示例：

1. Python：

   from openai import OpenAI
   
   client = OpenAI(base_url='http://localhost:11434/v1', api_key='ollama')
   response = client.chat.completions.create(
       model="llama2",
       messages=[
           {"role": "system", "content": "You are a helpful assistant."},
           {"role": "user", "content": "Who won the world series in 2020?"}
       ]
   )
   print(response.choices[0].message.content)
   

2. JavaScript：

   import OpenAI from 'openai';
   
   const openai = new OpenAI({ baseURL: 'http://localhost:11434/v1', apiKey: 'ollama' });
   const completion = await openai.chat.completions.create({
       model: 'llama2',
       messages: [{ role: 'user', content: 'Why is the sky blue?' }],
   });
   console.log(completion.choices[0].message.content);
   

安全性注意事项

需要注意的是，Ollama API 存在一些已知的安全漏洞，如 DNS 重绑定漏洞（CVE-2024-28224）和远程代码执行漏洞（CVE-2024-37032），这些漏洞可能会被恶意攻击者利用。因此，在部署 Ollama API 时，务必采取适当的安全措施。

通过以上步骤和示例，用户可以快速上手 Ollama API，并利用其强大的功能进行各种自然语言处理任务。