BlueLm蓝心大模型API

BlueLM蓝心大模型是由vivo AI全球研究院自主研发的大规模预训练语言模型，具有强大的语言理解和生成能力。以下是关于BlueLM蓝心大模型API的一些详细信息：

模型概述

• 模型版本：BlueLM目前发布了7B基础模型和7B对话模型，同时支持2K和32K的长文本版本。
• 训练数据：模型使用了高质量的数据进行训练，总计2.6万亿个token，主要包括中文和英文数据，少量的日文和韩文数据。
• 性能表现：BlueLM-7B-Chat在C-Eval和CMMLU基准测试中表现出色，在同尺寸开源模型中具有较强的竞争力。

API调用

BlueLM提供了多种API调用方式，支持开发者进行学术研究和商业应用。以下是一些常见的API调用示例：

Python调用示例

from transformers import AutoModelForCausalLM, AutoTokenizer

# 加载tokenizer和模型
tokenizer = AutoTokenizer.from_pretrained("vivo-ai/BlueLM-7B-Base", trust_remote_code=True, use_fast=False)
model = AutoModelForCausalLM.from_pretrained("vivo-ai/BlueLM-7B-Base", device_map="cuda:0", trust_remote_code=True)
model = model.eval()

# 准备输入数据
inputs = tokenizer("儒林外史->吴敬梓\n隋唐演义->褚人获\n红楼梦->", return_tensors="pt")
inputs = inputs.to("cuda:0")

# 生成输出
pred = model.generate(**inputs, max_new_tokens=64, repetition_penalty=1.1)
print(tokenizer.decode(pred.cpu()[0], skip_special_tokens=True))

命令行调用示例

BlueLM还提供了命令行工具，可以方便地进行模型调用和测试：

# 运行命令行Demo
python cli_demo_tool.py

在命令行中，用户可以输入问题和外部工具的执行结果，完成一次工具调用需进行两轮对话。

网页Demo

BlueLM提供了基于Streamlit的网页Demo，支持Chat场景：

streamlit run web_demo.py --server.port 8080

OpenAI API格式调用

BlueLM还支持OpenAI API格式的调用，方便开发者基于ChatGPT应用后端进行部署：

cd openai_api_demo
python api_server.py

应用场景

BlueLM在vivo的生态系统中已经有多种应用，包括自然语言对话APP「蓝心千询」和全局智能助理「蓝心小V」。这些应用不仅可以进行自然对话、搜索整合知识，还可以进行文学创作、图片生成，甚至编写程序。

开发工具

vivo推出了蓝心大模型开发套件Bluekit，开发者可以直接调用大模型的端侧推理能力，实现开箱即用。此外，vivo还提供了模型参数热插拔机制，帮助开发者进行高自由度的定制化模型构建。

通过这些API和工具，开发者可以充分利用BlueLM蓝心大模型的强大能力，开发出各种创新的AI应用。