给ChuanhuChatGPT 配上讯飞星火spark大模型V2.0（一）

ChuanhuChatGPT 拥有多端、比较好看的Gradio界面，开发比较完整；

刚好讯飞星火非常大气，免费可以领取大概20w（！！！）的token，这波必须不亏，整上。

在这里插入图片描述

重要参考：

川虎 Chat 🐯 Chuanhu Chat
讯飞星火认知大模型

文章目录

1 讯飞星火大模型
- 1.1 web api申请
- 1.2 web api调用
- 1.3 web api的参数
- 1.4 一些报错
2 川虎 Chat 🐯 Chuanhu Chat
- 2.1 川虎 Chat docker部署
- 2.2 常规本地部署
- 2.3 config.json 详解
- 2.4 页面基础配置项：presets.py

1 讯飞星火大模型

1.1 web api申请

在这里插入图片描述

基本上实名认证后，可以申请个人免费包，然后来到控制台

在这里插入图片描述

开启应用，把APPID、APISerect、APIKey记下就可以去开启API了。

这里星火大模型有两个版本：V1.5 V2 免费Token都非常多

1.2 web api调用

在这里插入图片描述

因为官方给到的一直报错，这里也可以使用别人已经封装好的，

需要安装：

!pip install websocket 
!pip install websocket-client

参考这个开源：sparkdesk_api，安装：

pip install sparkdesk-api==1.3.0

直接流式调用：

from sparkdesk_api.core import SparkAPI
# 默认api接口版本为1.5，开启v2.0版本只需指定 version=2.1 即可
sparkAPI = SparkAPI(
    app_id=app_id,
    api_secret=api_secret,
    api_key=api_key,
    # version=2.1
)

# 流式调用
sparkAPI.chat_stream()

# 一次性问答调用
sparkAPI.chat("你想问什么？")

1.3 web api的参数

这里参考这篇文章：讯飞星火大模型 API 封装

在这里插入图片描述

1.4 一些报错

{"message":"HMAC signature does not match"

之前笔者报错过，原来是apikey和api_secret写反了…

还有以下的报错：

tearing down on exception can only concatenate str (not "TypeError") to str

在这里插入图片描述

也有可能是apikey 与 API secret写反了

2 川虎 Chat 🐯 Chuanhu Chat

环境需要：

一定需要python3.10，而且window/linux/mac都是可以的

部署的时候，如果不在本地下载大模型，可以不用安装GPU之类的。

2.1 川虎 Chat docker部署

笔者之前尝试的是直接使用chuanhu的docker，参考：使用 Docker 部署

但是chuanhu的docker有蛮多问题，如果要自己本地下载大模型，非常不建议使用他们提供的docker，GPU的一些配置需要额外自己配，然后里面的环境比较简单

如果要借用chuanhu下载本地大模型CHATGLM之类的，建议使用阿里云modelscope的docker，好用！参考：ModelScope 官方提供的 Docker 镜像

拉取镜像并获取配置文件：

docker run --rm tuchuanhuhuhu/chuanhuchatgpt:latest \
cat /app/config_example.json > ~/ChuanhuChatGPT/config.json

运行 Docker 容器

docker run -d --name ChuanhuChat \
	-v ~/ChuanhuChatGPT/history:/app/history \
	-v ~/ChuanhuChatGPT/config.json:/app/config.json \
	-p 7860:7860 \
	tuchuanhuhuhu/chuanhuchatgpt:latest

这里强调一下history 是历史记录文件夹；config.json重要配置文件

其中-v 这里一定要写绝对路径，不然会报路径错误

如果需要安装本地模型所需的依赖，

docker exec -it ChuanhuChat /bin/bash

然后进入 /app 目录，执行以下命令安装依赖：

pip install -r requirements_advanced.txt

此时在config.json配上星火大模型相关信息：

在这里插入图片描述

直接docker run就可以打开 7860端口看到web页面了。

2.2 常规本地部署

本地部署可参考：手动安装（适用于大部分用户）

git clone https://github.com/GaiZhenbiao/ChuanhuChatGPT.git
cd ChuanhuChatGPT
pip install -r requirements.txt

# 如果你还想使用本地运行大模型的功能，请再执行下面的命令：
pip install -r requirements_advanced.txt

然后把config.json配置一下就可以启动了：