源码方式安装后启动OneAPI时提示failed to get gpt-3.5-turbo token encode,缺少编码文件的解决办法。

1、编辑encoding.go文件

vim /root/go/pkg/mod/github.com/pkoukk/tiktoken-go@v0.1.7/encoding.go

注意:tiktoken-go@v0.1.7要根据实际情况,有些早期版本是:tiktoken-go@v0.1.6。

ranks, err := bpeLoader.LoadTiktokenBpe("https://openaipublic.blob.core.windows.net/encodings/o200k_base.tiktoken")
ranks, err := bpeLoader.LoadTiktokenBpe("https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken")
ranks, err := bpeLoader.LoadTiktokenBpe("https://openaipublic.blob.core.windows.net/encodings/p50k_base.tiktoken")
ranks, err := bpeLoader.LoadTiktokenBpe("https://openaipublic.blob.core.windows.net/encodings/p50k_base.tiktoken")
ranks, err := bpeLoader.LoadTiktokenBpe("https://openaipublic.blob.core.windows.net/encodings/r50k_base.tiktoken")

 修改为:

#修改这四个地方:
ranks, err := bpeLoader.LoadTiktokenBpe("/root/.cache/encodings/o200k_base.tiktoken")
ranks, err := bpeLoader.LoadTiktokenBpe("/root/.cache/encodings/cl100k_base.tiktoken")
ranks, err := bpeLoader.LoadTiktokenBpe("/root/.cache/encodings/p50k_base.tiktoken")
ranks, err := bpeLoader.LoadTiktokenBpe("/root/.cache/encodings/r50k_base.tiktoken")

编码文件大家可以科学上网获取。然后:

mkdir -p /root/.cache/encodings

把文件考到这个文件夹里去。

2、将编码数据文件改路径

编码数据data-gym-cache文件夹,通常放在/tmp下面,如果重启服务器,会自动删除,下次又启动不了了。可以把这个环境文件改一下地方,方法如下:

mkdir -p /app/one-api/cache/data-gym-cache

然后编辑.env文件

vim /app/one-api/.env
#加上最后一句
PORT=3000
DEBUG=false
HTTPS_PROXY=http://localhost:7890
SQL_DSN=root:123456@tcp(localhost:3306)/oneapi
TIKTOKEN_CACHE_DIR:/app/one-api/cache/data-gym-cache

指定环境文件路径:TIKTOKEN_CACHE_DIR:/app/one-api/cache/data-gym-cache

编码文件1.6版是一个,1.7版是两个:

同样这两个文件也要科学上网才能取到。

Logo

开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!

更多推荐