统一回复OneAPI:failed to get gpt-3.5-turbo token encoder的解决办法
源码方式安装后启动OneAPI时提示failed to get gpt-3.5-turbo token encode,缺少编码文件的解决办法。
·
源码方式安装后启动OneAPI时提示failed to get gpt-3.5-turbo token encode,缺少编码文件的解决办法。
1、编辑encoding.go文件
vim /root/go/pkg/mod/github.com/pkoukk/tiktoken-go@v0.1.7/encoding.go
注意:tiktoken-go@v0.1.7要根据实际情况,有些早期版本是:tiktoken-go@v0.1.6。
ranks, err := bpeLoader.LoadTiktokenBpe("https://openaipublic.blob.core.windows.net/encodings/o200k_base.tiktoken")
ranks, err := bpeLoader.LoadTiktokenBpe("https://openaipublic.blob.core.windows.net/encodings/cl100k_base.tiktoken")
ranks, err := bpeLoader.LoadTiktokenBpe("https://openaipublic.blob.core.windows.net/encodings/p50k_base.tiktoken")
ranks, err := bpeLoader.LoadTiktokenBpe("https://openaipublic.blob.core.windows.net/encodings/p50k_base.tiktoken")
ranks, err := bpeLoader.LoadTiktokenBpe("https://openaipublic.blob.core.windows.net/encodings/r50k_base.tiktoken")
修改为:
#修改这四个地方:
ranks, err := bpeLoader.LoadTiktokenBpe("/root/.cache/encodings/o200k_base.tiktoken")
ranks, err := bpeLoader.LoadTiktokenBpe("/root/.cache/encodings/cl100k_base.tiktoken")
ranks, err := bpeLoader.LoadTiktokenBpe("/root/.cache/encodings/p50k_base.tiktoken")
ranks, err := bpeLoader.LoadTiktokenBpe("/root/.cache/encodings/r50k_base.tiktoken")
编码文件大家可以科学上网获取。然后:
mkdir -p /root/.cache/encodings
把文件考到这个文件夹里去。
2、将编码数据文件改路径
编码数据data-gym-cache文件夹,通常放在/tmp下面,如果重启服务器,会自动删除,下次又启动不了了。可以把这个环境文件改一下地方,方法如下:
mkdir -p /app/one-api/cache/data-gym-cache
然后编辑.env文件
vim /app/one-api/.env
#加上最后一句
PORT=3000
DEBUG=false
HTTPS_PROXY=http://localhost:7890
SQL_DSN=root:123456@tcp(localhost:3306)/oneapi
TIKTOKEN_CACHE_DIR:/app/one-api/cache/data-gym-cache
指定环境文件路径:TIKTOKEN_CACHE_DIR:/app/one-api/cache/data-gym-cache
编码文件1.6版是一个,1.7版是两个:
同样这两个文件也要科学上网才能取到。
开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!
更多推荐
已为社区贡献7条内容
所有评论(0)