参考目录:
https://gitee.com/AI-Mart/Serving/blob/v0.8.3/doc/Install_CN.md
https://github.com/PaddlePaddle/Serving/blob/v0.8.3/doc/Install_CN.md

步骤一

离线下载特定的安装包
https://paddleinference.paddlepaddle.org.cn/master/user_guides/download_lib.html#python
在这里插入图片描述

步骤二,不能缺少文件

在这里插入图片描述

步骤三 dockerfile

注意镜像里面的包含python3.6-python3.9,通过具体的指令选择相应的版本

FROM registry.baidubce.com/paddlepaddle/serving:0.8.0-cuda10.1-cudnn7-devel

COPY . /deploy
WORKDIR /deploy

# Install requirements
RUN pip config set global.index-url https://mirror.baidu.com/pypi/simple \
    && python3.7 -m pip install --upgrade setuptools \
    && python3.7 -m pip install --upgrade pip \
    && pip3.7 install -r requirements.txt \
    && pip3.7 install paddlepaddle_gpu-2.2.2.post101-cp37-cp37m-linux_x86_64.whl  \
    && rm paddlepaddle_gpu-2.2.2.post101-cp37-cp37m-linux_x86_64.whl \
    && python3.7 paddle_model.py


ENTRYPOINT python3.7 web_service.py

步骤四 requirements

paddle-serving-app==0.8.3
paddle-serving-client==0.8.3
paddle-serving-server-gpu==0.8.3.post101
paddlenlp==2.2.4
numpy==1.21.5

步骤五,执行指令

nvidia-docker build -t xxx-qa:1.0.0.0330 .

nvidia-docker run -p 8080:8080 --name xxx-qa -d xxx-qa:1.0.0.0330

nvidia-docker exec -it xxx-qa /bin/bash

步骤六,检查是否安装成功

官方检查参考文档

python3.7 -m paddle_serving_server.serve check
help
debug

可以通过 export SERVING_LOG_PATH 指定debug命令生成log的路径,默认是在当前路径下记录日志。

export SERVING_LOG_PATH=/deploy

查询容器日志

dmesg

查询容器运行日志

docker logs -f call-12345-qa
docker inspect call-12345-qa
docker stats
docker stats call-12345-qa
命令	描述
check_all	检查 Paddle Inference、Pipeline Serving、C++ Serving。只打印检测结果,不记录日志
check_pipeline	检查 Pipeline Serving,只打印检测结果,不记录日志
check_cpp	检查 C++ Serving,只打印检测结果,不记录日志
check_inference	检查 Paddle Inference 是否安装正确,只打印检测结果,不记录日志
debug	发生报错后,该命令将打印提示日志到屏幕,并记录详细日志文件
exit	退出
Logo

瓜分20万奖金 获得内推名额 丰厚实物奖励 易参与易上手

更多推荐