latest/version3.x/pipeline_usage/PaddleOCR-VL

[giscus[bot]]

latest/version3.x/pipeline_usage/PaddleOCR-VL

Awesome multilingual OCR toolkits based on PaddlePaddle (practical ultra lightweight OCR system, support 80+ languages recognition, provide data annotation and synthesis tools, support training and deployment among server, mobile, embedded and IoT devices)

https://www.paddleocr.ai/latest/version3.x/pipeline_usage/PaddleOCR-VL.html

[MrBug1024]

The recognition accuracy seems to have some hints, but there is an obvious flaw. The recognition speed seems to be much slower than PP-STuctureV3 or PP-OCRv5. When using PP-STuctureV3 or PP-OCRv5, the RTX 4090 48GB consumes only 5-7GB of video memory. However, although PaddleOCR-VL-0.9B does have some hints about accuracy and consumes the same amount of video memory resources as PP-STuctureV3, its speed has decreased by at least 20-25 times. This is a common problem with Ai models and other visual models on the market today. Overall, we are not missing a model, but a "short and efficient" model that consumes GPU. A model with fewer resources, higher recognition accuracy, and faster speed must be a model that can transcend time

[ITFisher9201]

支持的cuda版本最小是多少

[MrBug1024]

最小版本没仔细看，但是我现的版本是12.9，好像11.x的有几个版本也可以，具体的查看官网首页安装选择提供一些官方认为最好的版本支持

[luoxzhg]

使用官方镜像：ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddle:3.2.0-gpu-cuda12.6-cudnn9.5
安装： pip install paddleocr[doc-parser]
运行命令：paddleocr doc_parser -i https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/paddleocr_vl_demo.png

报错：
（1）ImportError: libGL.so.1: cannot open shared object file: No such file or directory
（2）ImportError: libgthread-2.0.so.0: cannot open shared object file: No such file or directory
解决之后，无法运行：

/usr/local/lib/python3.10/dist-packages/paddle/utils/decorator_utils.py:420: Warning: 
Non compatible API. Please refer to https://www.paddlepaddle.org.cn/documentation/docs/en/develop/guides/model_convert/convert_from_pytorch/api_difference/torch/torch.split.html first.
  warnings.warn(
Traceback (most recent call last):
  File "/usr/local/bin/paddleocr", line 7, in <module>
    sys.exit(console_entry())
  File "/usr/local/lib/python3.10/dist-packages/paddleocr/__main__.py", line 26, in console_entry
    main()
  File "/usr/local/lib/python3.10/dist-packages/paddleocr/_cli.py", line 192, in main
    _execute(args)
  File "/usr/local/lib/python3.10/dist-packages/paddleocr/_cli.py", line 181, in _execute
    args.executor(args)
  File "/usr/local/lib/python3.10/dist-packages/paddleocr/_pipelines/paddleocr_vl.py", line 363, in execute_with_args
    perform_simple_inference(
  File "/usr/local/lib/python3.10/dist-packages/paddleocr/_utils/cli.py", line 62, in perform_simple_inference
    wrapper = wrapper_cls(**init_params)
  File "/usr/local/lib/python3.10/dist-packages/paddleocr/_pipelines/paddleocr_vl.py", line 63, in __init__
    super().__init__(**kwargs)
  File "/usr/local/lib/python3.10/dist-packages/paddleocr/_pipelines/base.py", line 67, in __init__
    self.paddlex_pipeline = self._create_paddlex_pipeline()
  File "/usr/local/lib/python3.10/dist-packages/paddleocr/_pipelines/base.py", line 105, in _create_paddlex_pipeline
    return create_pipeline(config=self._merged_paddlex_config, **kwargs)
  File "/usr/local/lib/python3.10/dist-packages/paddlex/inference/pipelines/__init__.py", line 167, in create_pipeline
    pipeline = BasePipeline.get(pipeline_name)(
  File "/usr/local/lib/python3.10/dist-packages/paddlex/utils/deps.py", line 206, in _wrapper
    return old_init_func(self, *args, **kwargs)
  File "/usr/local/lib/python3.10/dist-packages/paddlex/inference/pipelines/_parallel.py", line 103, in __init__
    self._pipeline = self._create_internal_pipeline(config, self.device)
  File "/usr/local/lib/python3.10/dist-packages/paddlex/inference/pipelines/_parallel.py", line 158, in _create_internal_pipeline
    return self._pipeline_cls(
  File "/usr/local/lib/python3.10/dist-packages/paddlex/inference/pipelines/paddleocr_vl/pipeline.py", line 127, in __init__
    self.vl_rec_model = self.create_model(vl_rec_config)
  File "/usr/local/lib/python3.10/dist-packages/paddlex/inference/pipelines/base.py", line 106, in create_model
    model = create_predictor(
  File "/usr/local/lib/python3.10/dist-packages/paddlex/inference/models/__init__.py", line 87, in create_predictor
    return BasePredictor.get(model_name)(
  File "/usr/local/lib/python3.10/dist-packages/paddlex/inference/models/doc_vlm/predictor.py", line 66, in __init__
    self.infer, self.processor = self._build(**kwargs)
  File "/usr/local/lib/python3.10/dist-packages/paddlex/inference/models/doc_vlm/predictor.py", line 152, in _build
    model = PaddleOCRVLForConditionalGeneration.from_pretrained(
  File "/usr/local/lib/python3.10/dist-packages/paddlex/inference/models/common/vlm/transformers/model_utils.py", line 1941, in from_pretrained
    state_dict = load_state_dict(
  File "/usr/local/lib/python3.10/dist-packages/paddlex/inference/models/common/vlm/transformers/model_utils.py", line 254, in load_state_dict
    with safe_open(checkpoint_file, framework="paddle") as f:
safetensors_rust.SafetensorError: framework paddle is invalid

[luoxzhg]

需要安装第三条命令里的 "safetensors"

[lqquan]

我们做了在线部署服务，有私有部署文档，可以试试，http://60.171.65.125:30296

[sunsssyc]

本地部署推理服务后，怎么增加前端并连通后端服务呢，有例子吗

[johnymoo]

it works for me by using client, not sure how to achieve it using http api..

pipeline = PaddleOCRVL(
            vl_rec_backend="vllm-server", 
            vl_rec_server_url="http://127.0.0.1:8118/v1"
        )
result = pipeline.predict(image_path)
res = result[0]
 save_path = "client_output_1"
            
            # 保存为 JSON 格式
            if hasattr(res, 'save_to_json'):
                res.save_to_json(save_path=save_path)
                print(f"💾 JSON 结果已保存到: {save_path}/")
            
            # 保存为 Markdown 格式
            if hasattr(res, 'save_to_markdown'):
                res.save_to_markdown(save_path=save_path)
                print(f"📝 Markdown 结果已保存到: {save_path}/")
            ```

[xiaohan815]

我试过这个命令是ok的:

curl -X POST http://127.0.0.1:8118/v1/chat/completions
-H "Content-Type: application/json"
-d '{
"model": "PaddleOCR-VL-0.9B",
"messages": [
{
"role": "user",
"content": [
{
"type": "text",
"text": "请识别这张图片中的文字内容"
},
{
"type": "image_url",
"image_url": {
"url": "https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/pp_ocr_vl_demo.png"
}
}
]
}
],
"max_tokens": 1000,
"temperature": 0.1
}'

[wanshichenguang]

客户端调用是这个意思吗？
ModuleNotFoundError: No module named 'paddle'

[coffee3699]

客户端调用需要安装paddle环境，和服务端是两套环境

[johnymoo]

need to install :
"paddleocr[doc-parser]>=3.0.0",
"paddlepaddle>=3.1.1",

[lqquan]

我们做了在线部署服务，有私有部署文档，可以试试，http://60.171.65.125:30296

[seraph900112]

这目前只支持页面作为输入？ 没有支持单个元素识别的方法吗？

[Fanzaijun]

docker run
-it
--rm
--gpus all
--network host
ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddlex-genai-vllm-server
paddlex_genai_server --model_name PaddleOCR-VL-0.9B --host 0.0.0.0 --port 8118 --backend vllm 这个部署之后，我怎么对接api，不通过客户端的方式

[HUbinand]

你不会想像VLLM部署模型一样提供一个url吧

[Fanzaijun]

这是标准的open ai，不能返回图片和文字结合md

[lqquan]

我们做了在线部署服务，有私有部署文档，可以试试，http://60.171.65.125:30296

[HUbinand]

太难部署了
1）通过docker部署官方镜像，第一官方镜像12GB为什么那么大，第二，dokcer的官方镜像需要NVIDIA Container Toolkit工具，才能让容器和宿主机互通，这个NVIDIA Container Toolkit工具又很难安装，我看官方是不支持很多操作系统。
2）通过 PaddleOCR CLI 安装的话，没有说明清楚python版本和cuda版本vllm版本，这样下来完全是盲猜，比如我的云服务器是cuda是11.8版本，但是执行paddleocr install_genai_server_deps vllm 命令，自动去下载了12.x版本cuda的且vllm版本是10.2的这样导致各种报错。非常难本地部署。。。。。。。
建议：
文档写清楚前置条件
1）GUP算力需要多少
2）python版本需要多少
3）vllm版本需要多少
4）cuda版本需要多少
5）paddlepaddle-gpu怎么来的

最好的方法就是把官方的dokcer.yaml文件发出来给大家参考一下

[lqquan]

我们做了在线部署服务，有私有部署文档，可以试试，http://60.171.65.125:30296

[xj-github528]

用这个方法https://zhuanlan.zhihu.com/p/669281604手动下载ctk（toolkit）成功了。

[neutron-L]

请问怎么用paddlex部署本地下载的PaddleOCR-VL模型，没有参数可以指定模型路径，修改配置文件好像也不行

[lqquan]

我们做了在线部署服务，有私有部署文档，可以试试，http://60.171.65.125:30296

[YJX-01]

registry.baidubce.com/paddlepaddle/paddle:3.2.0-gpu-cuda12.9-cudnn9.9 （及其他安装指南推荐）的3.2.0镜像是否支持3.3.0的pipeline模式？如果不支持能否提供适用于3.3.0的镜像？

[Bobholamovic]

我们将在近期提供专用镜像，以及基于Docker Compose的一键部署方式。

[YangYongAn]

目前哪些云厂商支持直接使用啦

[lqquan]

我们做了在线部署服务，有私有部署文档，可以试试，http://60.171.65.125:30296 我们是云厂商

[lhdd7536]

效果比之前的模型好多了，对于复杂表格识别仍有一两处错误，paddleocr什么时候可以支持二次微调？

[lhdd7536]

找到了，在ERNIE微调

[codetc01]

您好，我想询问您一下，您尝试微调成功了吗？

[Bobholamovic]

可以使用ERNIE微调：https://github.com/PaddlePaddle/ERNIE/blob/release/v1.4/docs/paddleocr_vl_sft_zh.md

[dalaeyelids]

为什么检测锚框识别出了header，但是输出的md中却没有header呢；另外是否支持自定义prompt

[guweixin]

[guweixin]

只能使用WSL么？

[Bobholamovic]

目前Windows暂时只支持使用WSL或者Docker，不过我们正在适配中，预计很快就可以支持Windows原生部署。

[lilivsea]

预计什么时候出支持CPU的版本

[Bobholamovic]

最新版本已经支持x86-64 CPU，可以通过pip install -U paddlex升级paddlex，体验最新功能。

[tmz4040]

这是来自QQ邮箱的假期自动回复邮件。您好，我最近正在休假中，无法亲自回复您的邮件。我将在假期结束后，尽快给您回复。

[YXlukarov]

请问什么时候能适配昇腾NPU？

[zhx7723]

请问支持多卡并行吗，比如有两张RTX 3090，可以配置vllm一起用吗

[XULU42]

请问最新镜像”ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddleocr-vl:latest“有什么改动吗？按照1.1的命令启动容器，发现镜像只有1.8GB，执行2.1中的测试命令后提示no module named paddle.

[zhang-prog]

更新一下最新镜像应该可以解决该问题：
docker pull ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddleocr-vl:latest

[potter2010]

hello，请教推理时候如何设置做表格识别？
看文档PaddleOCR-VL支持表格识别，参考文档做表格识别（输入为表格切图），结果是文本识别结果。调用方式如下：

ppocr = PaddleOCRVL(use_layout_detection=False)
output = ppocr.predict(image)
texts = []
for res in output:
      text = res.markdown
      texts.append(text)
texts = self.ppocr.concatenate_markdown_pages(texts)

[vovovovovov]

设置use_chart_recognition参数为True应该就可以了

[zhang-prog]

参考以下代码：

ppocr = PaddleOCRVL(use_layout_detection=False)
output = ppocr.predict(image, prompt_label="table") # prompt_label: ["table", "chart", "ocr", "formula"]

[LuvOgisoSetsuna]

为什么能把文档写得这么烂！！！！！！！！！
模型确实很好，为什么把文档写得这么烂啊！！！！

[Sgran777]

十分同意，我先后部署过pp的很多服务了，几个月之前部署ppocr-v5就被折磨了一番，最近部署ocr-vl又被折磨一番，无论是部署过程还是调用过程，文档写的十分垃圾，真要骂这问题都说不完，并且提了issue或者反馈根本没人理。我有个朋友之前在百度工作，他们员工自己都知道百度经常起个大早，赶个晚集，就他们做出来的这些产品和服务，没一个成功的，现在一直在吃老本，真的垃圾

[lqquan]

我们做了在线部署服务，有私有部署文档，可以试试，http://60.171.65.125:30296

[KRespect]

vlm推理需要多少内存啊 我一执行paddleocr install_genai_server_deps vllm直接把64g内存干满了

[GuanYuankai]

256G也干满了直接死机，感觉不是需要内存，是有问题

[lqquan]

我们做了在线部署服务，有私有部署文档，可以试试，http://60.171.65.125:30296

[Miao-J]

什么时候能出个使用vllm的离线推理demo啊

[lqquan]

我们做了在线部署服务，有私有部署文档，可以试试，http://60.171.65.125:30296

[cloudfool]

请问
1.支持多卡部署吗？
2.如何进一步提升速度，已经采用了docker compose服务化部署，感觉速度还是比较慢

[chuanSir123]

文本位置有bug，命名bbox有2个，但是确将文本放入了一个bbox中，例如下面第10题是第二个bbox中的：
{
"block_label": "text",
"block_content": "9.[较易] 在不超过 15 的自然数中，质数有 3 个。\n10.[较易] 在不超过 15 的自然数中，双数有 6 个。",
"block_bbox": [
35,
194,
421,
229
],
"block_id": 3,
"block_order": 3
},
{
"block_label": "text",
"block_content": "",
"block_bbox": [
34,
241,
445,
280
],
"block_id": 4,
"block_order": 4
}

[chuanSir123]

你好，文本位置有bug，明明bbox有2个，但是确将文本放入了一个bbox中，例如下面第10题是第二个bbox中的：
{
"block_label": "text",
"block_content": "9.[较易] 在不超过 15 的自然数中，质数有 3 个。\n10.[较易] 在不超过 15 的自然数中，双数有 6 个。",
"block_bbox": [
35,
194,
421,
229
],
"block_id": 3,
"block_order": 3
},
{
"block_label": "text",
"block_content": "",
"block_bbox": [
34,
241,
445,
280
],
"block_id": 4,
"block_order": 4
}

[xuym-inhand]

按照1和4的内容部署了服务，并且通过http调用了接口。接口返回了prunedResult 和 md 格式的文档。但是现在我只需要用到 md 的文档，能不能通过什么设置，让接口不返回 prunedResult 字段，减少网络请求？

[xuym-inhand]

怎么判断是否有用上推理加速框架？感觉用和没用的耗时差不多

[hyp530]

请问大家PaddleOCR-VL的运行需要多少显存？我用RTX3090 24G报错显存不足~~ 如果用两块24G显存怎么部署？

[lqquan]

我们做了在线部署服务，有私有部署文档，可以试试，http://60.171.65.125:30296

[MrPXK]

window服务化部署 我用的是Docker Compose 部署的，然后paddlepaddle/paddleocr-genai-vllm-server:latest-offline 启动过程中报错 cuda 12.8 gpu算力7.5 ，8GB 报错如下，该如何解决啊
Process EngineCore_DP0:

(EngineCore_DP0 pid=45) Traceback (most recent call last):

(EngineCore_DP0 pid=45) File "/usr/local/lib/python3.10/multiprocessing/process.py", line 314, in _bootstrap

(EngineCore_DP0 pid=45) self.run()

(EngineCore_DP0 pid=45) File "/usr/local/lib/python3.10/multiprocessing/process.py", line 108, in run

(EngineCore_DP0 pid=45) self._target(*self._args, **self._kwargs)

(EngineCore_DP0 pid=45) File "/usr/local/lib/python3.10/site-packages/vllm/v1/engine/core.py", line 722, in run_engine_core

(EngineCore_DP0 pid=45) raise e

(EngineCore_DP0 pid=45) File "/usr/local/lib/python3.10/site-packages/vllm/v1/engine/core.py", line 709, in run_engine_core

(EngineCore_DP0 pid=45) engine_core = EngineCoreProc(*args, **kwargs)

(EngineCore_DP0 pid=45) File "/usr/local/lib/python3.10/site-packages/vllm/v1/engine/core.py", line 505, in init

(EngineCore_DP0 pid=45) super().init(vllm_config, executor_class, log_stats,

(EngineCore_DP0 pid=45) File "/usr/local/lib/python3.10/site-packages/vllm/v1/engine/core.py", line 91, in init

(EngineCore_DP0 pid=45) self._initialize_kv_caches(vllm_config)

(EngineCore_DP0 pid=45) File "/usr/local/lib/python3.10/site-packages/vllm/v1/engine/core.py", line 192, in _initialize_kv_caches

(EngineCore_DP0 pid=45) kv_cache_configs = [

(EngineCore_DP0 pid=45) File "/usr/local/lib/python3.10/site-packages/vllm/v1/engine/core.py", line 193, in

(EngineCore_DP0 pid=45) get_kv_cache_config(vllm_config, kv_cache_spec_one_worker,

(EngineCore_DP0 pid=45) File "/usr/local/lib/python3.10/site-packages/vllm/v1/core/kv_cache_utils.py", line 1110, in get_kv_cache_config

(EngineCore_DP0 pid=45) check_enough_kv_cache_memory(vllm_config, kv_cache_spec, available_memory)

(EngineCore_DP0 pid=45) File "/usr/local/lib/python3.10/site-packages/vllm/v1/core/kv_cache_utils.py", line 691, in check_enough_kv_cache_memory

(EngineCore_DP0 pid=45) raise ValueError("No available memory for the cache blocks. "

(EngineCore_DP0 pid=45) ValueError: No available memory for the cache blocks. Try increasing gpu_memory_utilization when initializing the engine.

[MrPXK]

期待回复

[MrPXK]

自已已经解决，需要修改下载的compose.yaml文件。修改paddleocr-vlm-server 下的配置添加挂载本地的配置文件，利用传参的方式修改vllm的配置参数。算是投机取巧的方式
restart: unless-stopped
volumes:
- ./vllm_config.json:/tmp/vllm_config.json
environment:
- BACKEND=vllm --backend_config /tmp/vllm_config.json
看镜像的inspect中可以传入一个BACKEND参数，就试了下 顺便拼上 --backend_config /tmp/vllm_config.json 结果还真可以vllm_config.json的内容如下
{
"gpu_memory_utilization": 0.8,
"max_model_len": 8192,
"max_num_batched_tokens": 32768
}

[lixingxing1231]

能不能完善下微调的文档，包括微调后vllm部署