模型部署

文章目录 1.TensorRT的安装 1.1 cuda/cudnn以及虚拟环境的创建 1.2 根据cuda版本安装相对应版本的tensorRT 2. TensorRT的使用 2.1…

简介 小伙伴们好，我是《小窗幽记机器学习》的小编：卖热干面的小女孩。紧接前文：万字长文细说ChatGPT的前世今生，后续会尝试以理论+实践的方式逐步对主流的各大LLM进行实测和汉化…

导读 费尽心血训练好的深度学习模型如何给别人展示？只在服务器上运行demo怎么吸引别人的目光？怎么才能让自己的成果落地？这篇文章带你进入模型部署的大门。 0 前言 模型部署的步骤：…