使用conda环境python3.13和python3.12下安装vllm过程记录

最新推荐文章于 2026-08-12 16:54:53 发布
原创 最新推荐文章于 2026-08-12 16:54:53 发布 · 865 阅读 · 0 GEO检测
收录于
人工智能AI

当前文章被收录于：

人工智能AI
30 篇文章 1 人学习
订阅专栏 查看详情
python

当前文章被收录于：

python
7 篇文章 0 人学习
订阅专栏 查看详情

目录

文章目录

使用conda环境python3.13 安装vllm

这里就是记录一下过程

创建python3.13环境

(base) ts@localhost:/data/models$ conda remove --name myenv --all

Remove all packages in environment /home/ts/miniforge3/envs/myenv:


## Package Plan ##

  environment location: /home/ts/miniforge3/envs/myenv


The following packages will be REMOVED:

  _libgcc_mutex-0.1-conda_forge
  _openmp_mutex-4.5-2_gnu
  bzip2-1.0.8-h4bc722e_7
  ca-certificates-2025.4.26-hbd8a1cb_0
  ld_impl_linux-64-2.43-h712a8e2_4
  libexpat-2.7.0-h5888daf_0
  libffi-3.4.6-h2dba641_
标签
#conda #python #开发语言
了解本专栏 订阅专栏 解锁全文 超级会员免费看
【总结篇】LLM推理环境安装部署全指南
flymyd的博客
02-25 8128
本文介绍了安装WSL2、Ubuntu、NVIDIA显卡驱动、CUDA 12.4.1、cuDNN的方法及Xinference、vLLM、SGLang等推理框架的部署使用方法。本文适用于NVIDIA显卡用户，建议GPU架构为Turing或更新（对应RTX 20系或以上）。
本地部署 vllm
engchina的专栏
12-25 5875
本地部署 vllm
vLLM环境安装与运行实例【v0.5.4】
yd778473278的博客
11-19 2166
vLLM环境安装与运行实例【v0.5.4】，vllm需要使用v5.0.4版本，否则使用yTorch报错
安装vllm的艰苦过程
飞机火车巴雷特的博客
09-21 1468
介绍了Python3关于vllm库的安装方法
vLLM ：安装及部署大模型详解
weixin_67327688的博客
09-03 5178
vLLM是一个高效的LLM推理库，支持多种模型和GPU加速。安装要求包括NVIDIA GPU（16GB+显存）、CUDA 11.8/12.1和16GB内存，可通过pip或源码安装。部署时需要下载模型到本地并配置参数。常见问题包括依赖缺失（推荐使用Python 3.10和指定版本PyTorch）和CUDA问题（需正确安装驱动、CUDA并配置环境变量）。官网提供详细安装指南和问题解决方案。
vLLM安装问题解决：Python 3.13与3.12版本兼容性实测
weixin_36178216的博客
04-17 405
本文介绍了如何在星图GPU平台上自动化部署vLLM-v0.17.1镜像，解决Python版本兼容性问题。该镜像支持大语言模型的高效推理，适用于文本生成、智能问答等场景，帮助开发者快速构建AI应用。通过实测验证，Python 3.12环境可确保稳定运行。
vLLM部署排坑指南：CUDA显存报错与环境兼容性实战
weixin_34335458的博客
06-20 366
vLLM作为高性能大模型推理引擎，其核心能力依赖于PagedAttention、Continuous Batching等底层机制，而这些机制的稳定运行高度依赖CUDA驱动、cuBLAS、NCCL与Python运行时的精准匹配。理解GPU显存分配原理（如`--gpu-memory-utilization`实际控制KV Cache内存池）、掌握CUDA版本兼容性规则（如驱动525.60.13+对应CUDA 12.1），是解决`CUDA out of memory`和`no GPU found`等高频故障的前提。
在Ubuntu 22.04 使用 vLLM 部署千问 Qwen3-8B
最新发布
weixin_43976755的博客
08-12 524
在 16GB 显存的 Quadro RTX 5000 上用 vLLM 部署 Qwen3-8B 推理服务。通过 AWQ 4bit 量化（~4.7GB）+ YaRN 位置编码扩展（49152 tokens）+ 高显存利用率（0.97）解决显存瓶颈，使用 ModelScope 解决国内下载问题。并最终接入 opencode
Anaconda环境配置：Qwen3-ASR开发最佳实践
weixin_42153793的博客
02-06 372
本文介绍了如何在星图GPU平台上自动化部署Qwen3-ASR-1.7B镜像，高效实现语音识别功能。通过平台一键部署，用户可快速构建稳定、可复现的ASR推理环境，典型应用于会议实时转录、音视频内容字幕生成等场景，显著提升语音处理效率与开发体验。
Windows WSL搭建Ubuntu与vLLM环境全指南
weixin_34034261的博客
07-12 311
Windows Subsystem for Linux (WSL) 是微软推出的Linux兼容层技术，通过在Windows内核实现系统调用转换，使原生Linux二进制文件能在Windows运行。其核心价值在于为开发者提供无缝的跨平台开发体验，特别适合机器学习、云计算等需要Linux环境的场景。本文以Ubuntu WSL2环境为例，结合CUDA加速和vLLM推理框架，详细演示如何配置高性能的AI开发环境。针对vLLM这一新兴的大模型推理引擎，重点介绍其在WSL环境下的部署技巧、性能优化方法以及常见问题解决方案
vLLM部署中的CUDA版本兼容性问题与解决方案
weixin_33874713的博客
07-18 445
CUDA作为NVIDIA推出的并行计算平台，其版本兼容性直接影响深度学习框架的运行效率。在大型语言模型推理场景中，vLLM等高性能推理引擎需要精确匹配CUDA Toolkit、PyTorch和NVIDIA驱动版本才能发挥最佳性能。通过环境隔离工具如conda或Docker，可以灵活管理多版本CUDA环境，避免常见的版本冲突问题。本文针对vLLM部署中的典型CUDA错误，如版本不匹配和符号未定义等问题，提供了详细的排查方法和解决方案，帮助开发者快速搭建稳定的推理环境。
解决vLLM部署中的CUDA版本兼容性问题
weixin_30855099的博客
07-18 334
CUDA作为NVIDIA推出的并行计算平台和编程模型，是深度学习框架如PyTorch和TensorFlow的核心依赖。其版本兼容性直接影响模型训练和推理的稳定性。在部署高性能大语言模型推理库vLLM时，CUDA工具包、PyTorch框架和GPU驱动之间的版本匹配尤为关键。通过系统环境检查、预编译包选择、源码编译或Docker容器化等方法，可以有效解决常见的CUDA版本冲突问题。本文以vLLM部署为例，详细介绍了如何诊断和解决CUDA兼容性问题，为深度学习工程实践提供可靠参考。
vLLM vs TGI vs Ollama：3款推理框架部署 Llama3-8B 实测对比
djai0102的博客
07-08 393
本文对比了vLLM、TGI和Ollama三大推理框架在部署Llama3-8B大模型时的性能表现，提供了详细的实测数据和配置建议。测试结果显示，vLLM在高并发场景下吞吐量优势明显，TGI在显存优化方面表现最佳，而Ollama则适合快速本地开发。文章还包含部署流程、性能调优和生产环境建议，帮助开发者选择最适合的推理框架。
ubuntu conda 安装vllm
03-31 353
本文介绍了如何安装最新稳定版vLLM及其CUDA 13.1依赖。首先激活conda环境，然后通过清华镜像源安装最新版vLLM，并指定CUDA 13.1的额外索引URL。安装完成后，可通过Python命令验证vLLM版本，预期输出为vLLM版本：0.18.0。整个过程包括环境准备、软件安装和版本验证三个步骤。
vllm安装
m0_51440806的博客
05-28 955
vllm下载的时候，会自动更新所依赖的各种环境包，所以需要在一个单独的环境中安装以避免冲突。运行本地的模型只需要在vllm serve命令后面加上本地模型的地址即可。在示例代码中，注意修改模型为本地的模型地址，然后再运行。首先，需要创建一个新的conda环境。在新建的环境中安装vllm。
使用vllm部署大语言模型
yuanlulu的博客
07-08 6374
vLLM是一个快速且易于使用的库，用于LLM（大型语言模型）推理和服务。通过PagedAttention技术，vLLM可以有效地管理注意力键和值内存，降低内存占用和提高计算效率。vLLM能够将多个传入的请求进行连续批处理，从而提高整体处理速度。
安装 Conda 并配置 LLM 开发环境
小单的博客专栏
11-03 1268
Conda 是一个开源的包管理和环境管理系统，主要用于 Python 编程语言，但也能支持 R、Ruby、Lua、Scala、Java 等其他语言。它能够轻松地创建、保存、加载和切换不同的开发环境，每个环境都可以拥有独立版本的软件包及其依赖关系，从而有效解决不同项目之间的包版本冲突问题。通过 Conda，开发者可以快速安装、运行和更新软件包，大大简化了软件部署和项目管理的复杂度。本文介绍如何安装 Conda 并搭建大语言模型开发环境。
conda部署vllm并且运行deepseek大模型
qq_57574255的博客
01-09 541
Windows部署的化要开启虚拟化下载wsl2，linux部署就要简单很多，可以采用docker或者conda来部署，conda比较容易并且也是隔离的环境。
使用vllm部署自己的大模型
热门推荐
刘炫320的博客
04-26 3万+
使用vllm能够部署一个非常方便使用的大模型的后端，供webui前端使用，它不仅能够加速模型的推理过程，包括支持fast-attn库，而且还具有很友好的openai风格的api调用功能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值