使用 PyTorch 在 Windows 上通过 AMD 部署 LLM 入门指南
使用 AMD 消费级显卡,通过 PyTorch 在 Windows 上运行 LLM。
本页内容
AMD ROCm™ 是首个面向 HPC/Hyperscale 级 GPU 计算的开源软件开发平台。AMD ROCm™ 将 Unix 的选择、简约和模块化软件开发的理念带入了 GPU 计算。有关更多信息,请参阅 AMD GPU 计算开放软件平台和ROCm 信息门户页面。
有关 ROCm 安装的更详细信息,请参阅在 Linux 上部署 ROCm页面。
如果没有清晰地了解涉及的组件和安装过程的流程,安装 AMD ROCm™ 软件包可能会很困难。本入门材料将展示如何在支持 AMD GFX9 架构的 AMD GPU 卡的工作站上安装 ROCm。后续博客将讨论在其他环境(如 Docker 容器、Linux LXC 或完整的 HPC 安装)中安装 ROCm。
网站 https://rocm.docs.amd.com 包含 ROCm 的发布、支持和 API 文档链接。请参阅安装指南和硬件/软件支持指南,了解 ROCm V 5.7 版本支持的软件和硬件。本文将基于 Ubuntu 22.04 操作系统和 AMD MI(MI210、MI250 等)系列 GPU 卡。完整的安装过程已在安装指南中记录。
AMD ROCm™ 是一个品牌名称,代表支持使用 AMD 的 CDNA 和 RDNA GPU 架构的 GPU 的 ROCm 开放软件平台。该平台包括驱动程序以及库和开发人员工具的运行时。
本博客文章将介绍三种安装选项
使用 AMD 提供的脚本安装 ROCm。
在同一系统上支持多个 ROCm 版本。
使用 Ubuntu 的 apt-get 安装 ROCm。
AMD 为特定的操作系统和 ROCm 版本提供安装脚本。脚本名称和下载位置可能因 O/S 和 ROCm 的组合而异,因此请查看您特定组合的如何安装页面。我们使用 Ubuntu 22.04 并安装 ROCm 5.7.1,发现脚本名为 *amdgpu-install_5.7.50701-1_all*。
sudo apt updatewget https://repo.radeon.com/amdgpu-install/5.7.1/ubuntu/jammy/amdgpu-install_5.7.50701-1_all.debsudo apt install ./amdgpu-install_5.7.50701-1_all.deb一旦 amdgpu-install 脚本被提取,就可以使用它来安装内核代码、库和开发人员代码。对于典型的 HPC 环境,HIP、ROCm 和内核驱动程序应该足够了
sudo amdgpu-install --usecase=hiplibsdk,rocm,dkms可以使用以下命令安装其他库并查找可用的用例列表
sudo amdgpu-install --list-usecaseROCm 代码默认安装到 /opt/rocm。您可以通过运行以下命令来验证 ROCm 是否已安装
/opt/rocm/bin/rocminfo并检查显卡是否被软件检测到。支持的 GPU 卡将以“GFX9”开头。
如果 ROCm 已安装,可以卸载旧版本并安装新版本。或者,可以在保留旧版本的同时安装其他版本。安装其他版本会创建一个多版本系统,并且必须谨慎使用以确保环境变量中的路径正确。例如,当前的 /opt/rocm 可能变为 /opt/rocm-5.4.0 或 /opt/rocm-5.3.2,具体取决于已安装的 ROCm 版本。
要删除所有旧版本,请使用
sudo amdgpu-uninstall --rocmrelease=allAMD 为特定的操作系统和 ROCm 版本提供安装脚本。脚本名称和下载位置可能因 O/S 和 ROCm 的组合而异,因此请查看您特定组合的如何安装页面。我们使用 Ubuntu 22.04 并安装 ROCm 5.7.1,发现脚本名为 *amdgpu-install_5.7.50701-1_all*。
sudo apt updatewget https://repo.radeon.com/amdgpu-install/5.7.1/ubuntu/jammy/amdgpu-install_5.7.50701-1_all.debsudo apt install ./amdgpu-install_5.7.50701-1_all.deb一旦 amdgpu-install 脚本被提取,就可以使用它来安装内核代码、库和开发人员代码。以下步骤将安装 5.7.1 级别的内核驱动程序代码,以及 5.7.0 和 5.7.1 级别的库。对于典型的 HPC 环境,HIP 和 ROCm 库应该足够了
sudo amdgpu-install --usecase=hiplibsdk,rocm,dkms --rocmrelease=5.7.1sudo amdgpu-install --usecase=hiplibsdk,rocm --rocmrelease=5.7.0 --no-dkmssudo amdgpu-install --usecase=hiplibsdk,rocm --rocmrelease=5.7.1 --no-dkms可以使用以下命令安装其他库并查找可用的用例列表
sudo amdgpu-install --list-usecaseROCm 代码默认安装到 /opt/rocm。您可以通过运行以下命令来验证 ROCm 是否已安装
/opt/rocm-5.7.1/bin/rocminfo并检查显卡是否被软件检测到。支持的 GPU 卡将以“GFX9”开头。
虽然 AMD 为特定的操作系统和 ROCm 版本提供安装脚本,但该脚本最终将使用 O/S 标准安装软件来安装软件。在 Ubuntu 的情况下,该脚本将使用 *apt-get* 来安装 ROCm。完整的 apt-get 过程已在如何安装页面中显示。以下步骤将安装 ROCm 5.4 以及自定义版本的 apt-get 命令。
确定要安装的 ROCm 软件的位置以及 HIP 和相关的 ROCm 软件
export ROCM_REPO_BASEURL="https://repo.radeon.com/rocm/apt/5.7.1/"export ROCM_REPO_COMP="ubuntu"export ROCM_REPO_BUILD="main"echo "deb [arch=amd64 trusted=yes] ${ROCM_REPO_BASEURL} ${ROCM_REPO_COMP} ${ROCM_REPO_BUILD}" > /etc/apt/sources.list.d/rocm.listsudo apt-get updateDEBIAN_FRONTEND=noninteractive apt-get install -y \ libdrm-amdgpu* \ initramfs-tools \ libtinfo* \ initramfs-tools \ rocm-llvm \ rocm-hip-runtime \ rocm-hip-sdk \ roctracer-dev要查找可以使用 apt-get 安装的其他 ROCm 部分的列表,请尝试使用 apt-cache
apt-cache search rocmROCm 代码默认安装到 /opt/rocm。您可以通过运行以下命令来验证 ROCm 是否已安装
/opt/rocm/bin/rocminfo并检查显卡是否被软件检测到。支持的 GPU 卡将以“GFX9”开头。
注意:不建议混合使用 apt-get 和 amdgpu-install 方法。选择一种方法来安装 ROCm。
如果您有任何问题或评论,请在 GitHub 讨论区 与我们联系