使用 PyTorch 在 Windows 上通过 AMD 部署 LLM 入门指南
使用 AMD 消费级显卡,通过 PyTorch 在 Windows 上运行 LLM。
本页内容
计算科学和数据科学已成为强大的科学探究和工程设计模式。它们通常被称为科学方法的“第三”和“第四”支柱,是跨学科领域,其中使用计算机模型和物理、生物或数据驱动过程的模拟来探究、预测和分析感兴趣的复杂系统。所有这些都迫切需要使用更多的计算能力和资源来跟上日益增长的科学和工业需求。为了充分利用为应对这些挑战而设计的最新硬件,开发强大的高性能计算(HPC)和机器学习(ML)应用程序的软件比以往任何时候都更加重要。随着硬件趋势通过 GPU 加速实现大规模并行化,这使得采用复杂的异构编程环境和经过精心调优的应用程序代码的挑战变得更加严峻。
在本期“AMD lab notes”博客系列中,我们将分享在针对 AMD GPU 调优各种科学应用程序、库和框架时获得的经验。我们通过这些实验室笔记的目标是为读者提供以下内容:
AMD GPU 实现的计算科学算法,例如 PDE 离散化、线性代数、求解器等
展示优化的 AMD GPU 编程教程
关于在 AMD GPU 上利用 ML 框架、数据科学工具、后处理和可视化说明
针对 AMD GPU 移植和优化 HPC 和 ML 应用程序的最佳实践
有关使用 ROCm™ 软件栈中的库和工具的指导
我们的大部分实验室笔记都包含配套的代码示例,鼓励读者进行实验。目的是提供面向领域专家和计算/数据科学家受众的内容。虽然我们的优化策略可能特定于某个应用程序,但我们相信这些内容可以作为宽松的指南和有效的起点,以便从 AMD 硬件中获得最佳体验。我们主要关注 AMD Instinct™ GPU,但我们也期望其他 AMD 显卡的用户能从这些笔记中概述的策略中受益。
包含所有实验室笔记和相关代码示例的存储库可以在 https://github.com/AMD/amd-lab-notes 找到。我们希望我们的教学示例能启发读者进一步加速他们的应用程序代码。
如果您有任何问题或评论,请在 GitHub 讨论区 与我们联系