Windows 上安装 io.net 连接新设备的分步教程
io.net Cloud 是最先进的去中心化计算网络,允许机器学习工程师以相当集中式服务成本的一小部分访问分布式云集群。
现代机器学习模型经常利用并行和分布式计算。利用跨多个系统的多核的强大功能来优化性能或扩展到更大的数据集和模型至关重要。训练和推理过程不仅仅是在单个设备上运行的简单任务,而且通常涉及协同工作的 GPU 协调网络。
不幸的是,由于公共云中需要更多 GPU,获取分布式计算资源面临着一些挑战。其中最突出的一些是:
- 可用性有限:使用 AWS、GCP 或 Azure 等云服务访问硬件通常需要数周时间,而且流行的 GPU 模型通常不可用。
- 糟糕的选择: 用户在 GPU 硬件、位置、安全级别、延迟和其他选项方面几乎没有选择。
- 高成本:获得好的 GPU 非常昂贵,项目每月很容易花费数十万美元用于训练和推理。
io.net 通过聚合来自未充分利用的来源(例如独立数据中心、加密矿工以及 Filecoin、Render 等加密项目)的 GPU 来解决这个问题。这些资源结合在去中心化物理基础设施网络 (DePIN) 中,使工程师能够在可访问、可定制、经济高效且易于实施的系统中获得大量计算能力。
io.net 文档:https://developers.io.net/docs/overview
安装 io.net 连接新设备教程
首先前往cloud.io.net 使用Google邮箱或者X账户登录io.net
1. 从下拉菜单导航至 WORKER
2. 连接新设备
点击“连接新设备”
3. 选择供应商
选择您希望将硬件分组到的供应商
4. 为您的设备命名
为您的设备添加唯一的名称,理想格式类似于以下内容:My-Test-Device
5. 选择操作系统“OS”
单击“Windows”字段
6. 设备类型
如果您选择 GPU Worker 并且您的设备没有 GPU,则设置将失败
7. Docker 和 Nvidia 驱动程序安装
按照我们的 Docker、Cuda 和 Nvidia 驱动程序安装文档中的步骤进行操作
8.运行Docker命令
在终端中运行此命令并确保 docker 桌面正在后台运行
9.等待连接
在等待新设备连接时,请继续点击刷新。
Windows 上的 Docker 安装
首先,您需要启用虚拟化 BIOS。
要检查它是否已启用,请转到任务管理器性能,以便您在此处看到:
如果未启用,请按照下列步骤操作:
- 要在 BIOS 或 UEFI 设置中启用虚拟化技术,您需要在启动过程中访问计算机的 BIOS 或 UEFI 配置菜单。具体步骤可能会有所不同,具体取决于计算机的制造商和型号,但以下是启用虚拟化的一般步骤。
- 通过以管理员身份打开 PowerShell 来安装 WSL 2。为此,请在“开始”菜单中搜索“PowerShell”,右键单击“Windows PowerShell”,然后选择“以管理员身份运行”。
- 运行以下命令在 Windows 10/11 中启用 WSL 功能:
dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart
- 然后,通过运行以下命令,在同一 PowerShell 窗口中启用虚拟机平台功能:
dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart
- 然后将 WSL 2 设置为默认版本(有时可能需要重新启动计算机):
wsl --set-default-version 2
下载 Docker:
访问 docker 网站:https ://www.docker.com/products/docker-desktop/ 并单击“download for Windows”:
运行安装过程,安装完成后重新启动机器:
启动docker桌面,在docker中选择wsl2进行集成:
通过打开 CMD 并键入以下内容来验证安装
docker --version
然后您将收到以下输出
Docker version 24.0.6, build ed223bc
就是这样。您已安装并准备好 docker。
Windows 上的 Nvidia 驱动程序安装
- 要检查您是否拥有正确的驱动程序,请在 Windows PC 上打开命令行(Windows 键 + R,键入 cmd)并输入以下内容:nvidia-smi 。如果您遇到以下错误信息:
C:\Users>nvidia-smi 'nvidia-smi' is not recognized as an internal or external command, operable program or batch file.
这意味着您没有安装 NVIDIA 驱动程序。要安装它们,请按照以下步骤操作:
- 访问 Nvidia 网站:https://www.nvidia.com/download/index.aspx并输入您的 GPU 名称,然后单击搜索:
- 单击适合您的 GPU 和 Windows 版本的 NVIDIA 驱动程序的“下载”按钮。
- 下载完成后,开始安装,选择第一个选项,然后单击“同意并继续”。
- 安装完成后,必须重新启动计算机。重新启动计算机以确保新的 NVIDIA 驱动程序完全集成到您的系统中。
- 计算机重新启动后,打开命令提示符(Windows 键 + R,键入 cmd)并键入以下命令:
nvidia-smi
- 您应该看到这样的结果:
就是这样。您已安装并准备好正确的 NVIDIA 驱动程序。
下载 CUDA 工具包(可选)
- 访问 NVIDIA CUDA 工具包下载页面:https://developer.nvidia.com/cuda-downloads
- 选择您的操作系统(例如Windows)。
- 选择您的体系结构(对于 64 位 Windows,通常为 x86_64)。
- 下载 exe 本地安装程序。下载文件后,运行安装程序:
- 并遵循安装过程。
- 然后,验证安装过程。打开命令提示符(Windows 键 + R,键入 cmd)并键入以下命令:
nvcc --version
- 您应该得到以下答案:
nvcc: NVIDIA (R) Cuda compiler driver Copyright (c) 2005-2022 NVIDIA Corporation Built on Wed_Sep_21_10:41:10_Pacific_Daylight_Time_2022 Cuda compilation tools, release 11.8, V11.8.89 Build cuda_11.8.r11.8/compiler.31833905_0
就是这样。您已安装并准备好 CUDA 工具包。
请注意,我们现在正在安装一个 20GB 大小的容器,它包含 ML 应用程序所需的所有包,一切都发生在容器内,没有任何内容从容器传输到文件系统
故障指南
支持 GPU 的 Docker 平台故障排除指南
验证 Linux 和 Windows 上的 docker 设置
- 要验证您的设置是否正常运行,请执行:
docker run --gpus all nvidia/cuda:11.0.3-base-ubuntu18.04 nvidia-smi
- 输出应该与 nvidia-smi 类似。
- 此命令检查 Docker 是否正确利用您的 GPU。
停止平台
Windows(使用 PowerShell):
docker ps -a -q | ForEach { docker rm $\_ }
Windows 上的正常运行时间不稳定?
要确保路由器上的 DHCP 租用时间设置为超过 24 小时,请访问 Windows 操作系统中的组策略编辑器。按以下顺序启用指定设置:
- 导航到组策略编辑器中的“计算机配置”。
- 在“计算机配置”中,找到“管理模板”部分。
- 在“管理模板”部分中,导航至“系统”。
- 在“系统”菜单中,选择“电源管理”。
- 最后,访问“电源管理”中的“睡眠设置”小节。
- 在“睡眠设置”子菜单中,激活“连接待机期间允许网络连接(使用电池)”和“连接待机期间允许网络连接(插入电源)”选项。
- 请确保对这些配置进行相应调整以获得所需的结果。
为了平台的正常运行,需要在防火墙上公开哪些端口:(Linux 和 Windows)
TCP: 443 25061 5432 80
UDP: 80 443 41641 3478
如何验证程序已成功启动?
在 powershell(windows) 或终端(linux) 上运行以下命令时,您应该始终运行 2 个 docker 容器:
docker ps
如果在网站上执行 docker run -d … 命令后没有容器或只有 1 个容器在运行:
停止平台(查看上面的命令指南)并再次使用网站命令重新启动平台
如果这仍然不起作用 – 请联系我们的 Discord 社区寻求帮助:https://discord.com/invite/kqFzFK7fg2
io.net支持的设备
Manufacturer | GPU Model |
---|---|
NVIDIA | A10 |
NVIDIA | A100 80G PCIe NVLink |
NVIDIA | A100 80GB PCIe |
NVIDIA | A100-PCIE-40GB |
NVIDIA | A100-SXM4-40GB |
NVIDIA | A40 |
NVIDIA | A40 PCIe |
NVIDIA | A40-8Q |
NVIDIA | GeForce RTX 3050 Laptop |
NVIDIA | GeForce RTX 3050 Ti Laptop |
NVIDIA | GeForce RTX 3060 |
NVIDIA | GeForce RTX 3060 Laptop |
NVIDIA | GeForce RTX 3060 Ti |
NVIDIA | GeForce RTX 3070 |
NVIDIA | GeForce RTX 3070 Laptop |
NVIDIA | GeForce RTX 3070 Ti |
NVIDIA | GeForce RTX 3070 Ti Laptop |
NVIDIA | GeForce RTX 3080 |
NVIDIA | GeForce RTX 3080 Laptop |
NVIDIA | GeForce RTX 3080 Ti |
NVIDIA | GeForce RTX 3080 Ti Laptop |
NVIDIA | GeForce RTX 3090 |
NVIDIA | GeForce RTX 3090 Ti |
NVIDIA | GeForce RTX 4060 |
NVIDIA | GeForce RTX 4060 Laptop |
NVIDIA | GeForce RTX 4060 Ti |
NVIDIA | GeForce RTX 4070 |
NVIDIA | GeForce RTX 4070 Laptop |
NVIDIA | GeForce RTX 4070 SUPER |
NVIDIA | GeForce RTX 4070 Ti |
NVIDIA | GeForce RTX 4070 Ti SUPER |
NVIDIA | GeForce RTX 4080 |
NVIDIA | GeForce RTX 4080 SUPER |
NVIDIA | GeForce RTX 4090 |
NVIDIA | GeForce RTX 4090 Laptop |
NVIDIA | H100 80G PCIe |
NVIDIA | H100 PCIe |
NVIDIA | L40 |
NVIDIA | Quadro RTX 4000 |
NVIDIA | RTX 4000 SFF Ada Generation |
NVIDIA | RTX 5000 |
NVIDIA | RTX 5000 Ada Generation |
NVIDIA | RTX 6000 Ada Generation |
NVIDIA | RTX 8000 |
NVIDIA | RTX A4000 |
NVIDIA | RTX A5000 |
NVIDIA | RTX A6000 |
NVIDIA | Tesla P100 PCIe |
NVIDIA | Tesla T4 |
NVIDIA | Tesla V100-SXM2-16GB |
NVIDIA | Tesla V100-SXM2-32GB |
CPU
Manufacturer | CPU Model |
---|---|
Apple | M1 Pro |
Apple | M1 |
Apple | M1 Max |
Apple | M2 |
Apple | M2 Max |
Apple | M2 Pro |
Apple | M3 |
Apple | M3 Max |
Apple | M3 Pro |
AMD | QEMU Virtual CPU version 2.5+ |