Ubuntu安装PBG

硬件/软件配置

• ubuntu 18.04
• nvidia-smi 440.100

使用docker进行安装

可根据需求以root用户权限或以非root用户权限安装Pytorch和PBG。

• 配置pip源
  • Ubuntu安装DGL并提供GPU支持#使用docker进行安装
• 安装与cuda版本对应的合适版本的pytorch
  • Previous PyTorch Versions
  • 使用pip安装pytorch
• 下载PBG源码进行编译安装

  wget https://github.com/facebookresearch/PyTorch-BigGraph/archive/refs/heads/main.zipunzip main.ziprm main.zipcd PyTorch-BigGraph-mainPBG_INSTALL_CPP=1 pip install .

  若不使用GPU，则可以使用pip install .进行安装
  根据需要，使用PBG提供的案例mv torchbiggraph/examples ../pbg-examples和删除安装包cd .. && rm -rf PyTorch-BigGraph-main。
  PBG的python库和可执行命令分别被安装在**/site-packages和**/bin中。

使用Docker进行部署PBG

• 打包镜像

  sudo docker commit -m "pip install pbg with cuda:10.2 and pytorch:1.12.0" container_id pbg_single:v1.0

• 编写docker-compose.yml以部署单个容器

  version: '3'services:	dgl_cluster:		image: pbg_single:v1.0        user: "pbg"        working_dir: /home/pbg/MyWorkspace        volumes:        	- ./pbg:/home/pbg/MyWorkspace        shm_size: '32g'        storage_opt:        	size: '256g'        deploy:        	resources:        	    limits:          			cpus: '8.0'          			memory: 16G        		reservations:        			devices:        				- driver: nvidia        				  count: "all"        				  capabilities: [gpu]        stdin_open: true        tty: true        command: /bin/bash -c "/bin/bash /home/pbg/.ssh/sshd.sh && /bin/bash"

• 使用docker-compose部署容器

  sudo docker-compose up -d

使用Docker部署分布式PBG

使用Docker部署DistDGL

• 安装sshd并配置ssh（在安装PBG之前或之后均可）
• 打包镜像

  sudo docker commit -m "pip install pbg with cuda:10.2 and pytorch:1.12.0 and sshd" container_id pbg_single:v1.0

• 部署单个容器

  version: '3.5'services:	pbg_cluster:		image: pbg_single:v1.0        user: "pbg"        working_dir: /home/pbg/MyWorkspace        volumes:        	- ./pbg:/home/pbg/MyWorkspace        shm_size: '32g'        storage_opt:        	size: '256g'        deploy:        	resources:        	    limits:          			cpus: '8.0'          			memory: 16G        		reservations:        			devices:        				- driver: nvidia        				  count: "all"        				  capabilities: [gpu]        stdin_open: true        tty: true        command: /bin/bash -c "/bin/bash /home/pbg/.ssh/sshd.sh && /bin/bash"

• 部署多个镜像

  sudo docker-compose up --scale pbg_cluster=2 -d