如何搭建一個GPU加速的分布式機(jī)器學(xué)習(xí)系統(tǒng)，遇到的問題和解決方法

小嘰導(dǎo)讀：在解決實(shí)際問題的時候，很多人認(rèn)為只要有機(jī)器學(xué)習(xí)算法就可以了，實(shí)際上要把一個算法落地還需要解決很多工程上的難題。本文將和大家分享如何從零開始搭建一個GPU加速的分布式機(jī)器學(xué)習(xí)系統(tǒng)，介紹在搭建過程中遇到的問題和解決方法。

一  背景

在云計算環(huán)境下，虛擬機(jī)的負(fù)載均衡、自動伸縮、綠色節(jié)能以及宿主機(jī)升級等需求使得我們需要利用虛擬機(jī)(VM)遷移技術(shù)，尤其是虛擬機(jī)熱遷移技術(shù)，對于down time（停機(jī)時間）要求比較高，停機(jī)時間越短，客戶業(yè)務(wù)中斷時間就越短，影響就越小。如果能夠根據(jù)VM的歷史工作負(fù)載預(yù)測其未來的工作負(fù)載趨勢，就能夠?qū)ふ业阶詈线m的時間窗口完成虛擬機(jī)熱遷移的操作。

于是我們開始探索如何用機(jī)器學(xué)習(xí)算法預(yù)測ECS虛擬機(jī)的負(fù)載以及熱遷移的停機(jī)時間，但是機(jī)器學(xué)習(xí)算法要在生產(chǎn)環(huán)境發(fā)揮作用，還需要很多配套系統(tǒng)去支持。為了能快速將現(xiàn)有算法在實(shí)際生產(chǎn)環(huán)境落地，并能利用GPU加速實(shí)現(xiàn)大規(guī)模計算，我們自己搭建了一個GPU加速的大規(guī)模分布式機(jī)器學(xué)習(xí)系統(tǒng)，取名小諸葛，作為ECS數(shù)據(jù)中臺的異構(gòu)機(jī)器學(xué)習(xí)算法加速引擎。搭載以上算法的小諸葛已經(jīng)在生產(chǎn)環(huán)境上線，支撐阿里云全網(wǎng)規(guī)模的虛擬機(jī)的大規(guī)模熱遷移預(yù)測。

二  方案

那么一套完整大規(guī)模分布式系統(tǒng)機(jī)器學(xué)習(xí)系統(tǒng)需要哪些組成部分呢？

1  總體架構(gòu)

阿里云全網(wǎng)如此大規(guī)模的虛擬機(jī)數(shù)量，要實(shí)現(xiàn)24小時之內(nèi)完成預(yù)測，需要在端到端整個流程的每一個環(huán)節(jié)做優(yōu)化。所以這必然是一個復(fù)雜的工程實(shí)現(xiàn)，為了高效的搭建這個平臺，大量使用了現(xiàn)有阿里云上的產(chǎn)品服務(wù)來搭建。

整個平臺包含：Web服務(wù)、MQ消息隊列、Redis數(shù)據(jù)庫、SLS/MaxComputer/HybridDB數(shù)據(jù)獲取、OSS模型倉庫的上傳下載、GPU云服務(wù)器、DASK分布式框架、RAPIDS加速庫。

1）架構(gòu)

下圖是小諸葛的總體架構(gòu)圖。