當(dāng)前，ai模型開(kāi)發(fā)進(jìn)入到生產(chǎn)部署階段面臨著多重困難和挑戰(zhàn)：ai模型需要經(jīng)過(guò)大量的調(diào)試和測(cè)試才能部署上線，這一過(guò)程通常需要2-3天;ai線上服務(wù)計(jì)算資源一般較固定，對(duì)于突發(fā)需求資源響應(yīng)慢，業(yè)務(wù)擴(kuò)展難;ai模型來(lái)源不同，統(tǒng)一管理也很困難。企業(yè)希望可以無(wú)縫銜接ai模型訓(xùn)練開(kāi)發(fā)與推理部署，進(jìn)行高效的資源調(diào)度和模型管理，縮短業(yè)務(wù)上線周期。浪潮人工智能開(kāi)發(fā)平臺(tái)aistation，可以助力企業(yè)更好應(yīng)對(duì)以上挑戰(zhàn)。
aistation的浪潮專為企業(yè)級(jí)ai生產(chǎn)環(huán)境打造的人工智能開(kāi)發(fā)平臺(tái)。之前浪潮aistation訓(xùn)練平臺(tái)通過(guò)計(jì)算資源細(xì)粒度調(diào)度、訓(xùn)練數(shù)據(jù)緩存加速、分布式訓(xùn)練自動(dòng)編排等策略，使用戶的ai計(jì)算資源利用率提高到90%%u4ee5上，大幅縮短了模型開(kāi)發(fā)周期，已經(jīng)獲得廣泛應(yīng)用。
在今年4月9日舉行的2020浪潮云數(shù)據(jù)中心合作伙伴大會(huì)期間，浪潮發(fā)布最新的aistation推理平臺(tái)，可實(shí)現(xiàn)推理服務(wù)資源敏捷調(diào)配，支持多源模型統(tǒng)一調(diào)度，使模型部署從幾天縮短到幾分鐘，將有力地幫助企業(yè)輕松部署ai推理服務(wù)，從而大幅提升ai交付和生產(chǎn)效率。隨著本次浪潮aistation推理平臺(tái)的面世，aistation資源平臺(tái)全面支持訓(xùn)練與推理兩大場(chǎng)景，實(shí)現(xiàn)從模型開(kāi)發(fā)、訓(xùn)練、部署、測(cè)試、發(fā)布、服務(wù)的全流程一站式高效交付。
最新發(fā)布的浪潮aistation推理平臺(tái)是企業(yè)級(jí)ai推理服務(wù)平臺(tái)，通過(guò)彈性可伸縮架構(gòu)、低延遲輕量化設(shè)計(jì)、a/b測(cè)試滾動(dòng)發(fā)布、多模型加權(quán)評(píng)估等重要技術(shù)創(chuàng)新，幫助企業(yè)高效利用ai計(jì)算資源，快速部署推理服務(wù)。aistaion推理平臺(tái)具有一鍵部署、快速響應(yīng)、日志監(jiān)控、資源管控、數(shù)據(jù)處理等功能，功能全面強(qiáng)大的ai資源平臺(tái)。
aistation推理平臺(tái)支持本地on-premise和云端cloud部署，保證服務(wù)的可獲得性和業(yè)務(wù)連續(xù)性，實(shí)現(xiàn)了ai模型從開(kāi)發(fā)環(huán)境到生產(chǎn)部署繁雜過(guò)程的自動(dòng)化快捷操作，將模型部署時(shí)間從兩三天降低到幾分鐘。
在資源調(diào)度方面，aistation推理平臺(tái)能夠敏捷調(diào)配服務(wù)資源。采用創(chuàng)新的彈性可伸縮架構(gòu)，可根據(jù)推理服務(wù)資源需求的變化及時(shí)調(diào)整資源配給，將響應(yīng)突發(fā)需求的實(shí)例部署時(shí)間從幾小時(shí)縮短到幾分鐘。并且支持新模型發(fā)布前a/b測(cè)試，在實(shí)際業(yè)務(wù)場(chǎng)景中驗(yàn)證模型有效性，保證推理業(yè)務(wù)的安全、可靠，同時(shí)避免了流量切換所導(dǎo)致的集群負(fù)載壓力。
在模型管理方面，aistation推理平臺(tái)實(shí)現(xiàn)了多源模型統(tǒng)一調(diào)度。通過(guò)統(tǒng)一平臺(tái)管理多源、多場(chǎng)景模型的推理服務(wù)，實(shí)時(shí)掌控全局資源，對(duì)模型服務(wù)實(shí)現(xiàn)綜合調(diào)度和動(dòng)態(tài)部署。同一資源池可同時(shí)支持多家模型服務(wù)，將資源利用率從40% %u63d0高到80%%u3002并且可實(shí)現(xiàn)多模型加權(quán)評(píng)估，通過(guò)對(duì)不同預(yù)訓(xùn)練模型的計(jì)算結(jié)果進(jìn)行自定義權(quán)值設(shè)置，有效提升實(shí)際業(yè)務(wù)場(chǎng)景中預(yù)測(cè)結(jié)果的可靠性，構(gòu)建可靠可信的智能系統(tǒng)，有效降低誤判率。
浪潮ai&hpc總經(jīng)理劉軍表示：“智算中心是人工智能新基建，它生產(chǎn)和供應(yīng)人工智能計(jì)算力，是社會(huì)經(jīng)濟(jì)運(yùn)行的智慧基礎(chǔ)設(shè)施。而要讓智算中心充分釋放算力，就需要按需靈活調(diào)度算力。aistation對(duì)于智算中心新基建的意義，就相當(dāng)于電廠和電網(wǎng)的核心調(diào)度系統(tǒng)，它能夠根據(jù)ai應(yīng)用需求高效調(diào)度ai算力資源，幫助企業(yè)加速ai研發(fā)創(chuàng)新、提速ai生產(chǎn)交付，讓企業(yè)更專注于ai開(kāi)發(fā)本身，從而賦力更多創(chuàng)新可能，加速ai落地應(yīng)用。”
浪潮是人工智能計(jì)算的領(lǐng)導(dǎo)品牌，ai服務(wù)器中國(guó)市場(chǎng)份額保持50%%u4ee5上，并與人工智能領(lǐng)先科技公司保持在系統(tǒng)與應(yīng)用方面的深入緊密合作，幫助ai客戶在語(yǔ)音、語(yǔ)義、圖像、視頻、搜索、網(wǎng)絡(luò)等方面取得數(shù)量級(jí)的應(yīng)用性能提升。浪潮與合作伙伴共建元腦生態(tài)，共享ai計(jì)算、資源與算法三大核心平臺(tái)能力，助力行業(yè)用戶開(kāi)發(fā)并部署屬于自己的“行業(yè)大腦”，加速推進(jìn)產(chǎn)業(yè)ai化落地。