使用MindStudio進(jìn)行MindInsight調(diào)優(yōu)
相對(duì)應(yīng)的視頻教學(xué)可以在B站進(jìn)行觀看:https://www.bilibili.com/vIDEo/BV1St4y1473r
一、MindSpore和MindInsight環(huán)境搭建和配置介紹
1 MindSpore簡(jiǎn)介
昇思mindspore是一個(gè)全場(chǎng)景深度學(xué)習(xí)框架,旨在實(shí)現(xiàn)易開發(fā)、高效執(zhí)行、全場(chǎng)景覆蓋三大目標(biāo)。
其中,易開發(fā)表現(xiàn)為API友好、調(diào)試難度低;高效執(zhí)行包括計(jì)算效率、數(shù)據(jù)預(yù)處理效率和分布式訓(xùn)練效率;全場(chǎng)景則指框架同時(shí)支持云、邊緣以及端側(cè)場(chǎng)景。
昇思MindSpore總體架構(gòu)如下圖所示:
ModelZoo(模型庫(kù)):ModelZoo提供可用的深度學(xué)習(xí)算法網(wǎng)絡(luò)(ModelZoo地址)
Extend(擴(kuò)展庫(kù)):昇思MindSpore的領(lǐng)域擴(kuò)展庫(kù),支持拓展新領(lǐng)域場(chǎng)景,如GNN/深度概率編程/強(qiáng)化學(xué)習(xí)等,期待更多開發(fā)者來一起貢獻(xiàn)和構(gòu)建。
Science(科學(xué)計(jì)算):MindScience是基于昇思MindSpore融合架構(gòu)打造的科學(xué)計(jì)算行業(yè)套件,包含了業(yè)界領(lǐng)先的數(shù)據(jù)集、基礎(chǔ)模型、預(yù)置高精度模型和前后處理工具,加速了科學(xué)行業(yè)應(yīng)用開發(fā)(了解更多)。
Expression(全場(chǎng)景統(tǒng)一API):基于python的前端表達(dá)與編程接口。同時(shí)未來計(jì)劃陸續(xù)提供C/C 、華為自研編程語言前端-倉(cāng)頡(目前還處于預(yù)研階段)等第三方前端的對(duì)接工作,引入更多的第三方生態(tài)。
Data(數(shù)據(jù)處理層):提供高效的數(shù)據(jù)處理、常用數(shù)據(jù)集加載等功能和編程接口,支持用戶靈活的定義處理注冊(cè)和pipeline并行優(yōu)化。
Compiler(AI編譯器):圖層的核心編譯器,主要基于端云統(tǒng)一的MindIR實(shí)現(xiàn)三大功能,包括硬件無關(guān)的優(yōu)化(類型推導(dǎo)、自動(dòng)微分、表達(dá)式化簡(jiǎn)等)、硬件相關(guān)優(yōu)化(自動(dòng)并行、內(nèi)存優(yōu)化、圖算融合、流水線執(zhí)行等)、部署推理相關(guān)的優(yōu)化(量化、剪枝等)。
Runtime(全場(chǎng)景運(yùn)行時(shí)):昇思MindSpore的運(yùn)行時(shí)系統(tǒng),包含云側(cè)主機(jī)側(cè)運(yùn)行時(shí)系統(tǒng)、端側(cè)以及更小IoT的輕量化運(yùn)行時(shí)系統(tǒng)。
Insight(可視化調(diào)試調(diào)優(yōu)工具):昇思MindSpore的可視化調(diào)試調(diào)優(yōu)工具,能夠可視化地查看訓(xùn)練過程、優(yōu)化模型性能、調(diào)試精度問題、解釋推理結(jié)果(了解更多)。
Armour(安全增強(qiáng)庫(kù)):面向企業(yè)級(jí)運(yùn)用時(shí),安全與隱私保護(hù)相關(guān)增強(qiáng)功能,如對(duì)抗魯棒性、模型安全測(cè)試、差分隱私訓(xùn)練、隱私泄露風(fēng)險(xiǎn)評(píng)估、數(shù)據(jù)漂移檢測(cè)等技術(shù)(了解更多)。
執(zhí)行流程
有了對(duì)昇思MindSpore總體架構(gòu)的了解后,我們可以看看各個(gè)模塊之間的整體配合關(guān)系,具體如圖所示:
昇思MindSpore作為全場(chǎng)景AI框架,所支持的有端(手機(jī)與IOT設(shè)備)、邊(基站與路由設(shè)備)、云(服務(wù)器)場(chǎng)景的不同系列硬件,包括昇騰系列產(chǎn)品,英偉達(dá)NVIDIA系列產(chǎn)品,Arm系列的高通驍龍、華為麒麟的芯片等系列產(chǎn)品。
左邊藍(lán)色方框的是MindSpore主體框架,主要提供神經(jīng)網(wǎng)絡(luò)在訓(xùn)練、驗(yàn)證相關(guān)的基礎(chǔ)API功能,另外還會(huì)默認(rèn)提供自動(dòng)微分、自動(dòng)并行等功能。
藍(lán)色方框往下是MindSpore Data模塊,可以利用該模塊進(jìn)行數(shù)據(jù)預(yù)處理,包括數(shù)據(jù)采樣、數(shù)據(jù)迭代、數(shù)據(jù)格式轉(zhuǎn)換等不同的數(shù)據(jù)操作。在訓(xùn)練的過程會(huì)遇到很多調(diào)試調(diào)優(yōu)的問題,因此有MindSpore Insight模塊對(duì)loss曲線、算子執(zhí)行情況、權(quán)重參數(shù)變量等調(diào)試調(diào)優(yōu)相關(guān)的數(shù)據(jù)進(jìn)行可視化,方便用戶在訓(xùn)練過程中進(jìn)行調(diào)試調(diào)優(yōu)。
設(shè)計(jì)理念
- 支持全場(chǎng)景協(xié)同
- 昇思MindSpore是源于全產(chǎn)業(yè)的最佳實(shí)踐,向數(shù)據(jù)科學(xué)家和算法工程師提供了統(tǒng)一的模型訓(xùn)練、推理和導(dǎo)出等接口,支持端、邊、云等不同場(chǎng)景下的靈活部署,推動(dòng)深度學(xué)習(xí)和科學(xué)計(jì)算等領(lǐng)域繁榮發(fā)展。
- 提供Python編程范式,簡(jiǎn)化AI編程
- 昇思MindSpore提供了Python編程范式,用戶使用Python原生控制邏輯即可構(gòu)建復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型,AI編程變得簡(jiǎn)單。
- 提供動(dòng)態(tài)圖和靜態(tài)圖統(tǒng)一的編碼方式
- 目前主流的深度學(xué)習(xí)框架的執(zhí)行模式有兩種,分別為靜態(tài)圖模式和動(dòng)態(tài)圖模式。靜態(tài)圖模式擁有較高的訓(xùn)練性能,但難以調(diào)試。動(dòng)態(tài)圖模式相較于靜態(tài)圖模式雖然易于調(diào)試,但難以高效執(zhí)行。 昇思MindSpore提供了動(dòng)態(tài)圖和靜態(tài)圖統(tǒng)一的編碼方式,大大增加了靜態(tài)圖和動(dòng)態(tài)圖的可兼容性,用戶無需開發(fā)多套代碼,僅變更一行代碼便可切換動(dòng)態(tài)圖/靜態(tài)圖模式,例如設(shè)置context.set_context(mode=context.PYNATIVE_MODE)切換成動(dòng)態(tài)圖模式,設(shè)置context.set_context(mode=context.GRAPH_MODE)即可切換成靜態(tài)圖模式,用戶可擁有更輕松的開發(fā)調(diào)試及性能體驗(yàn)。
- 采用函數(shù)式可微分編程架構(gòu),使用戶聚焦于模型算法的數(shù)學(xué)原生表達(dá)
- 神經(jīng)網(wǎng)絡(luò)模型通?;谔荻认陆邓惴ㄟM(jìn)行訓(xùn)練,但手動(dòng)求導(dǎo)過程復(fù)雜,結(jié)果容易出錯(cuò)。昇思MindSpore的基于源碼轉(zhuǎn)換(Source Code Transformation,SCT)的自動(dòng)微分(Automatic Differentiation)機(jī)制采用函數(shù)式可微分編程架構(gòu),在接口層提供Python編程接口,包括控制流的表達(dá)。用戶可聚焦于模型算法的數(shù)學(xué)原生表達(dá),無需手動(dòng)進(jìn)行求導(dǎo)。
- 統(tǒng)一單機(jī)和分布式訓(xùn)練的編碼方式
- 隨著神經(jīng)網(wǎng)絡(luò)模型和數(shù)據(jù)集的規(guī)模不斷增加,分布式并行訓(xùn)練成為了神經(jīng)網(wǎng)絡(luò)訓(xùn)練的常見做法,但分布式并行訓(xùn)練的策略選擇和編寫十分復(fù)雜,這嚴(yán)重制約著深度學(xué)習(xí)模型的訓(xùn)練效率,阻礙深度學(xué)習(xí)的發(fā)展。MindSpore統(tǒng)一了單機(jī)和分布式訓(xùn)練的編碼方式,開發(fā)者無需編寫復(fù)雜的分布式策略,在單機(jī)代碼中添加少量代碼即可實(shí)現(xiàn)分布式訓(xùn)練,例如設(shè)置context.set_auto_parallel_context(parallel_mode=ParallelMode.AUTO_PARALLEL)便可自動(dòng)建立代價(jià)模型,為用戶選擇一種較優(yōu)的并行模式,提高神經(jīng)網(wǎng)絡(luò)訓(xùn)練效率,大大降低了AI開發(fā)門檻,使用戶能夠快速實(shí)現(xiàn)模型思路。
層次結(jié)構(gòu)
昇思MindSpore向用戶提供了3個(gè)不同層次的API,支撐用戶進(jìn)行網(wǎng)絡(luò)構(gòu)建、整圖執(zhí)行、子圖執(zhí)行以及單算子執(zhí)行,從低到高分別為L(zhǎng)ow-Level Python API、Medium-Level Python API以及High-Level Python API。
- High-Level Python API
- 第一層為高階API,其在中階API的基礎(chǔ)上又提供了訓(xùn)練推理的管理、混合精度訓(xùn)練、調(diào)試調(diào)優(yōu)等高級(jí)接口,方便用戶控制整網(wǎng)的執(zhí)行流程和實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練推理及調(diào)優(yōu)。例如用戶使用Model接口,指定要訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型和相關(guān)的訓(xùn)練設(shè)置,對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練,通過Profiler接口調(diào)試神經(jīng)網(wǎng)絡(luò)性能。
- Medium-Level Python API
- 第二層為中階API,其封裝了低階API,提供網(wǎng)絡(luò)層、優(yōu)化器、損失函數(shù)等模塊,用戶可通過中階API靈活構(gòu)建神經(jīng)網(wǎng)絡(luò)和控制執(zhí)行流程,快速實(shí)現(xiàn)模型算法邏輯。例如用戶可調(diào)用Cell接口構(gòu)建神經(jīng)網(wǎng)絡(luò)模型和計(jì)算邏輯,通過使用Loss模塊和Optimizer接口為神經(jīng)網(wǎng)絡(luò)模型添加損失函數(shù)和優(yōu)化方式,利用Dataset模塊對(duì)數(shù)據(jù)進(jìn)行處理以供模型的訓(xùn)練和推導(dǎo)使用。
- Low-Level Python API
- 第三層為低階API,主要包括張量定義、基礎(chǔ)算子、自動(dòng)微分等模塊,用戶可使用低階API輕松實(shí)現(xiàn)張量定義和求導(dǎo)計(jì)算。例如用戶可通過Tensor接口自定義張量,使用ops.composite模塊下的GradOperation算子計(jì)算函數(shù)在指定處的導(dǎo)數(shù)。
2 MindInsight簡(jiǎn)介
MindInsight是昇思MindSpore的可視化調(diào)試調(diào)優(yōu)工具。利用MindInsight,您可以可視化地查看訓(xùn)練過程、優(yōu)化模型性能、調(diào)試精度問題、解釋推理結(jié)果。您還可以通過MindInsight提供的命令行方便地搜索超參,遷移模型。在MindInsight的幫助下,您可以更輕松地獲得滿意的模型精度和性能。
MindInsight包括以下內(nèi)容:
- 訓(xùn)練過程可視 (收集Summary數(shù)據(jù)、查看訓(xùn)練看板)
- 訓(xùn)練溯源及對(duì)比
- 性能調(diào)優(yōu)
- 精度調(diào)試
- 超參調(diào)優(yōu)
- 模型遷移
3 環(huán)境安裝配置
3.1 MindSpore環(huán)境安裝配置
選擇適合自己的環(huán)境條件后,獲取命令并按照指南進(jìn)行安裝,或使用云平臺(tái)創(chuàng)建和部署模型,安裝細(xì)節(jié)參見鏈接:https://www.mindspore.cn/install
驗(yàn)證是否安裝成功
方法一:
python -c "import mindspore;mindspore.run_check()"
如果輸出:
MindSpore version: 版本號(hào)
The result of multiplication calculation is correct, MindSpore has been installed successfully!
說明MindSpore安裝成功了。
方法二:
import numpy as np
from mindspore import Tensor
import mindspore.ops as ops
import mindspore.context as context
context.set_context(device_target="Ascend")
x = Tensor(np.ones([1,3,3,4]).astype(np.float32))
y = Tensor(np.ones([1,3,3,4]).astype(np.float32))
print(ops.add(x, y))
如果輸出:
[[[[2. 2. 2. 2.]
[2. 2. 2. 2.]
[2. 2. 2. 2.]]
[[2. 2. 2. 2.]
[2. 2. 2. 2.]
[2. 2. 2. 2.]]
[[2. 2. 2. 2.]
[2. 2. 2. 2.]
[2. 2. 2. 2.]]]]
說明MindSpore安裝成功了。
升級(jí)MindSpore版本
當(dāng)需要升級(jí)MindSpore版本時(shí),可執(zhí)行如下命令:
pip install –upgrade mindspore-ascend=={version}
其中:
- 升級(jí)到rc版本時(shí),需要手動(dòng)指定{version}為rc版本號(hào),例如1.6.0rc1;如果升級(jí)到正式版本,=={version}字段可以缺省。
3.2 MindInsight環(huán)境安裝配置
確認(rèn)系統(tǒng)環(huán)境信息
- 硬件平臺(tái)支持Ascend、GPU和CPU。
- 確認(rèn)安裝Python 3.7.5或3.9.0版本。如果未安裝或者已安裝其他版本的Python,可以選擇下載并安裝:Python 3.7.5版本 64位,下載地址:官網(wǎng)或華為云。Python 3.9.0版本 64位,下載地址:官網(wǎng)或華為云。
- MindInsight與MindSpore的版本需保持一致。
- 若采用源碼編譯安裝,還需確認(rèn)安裝以下依賴。確認(rèn)安裝node.js 10.19.0及以上版本。確認(rèn)安裝wheel 0.32.0及以上版本。
- 其他依賴參見requirements.txt。
可以采用pip安裝,源碼編譯安裝和Docker安裝三種方式。
pip安裝
安裝PyPI上的版本:
pip install mindinsight=={version}
安裝自定義版本:
pip install https://ms-release.obs.cn-north-4.myhuaweicloud.com/{version}/MindInsight/any/mindinsight-{version}-py3-none-any.whl –trusted-host ms-release.obs.cn-north-4.myhuaweicloud.com -i https://pypi.tuna.tsinghua.edu.cn/simple
其中:
- 當(dāng)環(huán)境中的MindSpore不是最新版本時(shí),需要手動(dòng)指定{version}為當(dāng)前環(huán)境中MindSpore版本號(hào)。
注:非root用戶需要在命令中加入“–user”參數(shù)。
源碼編譯安裝
從代碼倉(cāng)下載源碼
git clone https://gitee.com/mindspore/mindinsight.git -b r1.7
編譯安裝MindInsight
可選擇以下任意一種安裝方式:
1.在源碼根目錄下執(zhí)行如下命令。
cd mindinsight
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
python setup.py install
2.構(gòu)建whl包進(jìn)行安裝
進(jìn)入源碼的根目錄,先執(zhí)行build目錄下的MindInsight編譯腳本,再執(zhí)行命令安裝output目錄下生成的whl包。
cd mindinsight
bash build/build.sh
pip install output/mindinsight-{version}-py3-none-any.whl -i https://pypi.tuna.tsinghua.edu.cn/simple
Docker安裝
MindSpore的鏡像包含MindInsight功能,請(qǐng)參考官網(wǎng)安裝指導(dǎo)。
驗(yàn)證是否成功安裝
執(zhí)行如下命令:
mindinsight start
如果出現(xiàn)下列提示,說明安裝成功:
Web address: http://127.0.0.1:8080
service start state: success
二、MindStudio簡(jiǎn)介和安裝
1 MindStudio簡(jiǎn)介
MindStudio提供在AI開發(fā)所需的一站式開發(fā)環(huán)境,支持模型開發(fā)、算子開發(fā)以及應(yīng)用開發(fā)三個(gè)主流程中的開發(fā)任務(wù)。依靠模型可視化、算力測(cè)試、IDE本地仿真調(diào)試等功能,MindStudio能夠幫助您在一個(gè)工具上就能高效便捷地完成AI應(yīng)用開發(fā)。MindStudio采用了插件化擴(kuò)展機(jī)制,開發(fā)者可以通過開發(fā)插件來擴(kuò)展已有功能。
功能簡(jiǎn)介
- 針對(duì)安裝與部署,MindStudio提供多種部署方式,支持多種主流操作系統(tǒng),為開發(fā)者提供最大便利。
- 針對(duì)網(wǎng)絡(luò)模型的開發(fā),MindStudio支持TensorFlow、Pytorch、MindSpore框架的模型訓(xùn)練,支持多種主流框架的模型轉(zhuǎn)換。集成了訓(xùn)練可視化、腳本轉(zhuǎn)換、模型轉(zhuǎn)換、精度比對(duì)等工具,提升了網(wǎng)絡(luò)模型移植、分析和優(yōu)化的效率。
- 針對(duì)算子開發(fā),MindStudio提供包含UT測(cè)試、ST測(cè)試、TIK算子調(diào)試等的全套算子開發(fā)流程。支持TensorFlow、PyTorch、MindSpore等多種主流框架的TBE和AI CPU自定義算子開發(fā)。
- 針對(duì)應(yīng)用開發(fā),MindStudio集成了Profiling性能調(diào)優(yōu)、編譯器、MindX SDK的應(yīng)用開發(fā)、可視化pipeline業(yè)務(wù)流編排等工具,為開發(fā)者提供了圖形化的集成開發(fā)環(huán)境,通過MindStudio能夠進(jìn)行工程管理、編譯、調(diào)試、性能分析等全流程開發(fā),能夠很大程度提高開發(fā)效率。
功能框架
MindStudio功能框架如圖所示,目前含有的工具鏈包括:模型轉(zhuǎn)換工具、模型訓(xùn)練工具、自定義算子開發(fā)工具、應(yīng)用開發(fā)工具、工程管理工具、編譯工具、流程編排工具、精度比對(duì)工具、日志管理工具、性能分析工具、設(shè)備管理工具等多種工具。
工具功能
MindStudio工具中的主要幾個(gè)功能特性如下:
- 工程管理:為開發(fā)人員提供創(chuàng)建工程、打開工程、關(guān)閉工程、刪除工程、新增工程文件目錄和屬性設(shè)置等功能。
- SSH管理:為開發(fā)人員提供新增SSH連接、刪除SSH連接、修改SSH連接、加密SSH密碼和修改SSH密碼保存方式等功能。
- 應(yīng)用開發(fā):針對(duì)業(yè)務(wù)流程開發(fā)人員,MindStudio工具提供基于AscendCL(Ascend Computing Language)和集成MindX SDK的應(yīng)用開發(fā)編程方式,編程后的編譯、運(yùn)行、結(jié)果顯示等一站式服務(wù)讓流程開發(fā)更加智能化,可以讓開發(fā)者快速上手。
- 自定義算子開發(fā):提供了基于TBE和AI CPU的算子編程開發(fā)的集成開發(fā)環(huán)境,讓不同平臺(tái)下的算子移植更加便捷,適配昇騰AI處理器的速度更快。
- 離線模型轉(zhuǎn)換:訓(xùn)練好的第三方網(wǎng)絡(luò)模型可以直接通過離線模型工具導(dǎo)入并轉(zhuǎn)換成離線模型,并可一鍵式自動(dòng)生成模型接口,方便開發(fā)者基于模型接口進(jìn)行編程,同時(shí)也提供了離線模型的可視化功能。
- 日志管理:MindStudio為昇騰AI處理器提供了覆蓋全系統(tǒng)的日志收集與日志分析解決方案,提升運(yùn)行時(shí)算法問題的定位效率。提供了統(tǒng)一形式的跨平臺(tái)日志可視化分析能力及運(yùn)行時(shí)診斷能力,提升日志分析系統(tǒng)的易用性。
- 性能分析:MindStudio以圖形界面呈現(xiàn)方式,實(shí)現(xiàn)針對(duì)主機(jī)和設(shè)備上多節(jié)點(diǎn)、多模塊異構(gòu)體系的高效、易用、可靈活擴(kuò)展的系統(tǒng)化性能分析,以及針對(duì)昇騰AI處理器的性能和功耗的同步分析,滿足算法優(yōu)化對(duì)系統(tǒng)性能分析的需求。
- 設(shè)備管理:MindStudio提供設(shè)備管理工具,實(shí)現(xiàn)對(duì)連接到主機(jī)上的設(shè)備的管理功能。
- 精度比對(duì):可以用來比對(duì)自有模型算子的運(yùn)算結(jié)果與Caffe、TensorFlow、ONNX標(biāo)準(zhǔn)算子的運(yùn)算結(jié)果,以便用來確認(rèn)神經(jīng)網(wǎng)絡(luò)運(yùn)算誤差發(fā)生的原因。
- 開發(fā)工具包的安裝與管理:為開發(fā)者提供基于昇騰AI處理器的相關(guān)算法開發(fā)套件包Ascend-cann-toolkit,旨在幫助開發(fā)者進(jìn)行快速、高效的人工智能算法開發(fā)。開發(fā)者可以將開發(fā)套件包安裝到MindStudio上,使用MindStudio進(jìn)行快速開發(fā)。Ascend-cann-toolkit包含了基于昇騰AI處理器開發(fā)依賴的頭文件和庫(kù)文件、編譯工具鏈、調(diào)優(yōu)工具等。
2 MindStudio安裝
2.1 安裝Python依賴
(1)官方網(wǎng)站下載安裝安裝Python3.7.5到Windows本地。
(2)設(shè)置環(huán)境變量。
(3)“Win R”快捷鍵打開系統(tǒng)命令行,輸入“Python -V”,顯示Python版本號(hào)表示安裝成功。
(4)安裝Python3相關(guān)依賴。
pip install xlrd==1.2.0
pip install absl-py
pip install numpy
pip install requests
(5)如若返回如下信息,則表示安裝成功。
Successfully installed xlrd-1.2.0
Successfully installed absl-py-0.12.0 six-1.15.0
Successfully installed numpy-1.20.1
Successfully installed requests-2.27.1
更多安裝細(xì)節(jié)請(qǐng)參考:https://www.hiascend.com/document/detail/zh/mindstudio/50RC1/instg/instg_000022.html
2.2 安裝MinGW依賴
(1)根據(jù)電腦配置,下載適合的(下載參考地址),例如64位可以選擇x86_64-posix-seh。
(2)解壓MinGW安裝包到自定義路徑。
(3)在Windows 10操作系統(tǒng)的“控制面板 > 系統(tǒng)和安全 > 系統(tǒng)”中選擇“高級(jí)系統(tǒng)設(shè)置”,如圖所示。
(4)打開系統(tǒng)命令行,輸入gcc –v命令。若顯示版本號(hào)表示安裝成功。
更多安裝細(xì)節(jié)請(qǐng)參考:https://www.hiascend.com/document/detail/zh/mindstudio/50RC1/instg/instg_000022.html
2.3 安裝java依賴
(1)要求Java版本為11,參考下載地址。
(2)下載后安裝到本地,設(shè)置Java環(huán)境變量。
(3)打開系統(tǒng)命令,輸入java –version,如顯示Java版本信息,則表示安裝成功。
2.4 安裝Cmake
以msi格式軟件包為例,安裝步驟如下(下載參考地址),你也可以登錄CMake官網(wǎng)下載合適的版本
(1)單擊快捷鍵“win R”,輸入cmd,單擊快捷鍵“Ctrl Shift Enter”,進(jìn)入管理員權(quán)限命令提示符。若彈出“用戶帳戶控制”提示窗口,單擊“是”。
(2)執(zhí)行以下命令,安裝軟件包:
msiexec /package {path}{name}.msi
例如:
msiexec /package D:cmake-3.22.3-win64-x64.msi
(3)根據(jù)安裝向?qū)нM(jìn)行安裝。
更多安裝細(xì)節(jié)請(qǐng)參考:https://www.hiascend.com/document/detail/zh/mindstudio/50RC1/instg/instg_000022.html
2.5 安裝MindStudio
(1)MindStudio官網(wǎng)為我們提供兩種安裝方式。大家可以選擇.zip文件,也可以選擇.exe文件。此處我選擇下載.zip文件。
(2)下載好后直接解壓到任意目錄。解壓后目錄結(jié)構(gòu)如圖所示。
(3)點(diǎn)擊“bin”目錄,然后雙擊目錄下的“MindStudio64.exe”應(yīng)用程序,運(yùn)行MindStudio。
詳細(xì)安裝指導(dǎo)請(qǐng)參閱:https://www.hiascend.com/document/detail/zh/mindstudio/50RC1/instg/instg_000021.html
三、使用MindStudio創(chuàng)建訓(xùn)練工程和運(yùn)行腳本
1 導(dǎo)入模型代碼創(chuàng)建訓(xùn)練工程
(1) 啟動(dòng)MindStudio
首次啟動(dòng)MindStudio會(huì)進(jìn)入如下歡迎界面,大家按需選擇新建項(xiàng)目或打開本地項(xiàng)目,在這里,我點(diǎn)擊 Open 按鈕打開本地現(xiàn)存項(xiàng)目(https://gitee.com/mindspore/models/tree/master/official/recommend/ncf)。
(2) 選擇項(xiàng)目所在位置,添加 ncf 項(xiàng)目,點(diǎn)擊 OK確定。
(3) 項(xiàng)目結(jié)構(gòu)如圖所示。
2 配置遠(yuǎn)程環(huán)境
2.1 連接遠(yuǎn)程服務(wù)器
(1) 點(diǎn)擊 Tools -> Deployment -> Configuration,配置遠(yuǎn)程連接服務(wù)器。
(2) 選中左側(cè) Deployment 選項(xiàng)卡,點(diǎn)擊左上角加號(hào),輸入自定義遠(yuǎn)程連接名稱。
(3) 輸入服務(wù)器 IP 地址、端口號(hào)、用戶名及密碼,建議勾選 Save password 保存密碼,測(cè)試可以成功連接后,點(diǎn)擊OK確定。
(4) 點(diǎn)擊 Mappings 配置本地到服務(wù)器的文件路徑映射。Local Path 填入本地項(xiàng)目路徑,Deployment Path 選中遠(yuǎn)程服務(wù)器的項(xiàng)目路徑,這兩個(gè)文件夾名稱不必完全相同。Excluded Paths(非必需)為配置忽略路徑,表示忽略的項(xiàng)目文件不會(huì)上傳到遠(yuǎn)程服務(wù)器。配置完成后,點(diǎn)擊 OK 確定。
2.2 設(shè)置CANN
(1) 點(diǎn)擊 File -> Settings,進(jìn)入設(shè)置。
(2) 在左側(cè)菜單依次選中 Appearance & Behavior -> System Settings -> CANN, 進(jìn)入 CANN 配置選項(xiàng)卡中,設(shè)置遠(yuǎn)程服務(wù)器CANN路徑。
2.3 配置遠(yuǎn)程SDK
(1) 點(diǎn)擊 File -> Projects Structure 進(jìn)入項(xiàng)目設(shè)置。
(2) 在左側(cè)菜單中選擇 SDKs,點(diǎn)擊左上角加號(hào),選擇 Add Python SDK… 進(jìn)行SDK配置。
(3) 在彈出的選項(xiàng)卡中選擇 SSH Interpreter,在Deploy中選擇遠(yuǎn)程連接名稱,等待 IDE 自動(dòng)檢測(cè)可用的Interpreter。
(4) 自動(dòng)檢測(cè)遠(yuǎn)程的SDK并顯示如下,可以對(duì)其進(jìn)行手動(dòng)修改,我將 SDK 名稱更改為 msp1.7 以便區(qū)分。
(5) 在 Project 中設(shè)置剛才配置的遠(yuǎn)程SDK msp1.7。
3 運(yùn)行訓(xùn)練腳本
3.1 安裝項(xiàng)目依賴
(1) 點(diǎn)擊 Tools -> Start SSH session 打開遠(yuǎn)程服務(wù)器終端。
(2) 遠(yuǎn)程服務(wù)器終端顯示在 IDE 下方控制臺(tái)處,輸入 pip list 檢查所需依賴是否已安裝。
(3) 菜單欄中點(diǎn)擊 Ascend -> Convert To Ascend Project,將當(dāng)前項(xiàng)目轉(zhuǎn)換為昇騰項(xiàng)目。
(4) 在彈出的對(duì)話框中選擇轉(zhuǎn)換的類型和框架,此處選擇 Ascend Training 和 MindSpore 框架,點(diǎn)擊 OK 確定。
3.2 數(shù)據(jù)集下載和處理
(1)NCF模型介紹
NCF 是用于協(xié)同過濾推薦的通用框架,其中神經(jīng)網(wǎng)絡(luò)架構(gòu)用于對(duì)用戶交互進(jìn)行建模。與傳統(tǒng)模型不同,NCF 不訴諸矩陣分解 (MF),其對(duì)用戶和項(xiàng)目的潛在特征進(jìn)行內(nèi)積。它用可以從數(shù)據(jù)中學(xué)習(xí)任意函數(shù)的多層感知器代替積。
詳見:https://gitee.com/mindspore/models/tree/master/official/recommend/ncf
(2)展開src目錄,右擊 movielens.py,配置運(yùn)行參數(shù)。
(3)配置運(yùn)行參數(shù),其中 Script path 設(shè)置為運(yùn)行文件,Parameters 中設(shè)置參數(shù),Python interpreter 選擇前文配置的遠(yuǎn)程服務(wù)器中的 SDK,點(diǎn)擊 OK 確定。
(4) 點(diǎn)擊工具欄中的運(yùn)行按鈕,等待 ml-1m 數(shù)據(jù)集下載和預(yù)處理,大家可以在控制臺(tái)輸出查看當(dāng)前程序運(yùn)行的實(shí)時(shí)日志。
如果數(shù)據(jù)處理結(jié)束,會(huì)在控制臺(tái)輸出正常退出。
(5) 當(dāng)運(yùn)行程序后產(chǎn)生新的文件時(shí),需要本地同步更新。建議大家點(diǎn)擊Tools -> Deployment -> Automatic Upload 開啟本地與服務(wù)器文件自動(dòng)同步的功能。
(6)開啟自動(dòng)同步后,更新過程如圖所示:
3.3 訓(xùn)練項(xiàng)目
(1)如圖所示,點(diǎn)擊Edit Configuration來編輯配置
(2)設(shè)置訓(xùn)練參數(shù),此處設(shè)置了訓(xùn)練20個(gè)epoch,batch_size為256,輸出保存在 ./output文件夾中,checkpoint保存在 ./nfc.ckpt 文件夾中,點(diǎn)擊 OK 確定。
(3)點(diǎn)擊運(yùn)行,項(xiàng)目開始進(jìn)行訓(xùn)練。
(4)在控制臺(tái)中查看訓(xùn)練過程中實(shí)時(shí)打印的日志。
四、MindInsight訓(xùn)練可視化及精度調(diào)優(yōu)指南
1 準(zhǔn)備訓(xùn)練腳本
(1)在train.py中,導(dǎo)入SummaryCollector。
from mindspore.train.callback import SummaryCollector
(2)在train.py代碼中,實(shí)例化 SummaryCollector,并添加到callbacks中。
# Init summary_collector
summary_collector = SummaryCollector(summary_dir="./summary_dir")
model.train(epochs,
ds_train,
callbacks=[TimeMonitor(ds_train.get_dataset_size()),
callback, ckpoint_cb, summary_collector],
dataset_sink_mode=False)
(3)增加如上代碼后,須重新訓(xùn)練模型,收集的數(shù)據(jù)存放于 ./summary_dir 中。
2 MindInsight訓(xùn)練可視化配置
(1)在工具欄選擇 Ascend -> MindInsight 打開 MindInsight 管理界面。
(2) MindInsight 管理界面可顯示并管理多個(gè) MindInsight訓(xùn)練可視化工程。MindInsight 管理界面相關(guān)屬性說明如下圖所示,點(diǎn)擊Enable按鈕,配置MindInsight組件相關(guān)參數(shù)。
(3)在彈出的選項(xiàng)卡中,配置MindInsight組件相關(guān)參數(shù),其中 Summary Base Dir 填入代碼中設(shè)置的目錄,WorkSpace 可以在 SSH 終端中輸入 mindinsight start 查看,Port為端口號(hào)。
(4)單擊 OK 完成 MindInsight 組件相關(guān)參數(shù)配置,出現(xiàn)如圖所示界面,說明配置成功。
(5)點(diǎn)擊 View 按鈕即可跳轉(zhuǎn) MindInsight 界面。
3 查看MindInsight訓(xùn)練看板及精度調(diào)優(yōu)指南
代碼是精度問題的重要源頭,超參問題、模型結(jié)構(gòu)問題、數(shù)據(jù)問題、算法設(shè)計(jì)和實(shí)現(xiàn)問題會(huì)體現(xiàn)在腳本中,而我們使用的MindInsight生態(tài)工具可以將腳本中的各類問題以生動(dòng)的可視化數(shù)據(jù)呈現(xiàn)給開發(fā)者,下面我們開始探究如何使用MindInsight進(jìn)行精度調(diào)優(yōu)。
(1)進(jìn)入訓(xùn)練列表后,我們可以點(diǎn)擊右上角的按鈕選擇開啟/關(guān)閉自動(dòng)刷新看板信息和設(shè)置刷新頻率,以及切換語言和主題。
(2)點(diǎn)擊“訓(xùn)練看板”后,可以看見訓(xùn)練時(shí)的各類可視化數(shù)據(jù)。主要包括損失函數(shù)、訓(xùn)練參數(shù)、訓(xùn)練數(shù)據(jù)以及網(wǎng)絡(luò)計(jì)算圖等。
(3)點(diǎn)擊 “參數(shù)詳情” ,檢查超參。
MindInsight可以輔助用戶對(duì)超參做檢查,大多數(shù)情況下,SummaryCollector會(huì)自動(dòng)記錄常見超參,大家可以通過MindInsight的訓(xùn)練參數(shù)詳情功能和溯源分析功能查看超參。結(jié)合MindInsight模型溯源分析模塊和腳本中的代碼,可以確認(rèn)超參的取值,識(shí)別明顯不合理的超參。如果有標(biāo)桿腳本,建議同標(biāo)桿腳本一一比對(duì)超參取值,如果有默認(rèn)參數(shù)值,則默認(rèn)值也應(yīng)一并比對(duì),以避免不同框架的參數(shù)默認(rèn)值不同導(dǎo)致精度下降或者訓(xùn)練錯(cuò)誤。
根據(jù)我們的經(jīng)驗(yàn),超參問題主要體現(xiàn)為幾個(gè)常見的超參取值不合理,例如:
①學(xué)習(xí)率過大導(dǎo)致loss震蕩難收斂,學(xué)習(xí)率過小導(dǎo)致訓(xùn)練不充分,學(xué)習(xí)率帶來的影響可以直觀地從loss曲線觀察到;
②loss_scale參數(shù)不合理,有可能導(dǎo)致loss為nan或loss遲遲不收斂;
③權(quán)重初始化參數(shù)不合理等。
參數(shù)詳情可以顯示常見的超參數(shù)。如下圖所示:
(4)點(diǎn)擊 “參數(shù)分布圖”,可以查看網(wǎng)絡(luò)可訓(xùn)練參數(shù)隨著迭代次數(shù)增加而產(chǎn)生的分布變化情況。大多數(shù)情況下,SummaryCollector會(huì)自動(dòng)記錄模型參數(shù)變化情況(默認(rèn)記錄5個(gè)參數(shù)),可以通過MindInsight的參數(shù)分布圖模塊查看。如果想要記錄更多參數(shù)的參數(shù)分布圖,請(qǐng)參考SummaryCollector的histogram_regular參數(shù),或參考HistogramSummary算子。
(5)點(diǎn)擊“計(jì)算圖”,檢查模型結(jié)構(gòu)。
在模型結(jié)構(gòu)方面,常見的問題有:
①算子使用錯(cuò)誤(使用的算子不適用于目標(biāo)場(chǎng)景,如應(yīng)該使用浮點(diǎn)除,錯(cuò)誤地使用了整數(shù)除)。
②權(quán)重共享錯(cuò)誤(共享了不應(yīng)共享的權(quán)重)。
③權(quán)重凍結(jié)錯(cuò)誤(凍結(jié)了不應(yīng)凍結(jié)的權(quán)重)。
④節(jié)點(diǎn)連接錯(cuò)誤(應(yīng)該連接到計(jì)算圖中的block未連接)。
⑤loss函數(shù)錯(cuò)誤。
⑥優(yōu)化器算法錯(cuò)誤(如果自行實(shí)現(xiàn)了優(yōu)化器)等。
MindInsight可以輔助用戶對(duì)模型結(jié)構(gòu)進(jìn)行檢查。大多數(shù)情況下,SummaryCollector會(huì)自動(dòng)記錄計(jì)算圖,點(diǎn)擊 “計(jì)算圖”,可以直觀地看到各個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)的關(guān)系,如下圖所示:
圖中左側(cè)為直觀的計(jì)算圖,右側(cè)為各節(jié)點(diǎn)的樹狀結(jié)構(gòu)圖,點(diǎn)擊相應(yīng)的節(jié)點(diǎn)可以將其展開或折疊,方便用戶查看。
(6)點(diǎn)擊“標(biāo)量信息”,檢查loss曲線。
大多數(shù)精度問題會(huì)在網(wǎng)絡(luò)訓(xùn)練過程中發(fā)現(xiàn),并且可以直觀地體現(xiàn)在損失函數(shù)的圖表中,我們總結(jié)了一些可以體現(xiàn)在損失函數(shù)異常的常見問題:
①權(quán)重問題(例如權(quán)重不更新、權(quán)重更新過大、權(quán)重值過大/過小、權(quán)重凍結(jié)不準(zhǔn)確、權(quán)重共享設(shè)置有誤);
②激活值問題(激活值飽和或過弱,例如Sigmoid的輸出接近1,Relu的輸出全為0);
③梯度問題(例如梯度消失、梯度爆炸);
④訓(xùn)練epoch不足(loss還有繼續(xù)下降的趨勢(shì));
⑤算子計(jì)算結(jié)果存在NAN、INF等。
如下圖,我們可以查看詳細(xì)的損失函數(shù)信息,并且面板設(shè)置有開啟/關(guān)閉Loss曲線全屏等功能,在這里可以直觀地看到損失函數(shù)的收斂趨勢(shì)以及波動(dòng)幅度。
五、MindInsight訓(xùn)練耗時(shí)統(tǒng)計(jì)及性能調(diào)優(yōu)指南
1 準(zhǔn)備訓(xùn)練腳本
(1) 在train.py中導(dǎo)入Profiler。
from mindspore.profiler import Profiler
(2)收集profiler數(shù)據(jù)并分析。
profiler = Profiler(output_path='./profiler_data')
profiler.analyse()
(3)再次訓(xùn)練項(xiàng)目。此處僅僅作為模型性能調(diào)優(yōu),可以適當(dāng)將訓(xùn)練總分步數(shù)調(diào)?。ɡ鐑蓚€(gè)step,數(shù)據(jù)經(jīng)過整個(gè)計(jì)算圖即可得到算子耗時(shí))。
2 MindInsight調(diào)優(yōu)配置
(1)更改MindInsight配置參數(shù),與訓(xùn)練可視化的操作相似,這里的 Summary Base Dir 填入代碼里設(shè)置的參數(shù)。
(2)單擊 OK 完成 MindInsight 組件相關(guān)參數(shù)配置,出現(xiàn)如圖所示界面,說明配置成功。
(3)點(diǎn)擊 View 按鈕即可跳轉(zhuǎn) MindInsight 界面。
3 查看MindInsight性能看板及性能調(diào)優(yōu)指南
(1)右上角可以選擇開啟/關(guān)閉自動(dòng)刷新看板信息和刷新頻率,以及切換語言和主題。點(diǎn)擊 “性能分析”。
(2)進(jìn)入性能分析看板后,可以看見有關(guān)訓(xùn)練耗時(shí)的各類數(shù)據(jù)圖表。
(3)點(diǎn)擊“算子耗時(shí)統(tǒng)計(jì)排名”,可以查看各個(gè)算子的執(zhí)行時(shí)間進(jìn)行統(tǒng)計(jì)展示(包括AICORE、AICPU、HOSTCPU算子)。在右上角可以選擇餅圖/柱狀圖展示各算子類別的時(shí)間占比,每個(gè)算子類別的執(zhí)行時(shí)間會(huì)統(tǒng)計(jì)屬于該類別的算子執(zhí)行時(shí)間總和。統(tǒng)計(jì)前20個(gè)占比時(shí)間最長(zhǎng)的算子類別,展示其時(shí)間所占的百分比以及具體的執(zhí)行時(shí)間(毫秒),我們可以選擇算子耗時(shí)排名靠前的算子進(jìn)行性能優(yōu)化,這樣有更大的優(yōu)化空間。
(4)點(diǎn)擊“迭代軌跡”,查看每次迭代中各階段的耗時(shí),確定性能瓶頸點(diǎn)在哪個(gè)階段,然后再針對(duì)該階段進(jìn)行詳細(xì)分析。下面簡(jiǎn)單解釋一下迭代軌跡中的三個(gè)階段:
- 迭代間隙:該階段反映的是每個(gè)迭代開始時(shí)等待訓(xùn)練數(shù)據(jù)的時(shí)間。如果該階段耗占比較高,說明數(shù)據(jù)處理的速度跟不上訓(xùn)練的速度。
- 前反向計(jì)算:該階段主要執(zhí)行網(wǎng)絡(luò)中的前向及反向算子,承載了一個(gè)迭代主要的計(jì)算工作。如果該階段耗占比較高,較為合理。
- 迭代拖尾:該階段主要包含參數(shù)更新等操作,在多卡場(chǎng)景下還包括集合通信等操作。如果該階段耗占比較高,可能是集合通信耗時(shí)比較長(zhǎng)。
(5)進(jìn)入“迭代軌跡”面板查看迭代軌跡詳情。當(dāng)我們確定性能瓶頸點(diǎn)在哪個(gè)階段時(shí),就可以更有針對(duì)性地進(jìn)行性能優(yōu)化。此處我們總結(jié)了三個(gè)階段時(shí)間異常的原因分析及解決方案:
- 針對(duì)迭代間隙過長(zhǎng)的問題:理想情況下,某個(gè)迭代開始前向訓(xùn)練時(shí),其所需要的訓(xùn)練數(shù)據(jù)已經(jīng)在Host側(cè)完成了加載及增強(qiáng)并發(fā)送到了Device側(cè),反映到迭代間隙耗時(shí)通常在1毫秒內(nèi),否則就會(huì)由于等待訓(xùn)練數(shù)據(jù)而造成芯片算力的浪費(fèi)。迭代間隙耗時(shí)長(zhǎng),說明該迭代開始前向計(jì)算時(shí)等待了較長(zhǎng)的時(shí)間后訓(xùn)練數(shù)據(jù)才發(fā)送到了Device側(cè)。用戶需要到“數(shù)據(jù)準(zhǔn)備”頁(yè)面進(jìn)一步確認(rèn)是數(shù)據(jù)增強(qiáng)還是數(shù)據(jù)發(fā)送過程存在性能問題。
- 針對(duì)前反向耗時(shí)過長(zhǎng)的問題:該階段主要包含網(wǎng)絡(luò)中前向及反向算子的執(zhí)行時(shí)間。若該時(shí)間段耗時(shí)較長(zhǎng),建議按跳轉(zhuǎn)到“算子耗時(shí)統(tǒng)計(jì)排名”標(biāo)簽頁(yè),查看訓(xùn)練過程中各算子的耗時(shí)情況,重點(diǎn)關(guān)注耗時(shí)排名靠前的部分算子。分享一些解決算子耗時(shí)長(zhǎng)的小tips(歡迎補(bǔ)充~):在不影響精度的前提下,將float32類型修改為float16類型;存在轉(zhuǎn)換算子過多(TransData、Cast類算子)且耗時(shí)明顯時(shí),如果是用戶手動(dòng)加入的算子,可分析其必要性,如果對(duì)精度沒有影響,可去掉冗余的Cast、TransData算子;
- 針對(duì)迭代拖尾耗時(shí)過長(zhǎng)的問題:該階段在單卡場(chǎng)景主要包含參數(shù)更新等操作。從實(shí)際的調(diào)優(yōu)經(jīng)驗(yàn)來看,在單卡訓(xùn)練場(chǎng)景下該階段耗時(shí)都很短,不會(huì)存在性能瓶頸。如果用戶遇到單卡場(chǎng)景下該階段耗時(shí)長(zhǎng),可以下載“時(shí)間線”,使用chrome://tracing工具觀察參數(shù)更新相關(guān)的算子耗時(shí)是否有異常,并到MindSpore社區(qū) 反饋。
六、FAQ
1、使用遠(yuǎn)程conda環(huán)境無法識(shí)別conda環(huán)境里的包
原因:使用MindStudio進(jìn)行遠(yuǎn)程連接服務(wù)器資源時(shí),默認(rèn)使用/usr/local/…下的本地環(huán)境。
解決方法:可以嘗試指定運(yùn)行文件為shell腳本,在shell腳本靠前位置指明source activate xxx-env來激活遠(yuǎn)程conda環(huán)境。
2、啟動(dòng)MindInsight訓(xùn)練看板卡頓,單擊無響應(yīng)。
解決方法:
(1)嘗試disable后重新開啟;
(2)嘗試重新存儲(chǔ)訓(xùn)練數(shù)據(jù);
(3)SummaryCollector實(shí)例化的參數(shù)收集頻率collect_freq設(shè)置的值過小,嘗試調(diào)大一點(diǎn)。
3、點(diǎn)擊View查看MindInsight訓(xùn)練面板,顯示為空。
解決方法:Summary Base Dir 填入正確的目錄,無需加前綴“./”。
4、MindInsight訓(xùn)練面板顯示異常數(shù)據(jù)(數(shù)據(jù)不符合預(yù)期)。
原因:每個(gè)summary日志文件目錄中,應(yīng)該只放置一次訓(xùn)練的數(shù)據(jù)。一個(gè)summary日志目錄中如果存放了多次訓(xùn)練的summary數(shù)據(jù),MindInsight在可視化數(shù)據(jù)時(shí)會(huì)將這些訓(xùn)練的summary數(shù)據(jù)進(jìn)行疊加展示,可能會(huì)與預(yù)期可視化效果不相符。
解決方法:將summary日志文件目錄刪除后,重新訓(xùn)練生成文件。
5、訓(xùn)練看板中Loss曲線過于平滑,難以分析Loss震蕩幅度。
解決方法:將model.train方法的dataset_sink_mode參數(shù)設(shè)置為False,從而以step作為collect_freq參數(shù)的單位收集數(shù)據(jù)。當(dāng)dataset_sink_mode為True時(shí),將以epoch作為collect_freq的單位,此時(shí)建議手動(dòng)設(shè)置collect_freq參數(shù)。collect_freq參數(shù)默認(rèn)值為10。
七、從昇騰官方中體驗(yàn)更多內(nèi)容
MindSpore模型開發(fā)教程與API可參考MindSpore官網(wǎng):https://www.mindspore.cn/, 也可以在昇騰論壇進(jìn)行討論和交流: https://bbs.huaweicloud.com/forum/forum-726-1.html
總結(jié)
本文主要介紹了如何使用MindStudio在MindSpore模型開發(fā)時(shí)使用MindInsight工具進(jìn)行調(diào)優(yōu),詳細(xì)介紹了其中的MindSpore環(huán)境搭建和配置介紹、MindStudio的安裝與使用、訓(xùn)練工程的導(dǎo)入與配置、MindInsight訓(xùn)練可視化以及MindInsight性能調(diào)優(yōu)等。 歡迎大家提出意見與反饋,謝謝!