免费99精品国产自在现线观看_人妻少妇精品视频区性色_丝袜 屁股 在线 国产_无码视频在线免费观看

探秘阿里分布式任務(wù)調(diào)度服務(wù)SchedulerX(阿里分布式調(diào)度框架)

7月中上旬,阿里云企業(yè)級分布式應(yīng)用服務(wù)EDAS低調(diào)上線分布式任務(wù)調(diào)度服務(wù),目前處于免費(fèi)公測階段。SchedulerX——是該服務(wù)在阿里內(nèi)部的產(chǎn)品名字,顧名思義,比調(diào)度做的更多。隨著公測的開啟,阿里巴巴內(nèi)部又一款核心中間件產(chǎn)品浮出水面。

SchedulerX是阿里巴巴集團(tuán)中間件團(tuán)隊(duì)開發(fā)的一款高性能、分布式任務(wù)調(diào)度產(chǎn)品,在阿里內(nèi)部有著廣泛的使用,經(jīng)過集團(tuán)內(nèi)上千個業(yè)務(wù)應(yīng)用歷經(jīng)多年打磨而成。截止2016年6月,每天平穩(wěn)運(yùn)行集團(tuán)內(nèi)幾十萬個任務(wù),完成每天幾億次的任務(wù)調(diào)度。在未來SchedulerX將支持更多特性以滿足集團(tuán)內(nèi)外不斷增長的用戶需求。

SchedulerX 1.0:讓任務(wù)分布式起來

在2011年之前,阿里中間件的TTM提供定時任務(wù)觸發(fā)服務(wù),隨著淘寶業(yè)務(wù)不斷發(fā)展壯大TTM簡單的觸發(fā)功能越來越不滿足業(yè)務(wù)不斷增長的需求,在很多場景下TTM無法為用戶解決問題。比如用戶希望能將一個耗時很長的定時任務(wù)進(jìn)行拆解,然后將拆解后的任務(wù)分片分發(fā)到多臺機(jī)器去并行處理,這樣就能大大減少任務(wù)執(zhí)行的時間。公司內(nèi)部的一些其他分布式任務(wù)調(diào)度解決方案,雖然能滿足需求但是易用性較差,文檔缺失嚴(yán)重,而且沒人維護(hù),經(jīng)常由于重度依賴ZooKeeper導(dǎo)致些嚴(yán)重問題,想要做到大規(guī)模的推廣比較困難。于是阿里中間件開發(fā)了TTD,也就是SchedulerX的前身。

SchedulerX1.0 (TTD)提供了自主運(yùn)維管理后臺,讓用戶能通過頁面來配置、修改和管理定時任務(wù)。SchedulerX1.0還能管理任務(wù)執(zhí)行的生命周期,從每次任務(wù)執(zhí)行開始一直到任務(wù)執(zhí)行結(jié)束都有記錄,用戶能看到每次任務(wù)執(zhí)行的開始和結(jié)束時間以及能看到執(zhí)行成功或者失敗,SchedulerX1.0還會為用戶保留過去的執(zhí)行記錄,用戶可以查看定時任務(wù)歷史執(zhí)行記錄。SchedulerX1.0解決了用戶很多痛點(diǎn),比如以前使用TTM要修改時間表達(dá)式的話需要修改代碼配置然后再重新發(fā)布應(yīng)用,而SchedulerX1.0則提供了統(tǒng)一的運(yùn)維管理后臺,用戶只需要在頁面上修改時間表達(dá)式即可,不需要重新發(fā)布跑定時任務(wù)的業(yè)務(wù)應(yīng)用。

此外,SchedulerX1.0能把一個執(zhí)行耗時很長的定時任務(wù)拆分成多個子任務(wù)分片然后分發(fā)到多臺機(jī)器去并行執(zhí)行這樣就大大減少了定時任務(wù)執(zhí)行的時間。比如集團(tuán)內(nèi)很多歷史數(shù)據(jù)遷移的場景,這樣的場景往往是每天執(zhí)行一次,而由于每次遷移的數(shù)據(jù)量巨大如果單臺機(jī)器去遷移的話是沒辦法在一天之內(nèi)完成遷移任務(wù)的,所以必須將這樣一個遷移任務(wù)拆分成多個子任務(wù)分片,然后用多臺機(jī)器去執(zhí)行不同的子任務(wù)分片,這樣就能大大縮短任務(wù)執(zhí)行的時間滿足業(yè)務(wù)需求。更重要的是SchedulerX1.0的編程模型和用戶接口都非常簡單,用戶只需要實(shí)現(xiàn)相應(yīng)的接口即可。

探秘阿里分布式任務(wù)調(diào)度服務(wù)SchedulerX(阿里分布式調(diào)度框架)

SchedulerX 2.0:完善的任務(wù)調(diào)度體系

隨著集團(tuán)業(yè)務(wù)繼續(xù)發(fā)展壯大以及SchedulerX1.0推廣運(yùn)營的過程中收集到的用戶反饋和需求,我們決定擴(kuò)展SchedulerX1.0并開發(fā)下一個版本SchedulerX2.0(開發(fā)代號為:DTS)。SchedulerX2.0(DTS)進(jìn)一步提升用戶體驗(yàn),除了優(yōu)化編程模型,減少用戶配置和程序接口之外,同時還新增了多項(xiàng)功能特性,以滿足集團(tuán)內(nèi)不斷增長的業(yè)務(wù)需求。

SchedulerX2.0(DTS)支持七種功能特性。

探秘阿里分布式任務(wù)調(diào)度服務(wù)SchedulerX(阿里分布式調(diào)度框架)

簡單job單機(jī)版是每次隨機(jī)選擇一臺機(jī)器只執(zhí)行任務(wù),這種場景用的最多就是一般情況下任務(wù)只運(yùn)行在一臺機(jī)器執(zhí)行,但是為了防止單點(diǎn)問題還的解決多機(jī)備份的問題,當(dāng)一臺機(jī)器宕機(jī)的時候可以自動切換到其他正常機(jī)器去執(zhí)行。

探秘阿里分布式任務(wù)調(diào)度服務(wù)SchedulerX(阿里分布式調(diào)度框架)

簡單job廣播版則是每次選擇所有機(jī)器同時觸發(fā)執(zhí)行,比如需要定時更新本地內(nèi)存的場景,這樣就需要每臺機(jī)器同時刷新內(nèi)存。

探秘阿里分布式任務(wù)調(diào)度服務(wù)SchedulerX(阿里分布式調(diào)度框架)

并行計(jì)算job就是將一個耗時很長的大任務(wù)拆分成多個小的子任務(wù)然后分發(fā)到多臺機(jī)器去并行執(zhí)行。

探秘阿里分布式任務(wù)調(diào)度服務(wù)SchedulerX(阿里分布式調(diào)度框架)

圖示計(jì)算(任務(wù)依賴),這種特性往往用于有業(yè)務(wù)數(shù)據(jù)依賴的多個任務(wù)之間按照嚴(yán)格先后順序執(zhí)行的場景。阿里內(nèi)部有很多這種場景,兩個或者多個任務(wù)之間按照某種業(yè)務(wù)邏輯順序去執(zhí)行,比如兩個任務(wù)A,B其中A執(zhí)行結(jié)束之后B才能開始執(zhí)行。

探秘阿里分布式任務(wù)調(diào)度服務(wù)SchedulerX(阿里分布式調(diào)度框架)

腳本Job就是只shell,php,python等定時執(zhí)行的腳本任務(wù),比如集團(tuán)技術(shù)保障部,蝦米音樂等部門有大量需要定時執(zhí)行的shell,php,python等腳本。用戶只需要在SchedulerX2.0(DTS)管理后臺配置上要定時執(zhí)行的shell,php,python等命令即可,用戶不需要額外寫一行代碼。

SchedulerX2.0(DTS)的管理運(yùn)維控制臺提供任務(wù)配置管理,以及歷史執(zhí)行記錄查詢,還有完善的監(jiān)控報警功能。任務(wù)沒有準(zhǔn)點(diǎn)執(zhí)行能給用戶發(fā)送報警,任務(wù)執(zhí)行超過預(yù)期的時間也能給用戶發(fā)送報警,甚至任務(wù)執(zhí)行失敗了都能給用戶發(fā)送短信報警。

SchedulerX2.0(DTS)還支持基于SchedulerX2.0的二次開發(fā),用戶可以通過SDK里的api來創(chuàng)建,修改,刪除任務(wù)。在阿里內(nèi)部有很多業(yè)務(wù)方在SchedulerX2.0的基礎(chǔ)上構(gòu)建他們自己的任務(wù)調(diào)度平臺。

SchedulerX2.0(DTS)還支持超大規(guī)模定時觸發(fā)器,用戶可以通過api創(chuàng)建千億量級的一次性定時觸發(fā)器,比如每條交易訂單創(chuàng)建的時候就在SchedulerX2.0創(chuàng)建一個定時觸發(fā)器,用戶設(shè)置這個觸發(fā)器的觸發(fā)時間,到了每個觸發(fā)器觸發(fā)時間就會有一個事件通知交易系統(tǒng)去提醒用戶確認(rèn)收貨超時。

SchedulerX 3.0:在路上

據(jù)悉,目前阿里中間件正在開發(fā)SchedulerX3.0,該版本的分布式任務(wù)調(diào)度將支持更多功能特性,用戶值得期待。

更多深度技術(shù)內(nèi)容,請關(guān)注云棲社區(qū)微信公眾號:yunqiinsight。

相關(guān)新聞

聯(lián)系我們
聯(lián)系我們
在線咨詢
分享本頁
返回頂部