TDengine 3.0 自 2022 年 8 月于 TDengine 開發(fā)者大會正式亮相后，至今已經(jīng)歷多次更新迭代，不久前發(fā)布的《3.2.1.0 發(fā)布！時間轉(zhuǎn)換函數(shù) BI 集成 視圖正式上線！》（https://www.taosdata.com/tdengine-engineering/22452.html）為大家介紹了最新版本 3.2.1.0 的優(yōu)化詳情。可以說，經(jīng)過產(chǎn)品研發(fā)人員和社區(qū)用戶的不斷努力，3.0 的穩(wěn)定性和易用性也在不斷提升。在 3.0 版本中，我們對產(chǎn)品底層進(jìn)行了全面的變化和調(diào)整，除了架構(gòu)的科學(xué)性和高效性外，還將用戶體驗作為重點優(yōu)化方向之一。

為了讓大家更深入地了解到 TDengine 3.0 在實際企業(yè)環(huán)境中的應(yīng)用和效果，本篇文章匯總了四個真實的企業(yè)部署實踐案例，給到有需要的用戶參考。

中國地震臺網(wǎng)中心 x TDengine 3.0

“在地震監(jiān)控領(lǐng)域的可視化中，最重要的就是展示信息的完整性、實時性、可交互性，靈活性。TDengine 高效的查詢能力以及簡單易用的 SQL 語句可以很方便的完成上述工作。通過網(wǎng)頁展示工具調(diào)用 TDengine 的 SQL，我們完成了展示地震事件的主看板：看板中的地圖可以展示臺站的每秒峰值記錄，點擊近期地震事件便可以進(jìn)行一段時間（例如該地震發(fā)生時刻前 1min 和后 2min）內(nèi)的地震數(shù)據(jù)回放?！?/span>

業(yè)務(wù)背景

近年來，隨著地震臺站密集建設(shè)，臺站儀器采集匯入中國地震臺網(wǎng)中心的地震波形數(shù)據(jù)也增長了一個數(shù)量級。地震波形數(shù)據(jù)主要是指由國家地震臺站、各省區(qū)域地震臺網(wǎng)等地震觀測網(wǎng)絡(luò)系統(tǒng)中地震計采集并傳回中心的數(shù)據(jù)，具有典型的時序數(shù)據(jù)特征，是開展地震監(jiān)測預(yù)警、數(shù)據(jù)分析與挖掘、地震異常研判等應(yīng)用的基礎(chǔ)材料。為滿足地震預(yù)警數(shù)據(jù)存儲、檢索和處理的建設(shè)與集成需求，以及響應(yīng)國家國產(chǎn)軟件自主可控的號召，中國地震臺網(wǎng)中心決定選用國產(chǎn)數(shù)據(jù)庫 TDengine 來存儲和處理地震波形數(shù)據(jù)。

架構(gòu)圖

改造效果

該項目目前使用的是 3.0.6.0 版本的 5 節(jié)點集群，單臺服務(wù)器配置為：48CPU(s)， 192GB 內(nèi)存 ，500GB SSD 1.2TB *6HDD 硬盤。項目運行至今，TDengine 接入的原始數(shù)據(jù)包每天約 900GB，每秒大概接入超過 5 萬個地震數(shù)據(jù)包，每天總數(shù)據(jù)量約 5000 億條。對于常規(guī)的 INT 類型數(shù)據(jù)，TDengine 壓縮比可達(dá)到 5%-10% 之間，對于 VARCHAR 類型的數(shù)據(jù)，壓縮比可達(dá)到 15-20%，極大程度地節(jié)約存儲成本。在集群日常負(fù)載上，單臺數(shù)據(jù)庫服務(wù)端 CPU 使用率 40%～50%，內(nèi)存占用 14%～20%，運行平穩(wěn)。

點此查看案例詳情

https://www.taosdata.com/tdengine-user-cases/19268.html

中移物聯(lián) x TDengine 3.0

“我們當(dāng)前使用的是 3.0.2.5 版本，但是由于業(yè)務(wù)本身不允許停機(jī)，所以沒辦法做離線升級，后續(xù)會由 TDengine 企業(yè)版團(tuán)隊協(xié)助我們在線升級至最新版本。TDengine 3.0 的安裝部署上保留了和 2.0 一樣的簡單易用模式，升級操作只需要備份數(shù)據(jù)文件目錄，覆蓋安裝即可，而且寫入速度極高，接近硬盤的連續(xù)寫入性能?！?/span>

業(yè)務(wù)背景

在中移物聯(lián)網(wǎng)的智慧出行場景中，需要存儲車聯(lián)網(wǎng)設(shè)備的軌跡點，還要支持對車輛軌跡進(jìn)行查詢。為了更好地進(jìn)行數(shù)據(jù)處理，他們在 2021 年上線了 TDengine 2.4.0.18 版本的 5 節(jié)點 3 副本集群，一直穩(wěn)定運行。3.0 發(fā)布后又經(jīng)過幾度優(yōu)化，中移物聯(lián)網(wǎng)關(guān)注到了這一版本的眾多特性，包括 Raft 協(xié)議的引入使 TDengine 擁有了更標(biāo)準(zhǔn)的一致性算法、存儲引擎的重構(gòu)優(yōu)化了 2.x 版本的設(shè)計、查詢靈活度大幅提升、支持更強(qiáng)大的流式計算等等。在經(jīng)過進(jìn)一步調(diào)研后，其決定進(jìn)行從 2.x 到 3.x 的大版本升級。

架構(gòu)圖

改造效果

目前該項目共有 102 萬張子表，已經(jīng)累積的總數(shù)據(jù)量已經(jīng)達(dá)到了 2000 億行，3 副本，磁盤占用 3.1TB。在遷移到 TDengine 3.0 之后，各方面的表現(xiàn)依然非常不錯：業(yè)務(wù)的寫入峰值達(dá)到了 1.2-1.3w 行/s ，數(shù)據(jù)遷移的過程中可以達(dá)到 20w 行/s，這些情況下 TDengine 都可以輕松處理；存儲大約只有 MySQL 的 1/7；讀取數(shù)據(jù)性能也很突出，其最常用的單設(shè)備單日查詢，可以在 0.1s 內(nèi)返回結(jié)果。

點此查看案例詳情

https://www.taosdata.com/tdengine-user-cases/18077.html

搜狐基金 x TDengine 3.0

“由于‘超級表’的存在，數(shù)據(jù)建模變得非常清晰，幾乎所有查詢都可以以‘超級表’為核心用簡單的 SQL 完成。此外，基于‘自動建表’這個特色功能，我們可以無需校驗就能夠直接建表，這讓我們得以非常輕松地完成各只基金數(shù)據(jù)的拆分建表以及寫入工作?！?/span>

業(yè)務(wù)背景

對于搜狐基金來說，其所購買的數(shù)據(jù)源的基金數(shù)據(jù)都是混在一起的，包含來自國內(nèi)的 2 萬只基金，跨越幾十年（從九幾年至今）的數(shù)千萬行較寬的數(shù)據(jù)。此前他們通過 MySQL 來存儲這些數(shù)據(jù)，首先要把每個基金的數(shù)據(jù)分表，有一定程度的工作量，只能先全量保存這些數(shù)據(jù)在一張表中，但這種大表會導(dǎo)致查詢的性能非常低下，為了應(yīng)對這一問題，只能通過離線查詢生成每天的基金數(shù)據(jù)圖片返回給用戶，無法對外提供自定義查詢服務(wù)。在此背景下，搜狐基金決定基于 TDengine 3.0 嘗試一下全新的方案。

建模展示

改造效果

我們使用三臺 4C 16GB 的服務(wù)器組建了 TDengine 的集群。值得一提的是，基金數(shù)據(jù)是一日一條，屬于低頻次數(shù)據(jù)。對于這種數(shù)據(jù)，默認(rèn)的配置是不夠的。一開始我們的查詢性能并不快，基本都是在秒級別甚至還有更高。通過文檔和博客以及官方團(tuán)隊的支持，我們放大了 duration 和 stt_trigger 參數(shù)，這樣確保了不會產(chǎn)生過多的文件碎片影響讀寫性能，后續(xù)的查詢?nèi)勘粌?yōu)化至毫秒級別。

點此查看案例詳情

https://www.taosdata.com/tdengine-user-cases/22138.html

智光電氣 x TDengine 3.0

“當(dāng)前 TDengine 3.0 已成功應(yīng)用于我司多個工業(yè)項目中，涵蓋數(shù)萬臺各類工業(yè)設(shè)備的數(shù)據(jù)存儲與查詢。作為數(shù)據(jù)中臺，TDengine 為上層應(yīng)用提供了高效的歷史數(shù)據(jù)查詢，精確到秒級和分鐘級粒度，幫助我們大幅提升了應(yīng)用效率，同時減少了硬件和人力資源的消耗?！?/span>

業(yè)務(wù)背景

在使用 TDengine 之前，子公司智光研究院在工業(yè)項目中使用基于 Apache Hadoop 的 CDH 集群來做時序業(yè)務(wù)數(shù)據(jù)的處理。但是由于數(shù)據(jù)量級太大，處理占用了大量資源，導(dǎo)致集群的不穩(wěn)定性增加，有頻繁發(fā)生崩潰的風(fēng)險。經(jīng)過充分測試后，該團(tuán)隊最終決定把由 HBase 處理的、數(shù)據(jù)量最大的時序數(shù)據(jù)業(yè)務(wù)抽離出來，引入 TDengine 來降低 Hadoop 集群的壓力，成為獨立出來的數(shù)據(jù)中臺。

改造后部分查詢展示

改造效果

寫入存儲方面，同樣是列式存儲，以半年的數(shù)據(jù)作為比較，三副本的 HBase 的總數(shù)據(jù)量占用是 10TB，TDengine 三副本的磁盤占用只有 2TB，存儲成本僅為 HBase 的 20 %。（由于和其他應(yīng)用共用，內(nèi)存、CPU 方面不好估算，但成本均大幅降低）

在查詢上，智光研究員的業(yè)務(wù)主要就是針對 rundata_t1m（分鐘級數(shù)據(jù)）、rundata（原始數(shù)據(jù)）這兩張千億級別的大型超級表的篩選、過濾、降采樣。應(yīng)用的查詢性能和 SQL 篩選的時間范圍相關(guān)較大，整體上的耗時大概在毫秒級至 2 秒內(nèi)。

點此查看案例詳情

https://www.taosdata.com/tdengine-user-cases/22521.html

結(jié)語

通過上述案例我們能看到，在經(jīng)過不斷打磨優(yōu)化后，如今的 TDengine 3.0 已經(jīng)在性能、功能、穩(wěn)定性各個方面均有大幅提升，從一款時序數(shù)據(jù)庫（Time Series Database，TSDB）蛻變成為高性能、云原生、分布式的物聯(lián)網(wǎng)、工業(yè)大數(shù)據(jù)平臺。為此，我們也強(qiáng)烈建議老用戶盡快向 TDengine 3.0 版本進(jìn)行遷移，以便體驗到 TDengine 更加強(qiáng)大的產(chǎn)品力。

為了幫助大家最短時間內(nèi)在本地完成自助式版本遷移，除了官方文檔以外，我們還準(zhǔn)備了大量技術(shù)文章，全部匯總在《萬字解讀｜怎樣激活 TDengine 最高性價比？》（https://www.taosdata.com/tdengine-engineering/21550.html）中，以供有需要的用戶參考。