小 T 導(dǎo)讀：至數(shù)物聯(lián)網(wǎng)平臺(tái)場(chǎng)景多、數(shù)據(jù)模型復(fù)雜，伴隨著業(yè)務(wù)需求的不斷迭代及數(shù)據(jù)量的不斷上漲，原有的 OpenTSDB+MySQL 的組合逐漸力不從心，局限性日益凸顯。在對(duì) TDengine Database 進(jìn)行充分了解與調(diào)研后，基于 TDengine 對(duì)至數(shù)搖光進(jìn)行了徹底性的改造。本文分享了至數(shù)結(jié)合自身平臺(tái)特點(diǎn)進(jìn)行系統(tǒng)架構(gòu)升級(jí)改造的經(jīng)驗(yàn)，以供參考。

公司簡(jiǎn)介&項(xiàng)目背景

至數(shù)（Medatc）是一家致力于打造行業(yè)最佳設(shè)備資產(chǎn)數(shù)據(jù)化運(yùn)營(yíng)、管理、服務(wù)的平臺(tái)，為客戶提供全方位的設(shè)備資產(chǎn)管理支撐，其擁有豐富的行業(yè)經(jīng)驗(yàn)，以及在大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)、互聯(lián)網(wǎng)+領(lǐng)域的創(chuàng)新實(shí)踐能力。公司成立至今已經(jīng)獲得紅杉資本等知名投資機(jī)構(gòu)的戰(zhàn)略投資。

至數(shù)搖光（即：至數(shù)物聯(lián)網(wǎng)平臺(tái)）通過動(dòng)態(tài)能量主動(dòng)標(biāo)識(shí)，動(dòng)態(tài)環(huán)境主動(dòng)標(biāo)識(shí)，智能網(wǎng)關(guān)，應(yīng)用工業(yè)互聯(lián)網(wǎng)時(shí)序數(shù)據(jù)高效采集，邊緣計(jì)算以及智能算法自動(dòng)分發(fā)等一系列技術(shù)，基于醫(yī)療設(shè)備行業(yè)主數(shù)據(jù)規(guī)范，助力醫(yī)療機(jī)構(gòu)短周期、低成本、高質(zhì)量、廣覆蓋地實(shí)現(xiàn)有源設(shè)備智慧管理。

一、至數(shù)搖光具有場(chǎng)景多、數(shù)據(jù)模型復(fù)雜的特點(diǎn)

至數(shù)搖光是以提效降耗為目標(biāo)，幫助醫(yī)療機(jī)構(gòu)實(shí)現(xiàn)有源設(shè)備的高效管理，為設(shè)備使用效率智能分析，設(shè)備科學(xué)配置，設(shè)備動(dòng)態(tài)調(diào)配，設(shè)備安全保障提供全方位支撐。目前共推出了 15 項(xiàng)智能場(chǎng)景應(yīng)用，30 項(xiàng)事件及異常告警提醒。

至數(shù)搖光的上述場(chǎng)景改造前數(shù)據(jù)庫(kù)采用 OpenTSDB+MySQL 結(jié)合的方式實(shí)現(xiàn)，由于 OpenTSDB 無法滿足復(fù)雜查詢場(chǎng)景，因此 80% 的場(chǎng)景指標(biāo)只能基于 MySQL 數(shù)據(jù)庫(kù)來實(shí)現(xiàn)，這樣帶來的問題就是 MySQL 數(shù)據(jù)庫(kù)的數(shù)據(jù)增長(zhǎng)迅速，需要定時(shí)做冷熱數(shù)據(jù)分離及數(shù)據(jù)庫(kù)表維護(hù)動(dòng)作。

二、TDengine 助力至數(shù)物聯(lián)網(wǎng)平臺(tái)實(shí)現(xiàn)技術(shù)改造

作為一個(gè)大而全的數(shù)據(jù)庫(kù)，OpenTSDB 稍顯笨重，伴隨著業(yè)務(wù)需求的不斷迭代及數(shù)據(jù)量的不斷上漲，其局限性日益凸顯，系統(tǒng)的架構(gòu)升級(jí)和改造工作日漸迫切。

2021 年我們?cè)趯?duì) TDengine Database 有了充分的了解后，決定將至數(shù)搖光從時(shí)序數(shù)據(jù) OpenTSDB 遷移到 TDengine，并基于 TDengine 的特性對(duì)搖光進(jìn)行徹底性的改造。目前改造工作已經(jīng)全部完成，改造后有大約 80% 左右的指標(biāo)模型放到了 TDengine 中，20% 左右的主數(shù)據(jù)或維表數(shù)據(jù)存放在 MySQL 數(shù)據(jù)庫(kù)中。

相較于改造前的 80% 指標(biāo)模型存放在 MySQL 中，20% 指標(biāo)數(shù)據(jù)存放在 OpenTSDB 數(shù)據(jù)庫(kù)中，結(jié)果剛好進(jìn)行了顛倒，服務(wù)器資源使用情況也有所下降。應(yīng)用整體的頁(yè)面影響速度顯著提高，數(shù)據(jù)模型及數(shù)據(jù)指標(biāo)上也可以更加地靈活多變。

以下為至數(shù)搖光網(wǎng)絡(luò)拓?fù)渎穲D：

以下為改造前后的數(shù)據(jù)庫(kù)對(duì)比：

以下以 11 萬(wàn)條數(shù)據(jù)表來做查詢，結(jié)果如下：

聚合查詢，1,155,876 條數(shù)據(jù)在耗時(shí)不到 0.17 秒的時(shí)間完成 GROUP BY 聚合查詢：

寫入情況，這里截了一張 Flink 寫入TDengine 數(shù)據(jù)庫(kù)圖片，3 個(gè)小時(shí)左右的時(shí)間里寫入了 250 萬(wàn)條采集數(shù)據(jù)，這樣的寫入量遠(yuǎn)遠(yuǎn)沒有達(dá)到 TDengine 的寫入瓶頸，對(duì)業(yè)務(wù)的增長(zhǎng)留有充裕的空間。

下面是我們的部分應(yīng)用展示：

三、TDengine 使用上的一些意見反饋

我們有些按小時(shí)、按天、按月的指標(biāo)計(jì)算的時(shí)候如果當(dāng)時(shí)的維表數(shù)據(jù)有誤需要重算，重算的數(shù)據(jù)需要覆蓋之前的數(shù)據(jù)或者把之前的數(shù)據(jù)刪除掉重新寫入。不過 TDengine Database 目前不支持?jǐn)?shù)據(jù)刪除，希望未來能夠支持刪除功能。

目前更新只支持更新相同時(shí)間戳數(shù)據(jù)，希望 tag 和普通字段能夠聯(lián)合篩選做 update；也有業(yè)務(wù)場(chǎng)景需要此類功能。

另外，目前排序還存在一定的限制，希望 tag 和普通字段能夠進(jìn)行自由升降序排列。

最后感謝濤思團(tuán)隊(duì)開源出來 TDengine 這款優(yōu)秀的時(shí)序數(shù)據(jù)庫(kù)系統(tǒng)，也要感謝一下濤思團(tuán)隊(duì)對(duì)至數(shù)研發(fā)團(tuán)隊(duì)的支持與幫助，祝福濤思數(shù)據(jù)越辦越好！