小 T 導(dǎo)讀：八五信息新能源電力物聯(lián)網(wǎng)平臺(tái)采用TDengine Database，存儲(chǔ)和查詢分析物聯(lián)網(wǎng)設(shè)備的實(shí)時(shí)數(shù)據(jù)，以及光伏設(shè)備傳感器的遙測(cè)數(shù)據(jù)。需支撐至少50000臺(tái)設(shè)備總計(jì)400萬(wàn)測(cè)點(diǎn)的實(shí)時(shí)數(shù)據(jù)接入、處理及存儲(chǔ)，預(yù)計(jì)日增量40多億條。之前使用TimescaleDB，無(wú)論在讀寫(xiě)性能，還是硬件資源上，都遇到了瓶頸，且沒(méi)有集群功能。隨后切換到了TDengine，讀寫(xiě)性能提高了10倍，存儲(chǔ)成本降低到原來(lái)1/5左右。

使用場(chǎng)景簡(jiǎn)介

當(dāng)前業(yè)務(wù)場(chǎng)景

我們首先在新能源電力物聯(lián)網(wǎng)平臺(tái)上使用了TDengine Database，主要用于光伏設(shè)備遙測(cè)實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)、查詢和分析。

新能源物聯(lián)網(wǎng)生產(chǎn)運(yùn)營(yíng)平臺(tái)通過(guò)物聯(lián)網(wǎng)及大數(shù)據(jù)技術(shù)將現(xiàn)有電站數(shù)據(jù)進(jìn)行整合，實(shí)現(xiàn)園區(qū)設(shè)備的統(tǒng)一運(yùn)行監(jiān)視，數(shù)據(jù)集中管理。給不同人員等提供全面、便捷、差異化的數(shù)據(jù)和服務(wù)。

對(duì)運(yùn)維人員提供設(shè)備的狀態(tài)信息、報(bào)警信息、遠(yuǎn)程故障診斷信息、實(shí)時(shí)數(shù)據(jù)等數(shù)據(jù)應(yīng)用服務(wù)；對(duì)管理人員和運(yùn)營(yíng)人員提供各類檢測(cè)數(shù)據(jù)的匯總、變化趨勢(shì)等應(yīng)用服務(wù)。該平臺(tái)系統(tǒng)整體的架構(gòu)如下：

系統(tǒng)的總體架構(gòu)按照分層實(shí)現(xiàn)的設(shè)計(jì)理念，在底層設(shè)計(jì)上實(shí)現(xiàn)各個(gè)軟件系統(tǒng)的職能分離，確保各部分高效運(yùn)轉(zhuǎn)。

數(shù)據(jù)規(guī)模，查詢壓力等要求

規(guī)劃設(shè)計(jì)數(shù)據(jù)存儲(chǔ)規(guī)模大概在16T左右，目前數(shù)據(jù)日增量為1億多條，全部測(cè)點(diǎn)接入后預(yù)計(jì)日增量為40多億條左右；系統(tǒng)需支撐至少50000臺(tái)設(shè)備總計(jì)400萬(wàn)測(cè)點(diǎn)（信號(hào)量和模擬量）的實(shí)時(shí)數(shù)據(jù)接入、處理及存儲(chǔ)。

應(yīng)用系統(tǒng)的常規(guī)查詢?cè)?0QPS左右，高并發(fā)在100QPS左右。一次歷史數(shù)據(jù)查詢分析最大跨度為一年且支撐多測(cè)點(diǎn)多模式分析方式。時(shí)序數(shù)據(jù)分析界面如下：

工況實(shí)時(shí)展示界面：

目前總數(shù)據(jù)量以及日增量：

目前創(chuàng)建的超級(jí)表以及子表數(shù)：

數(shù)據(jù)模型簡(jiǎn)介

目前根據(jù)不同的測(cè)點(diǎn)類型建立了不同的超級(jí)表。按照不同的測(cè)點(diǎn)ID以及測(cè)點(diǎn)號(hào)作為tag創(chuàng)建了不同的子表。這樣我們針對(duì)于測(cè)點(diǎn)可以直接進(jìn)行單表分析，處理性能高、速度快。也可以針對(duì)多測(cè)點(diǎn)進(jìn)行分析，直接操作超級(jí)表，業(yè)務(wù)實(shí)現(xiàn)簡(jiǎn)單，同時(shí)兼顧了查詢性能。

查詢需求

· 簡(jiǎn)單查詢

針對(duì)于單測(cè)點(diǎn)的歷史數(shù)據(jù)查詢分析以及時(shí)間間隔聚合分析。主要是對(duì)單測(cè)點(diǎn)的異常數(shù)據(jù)的排查和告警數(shù)據(jù)的排查確認(rèn)。TDengine是把同類設(shè)備數(shù)據(jù)歸入一個(gè)超級(jí)表，但每個(gè)設(shè)備都會(huì)根據(jù)超級(jí)表的結(jié)構(gòu)建立自己的一張子表，查詢單測(cè)點(diǎn)數(shù)據(jù)實(shí)際上只查詢一個(gè)子表，遍歷的數(shù)據(jù)量大大減少，查詢分析基本毫秒級(jí)響應(yīng)。簡(jiǎn)單查詢SQL圖例：

· 聚合查詢

多測(cè)點(diǎn)相同時(shí)間維度不同聚合類型的時(shí)間遷移對(duì)比分析。側(cè)重于對(duì)比，方便用戶更加有效的確認(rèn)不同測(cè)點(diǎn)下的異常和差異情況。

· 大批量測(cè)點(diǎn)分組聚合查詢

數(shù)百測(cè)點(diǎn)的分組分時(shí)段聚合查詢；在一定時(shí)間段內(nèi)，大批量測(cè)點(diǎn)的查詢?nèi)匀豢梢匝杆夙憫?yīng)。

查詢壓力

峰值并發(fā)為100qps，平均并發(fā)量為20qps，實(shí)際場(chǎng)景中并發(fā)查詢壓力較小，未達(dá)到TDengine的查詢瓶頸。

采用TDengine帶來(lái)的收益

系統(tǒng)功能

讀寫(xiě)性能較原TimescaleDB數(shù)據(jù)庫(kù)提高10倍左右，在數(shù)據(jù)接入層不用再擔(dān)心數(shù)據(jù)庫(kù)的寫(xiě)入性能瓶頸；數(shù)據(jù)分析查詢應(yīng)用層也較原系統(tǒng)有較大提升，尤其是在時(shí)間跨度大的聚合類分析幾乎瞬間響應(yīng)。

通過(guò)亂序插入功能，解決了邊緣側(cè)由于網(wǎng)絡(luò)問(wèn)題導(dǎo)致的數(shù)據(jù)傳輸不及時(shí)造成的亂序?qū)懭雴?wèn)題，保證了數(shù)據(jù)的完整性。

集群功能對(duì)比TimescaleDB優(yōu)勢(shì)較大，TimescaleDB沒(méi)有集群功能但支持流復(fù)制方式的主備庫(kù)；TDengine集群容易搭建且無(wú)主從節(jié)點(diǎn)區(qū)分，對(duì)應(yīng)用改造和支撐較友好，集群版讀寫(xiě)性能提升較大。

數(shù)據(jù)存儲(chǔ)增加集群多副本功能，通過(guò)數(shù)據(jù)冗余提升了系統(tǒng)的安全和可靠性，降低了系統(tǒng)的運(yùn)維成本。

軟硬件資源

節(jié)省了系統(tǒng)大量的計(jì)算資源以及存儲(chǔ)資源，降低了大約4倍左右的存儲(chǔ)成本。

對(duì)比未使用TDengine之前TimescaleDB時(shí)序庫(kù)開(kāi)啟壓縮后對(duì)70億數(shù)據(jù)占用磁盤(pán)為165G，且一分鐘內(nèi)無(wú)法查詢出一個(gè)月的歷史數(shù)據(jù)；而在使用TDengine之后磁盤(pán)占用空間為40G左右，毫秒級(jí)返回針對(duì)一個(gè)月的歷史數(shù)據(jù)的聚合查詢。相關(guān)查詢?nèi)缦拢?/p>

應(yīng)用TDengine遇到的問(wèn)題與解決思路

原有時(shí)序庫(kù)大數(shù)據(jù)量批量導(dǎo)入TDengine，在1.6版本進(jìn)行批量導(dǎo)入非常麻煩，一次批量插入只有200條左右，后期在升級(jí)到了2.0版本以上后一次可以插入1M數(shù)據(jù)，大大提升了不同數(shù)據(jù)庫(kù)不同表結(jié)構(gòu)之間的批量導(dǎo)入性能。

未來(lái)使用TDengine的考慮

經(jīng)過(guò)一段時(shí)間的線上運(yùn)行，TDengine Database有優(yōu)異的性能表現(xiàn)，我們決定將在后續(xù)時(shí)間將我們所有的物聯(lián)網(wǎng)項(xiàng)目逐步都更新為TDengine。

TDengine功能方面的期望與建議

分析型函數(shù)增強(qiáng)，希望增加時(shí)序庫(kù)中實(shí)用的常用分析函數(shù)；

增強(qiáng)連續(xù)聚合查詢功能，目前連續(xù)聚合功能實(shí)用性不強(qiáng)；

產(chǎn)品生態(tài)，與Spark、Flink等開(kāi)源分析工具的集成。

作者: 八五信息開(kāi)發(fā)工程師李良政