六月婷婷AV,国产偷窥猎奇福利二区,日韩三级片。,好吊色网站,日韩成人中文在线视频,国产亚洲午夜啪啪,亚洲欧美另类国产精品,国产成人av1,任你艹在线观看

“一個數(shù)據(jù)采集點(diǎn)一張表”大幅提升時間序列數(shù)據(jù)的插入和查詢性能

小T

2022-07-07 / ,

物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)等場景的數(shù)據(jù)是時間序列數(shù)據(jù),具有有其獨(dú)特性,如果可以充分利用這些獨(dú)特之處,推出一款時序數(shù)據(jù)庫,就可以大幅提升時間序列數(shù)據(jù)的插入和查詢性能。

TDengine 是一款高性能、分布式、支持 SQL 的時序數(shù)據(jù)庫(Time Series Database,TSDB),其 TSDB 核心代碼包括集群功能全部開源,同時 TDengine 還帶有內(nèi)建的緩存、流式計算、數(shù)據(jù)訂閱等系統(tǒng)功能,能大幅減少研發(fā)和運(yùn)維的復(fù)雜度,可廣泛應(yīng)用于物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)、IT 運(yùn)維、金融等領(lǐng)域。

為充分利用時間序列數(shù)據(jù)的特點(diǎn),TDengine 采用一個數(shù)據(jù)采集點(diǎn)一張表的策略,要求對每個數(shù)據(jù)采集點(diǎn)單獨(dú)建表。
數(shù)據(jù)采集點(diǎn)是指按照預(yù)設(shè)時間周期或受事件觸發(fā)采集物理量的硬件或軟件。一個數(shù)據(jù)采集點(diǎn)可以采集一個或多個采集量,但這些采集量都是同一時刻采集的,具有相同的時間戳。對于復(fù)雜的設(shè)備,往往有多個數(shù)據(jù)采集點(diǎn),每個數(shù)據(jù)采集點(diǎn)采集的周期都可能不一樣,而且完全獨(dú)立,不同步。比如對于一臺汽車,有數(shù)據(jù)采集點(diǎn)專門采集 GPS 位置,有數(shù)據(jù)采集點(diǎn)專門采集發(fā)動機(jī)狀態(tài),有數(shù)據(jù)采集點(diǎn)專門采集車內(nèi)的環(huán)境,這樣一臺汽車就有三個數(shù)據(jù)采集點(diǎn)。

時間序列數(shù)據(jù)是結(jié)構(gòu)化的,因此,TDengine 采取的是結(jié)構(gòu)化存儲,而不是流行的 KV 存儲。由于時間序列數(shù)據(jù),每個數(shù)據(jù)采集點(diǎn)的數(shù)據(jù)源是唯一的,而且用戶關(guān)心的往往是一個時間段的數(shù)據(jù),而不是某個特殊時間點(diǎn)。一個數(shù)據(jù)采集點(diǎn)一張表的策略,有幾大優(yōu)點(diǎn):

  1. 由于不同數(shù)據(jù)采集點(diǎn)產(chǎn)生數(shù)據(jù)的過程完全獨(dú)立,每個數(shù)據(jù)采集點(diǎn)的數(shù)據(jù)源是唯一的,一張表也就只有一個寫入者,這樣就可采用無鎖方式來寫,寫入速度就能大幅提升。
  2. 對于一個數(shù)據(jù)采集點(diǎn)而言,其產(chǎn)生的是時間序列數(shù)據(jù),因此寫的操作可用追加的方式實(shí)現(xiàn),進(jìn)一步大幅提高數(shù)據(jù)寫入速度。
  3. 一個數(shù)據(jù)采集點(diǎn)的數(shù)據(jù)是以塊為單位連續(xù)存儲的。如果讀取一個時間段的數(shù)據(jù),它能大幅減少隨機(jī)讀取操作,成數(shù)量級的提升讀取和查詢速度。
  4. 一個數(shù)據(jù)塊內(nèi)部,采用列式存儲,對于不同數(shù)據(jù)類型,采用不同壓縮算法,而且由于一個數(shù)據(jù)采集點(diǎn)的采集量的變化是緩慢的,壓縮率更高。

如果采用傳統(tǒng)的方式,將多個數(shù)據(jù)采集點(diǎn)的數(shù)據(jù)寫入一張表,由于網(wǎng)絡(luò)延時不可控,不同數(shù)據(jù)采集點(diǎn)的數(shù)據(jù)到達(dá)服務(wù)器的時序是無法保證的,寫入操作是要有鎖保護(hù)的,而且一個數(shù)據(jù)采集點(diǎn)的數(shù)據(jù)是難以保證連續(xù)存儲在一起的。
因此,采用一個數(shù)據(jù)采集點(diǎn)一張表的方式,能最大程度的保證單個采集點(diǎn),時間序列數(shù)據(jù)的插入和查詢的性能是最優(yōu)的。