小T導(dǎo)讀：
此前，智光電氣（股票代碼：002169）子公司智光研究院在工業(yè)項(xiàng)目中使用基于 Apache Hadoop 的 CDH 集群來做時(shí)序業(yè)務(wù)數(shù)據(jù)的處理，但由于數(shù)據(jù)量級太大，處理占用了大量資源，導(dǎo)致集群有發(fā)生崩潰的風(fēng)險(xiǎn)。在此背景下，智光研究院選擇應(yīng)用 TDengine 進(jìn)行技術(shù)升級，并產(chǎn)出本文分享應(yīng)用經(jīng)驗(yàn)。

作者：陳曉琪，智光研究院架構(gòu)師，行業(yè)內(nèi)多年開發(fā)與架構(gòu)經(jīng)驗(yàn)。

當(dāng)前 TDengine 已成功應(yīng)用于我司多個(gè)工業(yè)項(xiàng)目中，涵蓋數(shù)萬臺各類工業(yè)設(shè)備的數(shù)據(jù)存儲與查詢。作為數(shù)據(jù)中臺，TDengine 為上層應(yīng)用提供了高效的歷史數(shù)據(jù)查詢，精確到秒級和分鐘級粒度，幫助我們大幅提升了應(yīng)用效率，同時(shí)減少了硬件和人力資源的消耗。

選型背景

因此，我們急需一款時(shí)序數(shù)據(jù)庫（Time Series Database，TSDB）進(jìn)行技術(shù)升級。經(jīng)過充分測試后，團(tuán)隊(duì)最終決定把由 HBase 處理的、數(shù)據(jù)量最大的時(shí)序數(shù)據(jù)業(yè)務(wù)抽離出來，引入 TDengine 來降低 Hadoop 集群的壓力，成為獨(dú)立出來的數(shù)據(jù)中臺。

我們的設(shè)備數(shù)據(jù)首先通過邊緣網(wǎng)關(guān)進(jìn)行采集，然后通過 MQTT 協(xié)議上報(bào)到工業(yè)互聯(lián)網(wǎng)平臺，報(bào)上來的數(shù)據(jù)經(jīng)過物模型解析后發(fā)送到 Kafka 集群，再把原始數(shù)據(jù)和經(jīng)過降采樣計(jì)算的分鐘級數(shù)據(jù)寫入到 TDengine 集群當(dāng)中，以實(shí)現(xiàn)高效的數(shù)據(jù)存儲和查詢。

經(jīng)驗(yàn)分享

從一個(gè)時(shí)序數(shù)據(jù)庫的初學(xué)者到使用者，我們最大的心得就是：

數(shù)據(jù)建?？梢哉f是最重要的一個(gè)環(huán)節(jié)，也是關(guān)乎是否能夠順利用好 TDengine 的根基。

考慮到對降采樣查詢的大量需求，我們經(jīng)過實(shí)際測試后發(fā)現(xiàn)，將這些計(jì)算量完全交給 TDengine 來做實(shí)時(shí)計(jì)算是不現(xiàn)實(shí)的。在此背景下我們選擇在應(yīng)用層先做好一層降采樣計(jì)算，再寫入數(shù)據(jù)庫。為此我們將數(shù)據(jù)分為了原始數(shù)據(jù)和分鐘級數(shù)據(jù)兩類，對應(yīng)到 TDengine 當(dāng)中：iotdb 是原始數(shù)據(jù)，processeddb 是分鐘級庫。這種數(shù)據(jù)分類和存儲方式也更加符合我們的需求。

當(dāng)全量數(shù)據(jù)導(dǎo)入之后（幾千億行），我們又發(fā)現(xiàn)了新的查詢性能問題，當(dāng)時(shí)還以為 TDengine 的性能已經(jīng)封頂了。之后在 TDengine 官方團(tuán)隊(duì)的協(xié)助定位下才找到核心問題——分鐘級庫與原始數(shù)據(jù)的寫入頻率差異過大，不能公用一套參數(shù)配置。

為了解決這一問題，后面官方根據(jù)我們實(shí)際的業(yè)務(wù)場景，分別對不同類型的數(shù)據(jù)進(jìn)行建庫建表，做了針對性的建模優(yōu)化。然后我們又耐下心來，再次重新導(dǎo)入全量數(shù)據(jù)。

改造效果

經(jīng)過官方協(xié)助優(yōu)化后，數(shù)據(jù)塊變得更加緊密，壓縮率和查詢寫入性能均得到了大幅提升。

最終的成果如下：

寫入存儲方面，同樣是列式存儲，以半年的數(shù)據(jù)作為比較，三副本的 HBase 的總數(shù)據(jù)量占用是 10TB，TDengine 三副本的磁盤占用只有 2TB，存儲成本僅為 HBase 的 20 %。（由于和其他應(yīng)用共用，內(nèi)存、CPU 方面不好估算，但成本均大幅降低）

在查詢上，我們的業(yè)務(wù)主要就是針對 rundata_t1m（分鐘級數(shù)據(jù)）、rundata（原始數(shù)據(jù)）這兩張千億級別的大型超級表的篩選、過濾、降采樣。應(yīng)用的查詢性能和 SQL 篩選的時(shí)間范圍相關(guān)較大，整體上的耗時(shí)大概在毫秒級至 2 秒內(nèi)。

具體展示如下：

• 分鐘級數(shù)據(jù)的 5 分鐘級數(shù)據(jù)查詢（取 5 分鐘內(nèi)最后的值）

select tbname, _wend - 1 as ts, LAST(val) AS val from rundata_t1m where tbname in ('b5Sk4IV6ld6-LErYYdQ1-ProcUsedPercent') and ts >= 1698768000000 and ts <= 1701100799000 partition by tbname interval(5m, 1a);

• 分鐘級數(shù)據(jù)的 15 分鐘級數(shù)據(jù)查詢（取 15 分鐘內(nèi)最后的值）

select tbname, _wend - 1 as ts, LAST(val) AS val from rundata_t1m where tbname in ('b5Sk4IV6ld6-LErYYdQ1-ProcUsedPercent') and ts >= xxx and ts <= xxx partition by tbname interval(15m, 1a);

• 原始數(shù)據(jù)的秒級數(shù)據(jù)查詢

select tbname, _wend - 1 as ts, LAST(val) AS val from rundata where tbname in ('b5Sk4IV6ld6-LErYYdQ1-ProcUsedPercent') and ts >= xxx and ts <= xxx partition by tbname interval(1s, 1a);

寫在最后

TDengine 作為一款出色的國產(chǎn)時(shí)序數(shù)據(jù)庫，在實(shí)際應(yīng)用中真正地為我們提供了巨大幫助。因此，我們決定整理成文，希望能夠吸引更多的企業(yè)和開發(fā)者加入我們的行列，共同探索 TDengine 的優(yōu)勢和潛力。讓我們一起共同推動國產(chǎn)數(shù)據(jù)庫技術(shù)的發(fā)展！

企業(yè)簡介：

智光研究院(廣州)有限公司【智光電氣（股票代碼：002169）下屬子公司】，是一家在能源動力技術(shù)領(lǐng)域具有深厚行業(yè)背景和創(chuàng)新研發(fā)能力的應(yīng)用技術(shù)研究機(jī)構(gòu)。憑借豐富的行業(yè)背景和創(chuàng)新研發(fā)能力，智光研究院在綜合能源工業(yè)互聯(lián)網(wǎng)平臺應(yīng)用、大型工業(yè)設(shè)備狀態(tài)監(jiān)測和智能運(yùn)維管理、能源系統(tǒng)數(shù)字化管理和能量優(yōu)化、新能源、儲能、電動化等方面取得了多項(xiàng)成果。目前已成功投入使用綜合能源服務(wù)工業(yè)互聯(lián)網(wǎng)平臺和多個(gè)垂直領(lǐng)域應(yīng)用系統(tǒng)。