作者：曲春輝，負(fù)責(zé)工業(yè)數(shù)字化平臺架構(gòu)

小T導(dǎo)讀：作為全球性的電氣產(chǎn)品和服務(wù)經(jīng)銷商，藍格賽于2000年進駐中國市場，一直致力于幫助中國更有效地使用能源。經(jīng)過20年的不斷壯大，如今藍格賽在中國國內(nèi)電氣產(chǎn)品和服務(wù)經(jīng)銷商中已經(jīng)成為重要的市場參與者之一，通過6家業(yè)務(wù)實體、全國53個銷售網(wǎng)點服務(wù)工業(yè)、商業(yè)及樓宇客戶，為它們提供多樣化的工業(yè)自動化產(chǎn)品及解決方案。

本次項目為某市政供水水廠的數(shù)字化項目，數(shù)據(jù)來源于包括水泵、閥門、電表、液位計、流量計等多種設(shè)備近6000測點。該平臺需要實現(xiàn)以下功能：數(shù)據(jù)秒級采集，歷史數(shù)據(jù)留存3年，為上層應(yīng)用提供數(shù)據(jù)支撐，包括所有測點的瞬時數(shù)據(jù)、聚合分析、數(shù)據(jù)報表等。值得注意的是，在本項目中聚合查詢的使用場景非常的多，頁面上圖表不論大小有上百張之多，因此聚合查詢的實現(xiàn)也是本項目的關(guān)鍵之處。

根據(jù)本項目特點，從整體架構(gòu)的具體實現(xiàn)效果出發(fā)，我們對存儲技術(shù)提出了很高的要求，甚至可以說，存儲技術(shù)的選擇會直接影響項目后續(xù)的推進乃至成敗，這是一個決定平臺“脊梁”硬不硬的組件?？紤]到這一問題，團隊在技術(shù)選型上著實花費了一些功夫，本次選型也相對更加慎重。

在選型過程中我們共調(diào)研了20多個開源存儲技術(shù)，從開源組織、授權(quán)協(xié)議、數(shù)據(jù)模型、社區(qū)成熟度、開發(fā)語言、組件依賴、性能、穩(wěn)定性、聚合友好、操作系統(tǒng)、集群支撐、副本策略等多個角度進行了對比，最終選擇了TDengine Database作為海量數(shù)據(jù)存儲引擎。

從7個優(yōu)點看選擇TDengine Database的原因

事實上，我們最初選擇的是單純以InfluxDB作為本次項目的核心存儲組件，不過這一設(shè)想在進行技術(shù)驗證時卻發(fā)現(xiàn)難以繼續(xù)推進。 主要原因是在技術(shù)驗證的過程中，我們發(fā)現(xiàn)了InfluxDB存在的幾個問題，其中最重要的兩個是：

• 首先，社區(qū)版本僅支持單節(jié)點。這個可以說是InfluxDB非常不友好的一個點了，多數(shù)項目采用的都是集群設(shè)計方案，如果數(shù)據(jù)只能在其中一個節(jié)點上存儲，浪費其他節(jié)點存儲空間不說，一旦所在節(jié)點出現(xiàn)故障，對整個項目的影響是災(zāi)難級的。
• 其次，隨著數(shù)據(jù)量及存儲時長的提升，InfluxDB的聚合性能出現(xiàn)了巨大的瓶頸，我們在實際測試的時候，模擬了百萬測點近1年的數(shù)據(jù)，當(dāng)聚合請求比較多的時候，基本上就很慢了，這點也對本項目影響很大。

由于以上兩個問題的存在，從架構(gòu)實現(xiàn)的角度來講，我們必須對存儲技術(shù)進行重新選擇。恰好此時TDengine也開放了集群版本，偶然的契機下又聽到了陶老師對于時序數(shù)據(jù)的特點總結(jié)，感覺研究的非常深入，總結(jié)的也很全面。 后經(jīng)與團隊溝通，在技術(shù)選型調(diào)研時就一并把TDengine包含在了調(diào)研范圍之內(nèi)。簡單嘗試之后，我們發(fā)現(xiàn)TDengine的數(shù)據(jù)模型真的非常適合工業(yè)場景，總結(jié)來說有以下幾個優(yōu)點。

優(yōu)點：

1. 社區(qū)版本支持集群：可以比較好的利用集群的存儲空間，數(shù)據(jù)也可以分散開來。
2. 聚合性能優(yōu)越：由于TDengine的數(shù)據(jù)模型特定及對集群的支撐，在模擬測試過程中，基本上沒有遇到聚合瓶頸。隨著數(shù)據(jù)量的增加及存儲時長的延長，聚合性能也非常穩(wěn)定。
3. 簡單易用：在工業(yè)場景中，組件低耦合是很必要的，TDengine開箱即用的特性很“香”，學(xué)習(xí)成本低，上手快速。
4. 數(shù)據(jù)模型優(yōu)秀：在工業(yè)場景中，設(shè)備及測點的增減非常的普遍，TDengine的超級表及子表的概念很好地解決了這個問題，單列模式的場景對本項目來說非常友好。
5. 查詢語義具有普適性：TDengine的查詢語句與InfluxDB非常接近，這點也非常好。
6. 版本升級簡單：卸載原有版本，安裝新版本即可，無需數(shù)據(jù)遷移。
7. 社區(qū)支持：普通的問題基本上都可以在issue上得到答復(fù)，遇到緊急問題的時候，濤思數(shù)據(jù)的同事甚至可以親自遠(yuǎn)程解決，為他們點贊，在使用的時候放心不少。

10個看板頁面，近百個聚合請求

選型確定之后，我們就正式開始了搭建。搭載TDengine之后的架構(gòu)圖如下所示：

采用該方案的很大一部分原因是InfluxDB和TDengine在查詢語義上的天然一致性。我們?yōu)門Dengine外層包裝了一層SDK，對應(yīng)用層開放SDK，使應(yīng)用層對存儲技術(shù)無感，在SDK內(nèi)部通過查詢的時間跨度、組件健康程度等多個因素自動選擇查詢引擎，這樣可以保障其中一個技術(shù)在出現(xiàn)問題的時候，另一個技術(shù)隨時頂上來，大大降低了由于技術(shù)穩(wěn)定性所帶來的風(fēng)險。

在數(shù)據(jù)處理的具體分工上，當(dāng)前我們主要使用TDengine支持?jǐn)?shù)據(jù)聚合的場景。在本次項目中，數(shù)據(jù)看板是功能的核心，同時也是用戶最看中的地方，而這部分的數(shù)據(jù)聚合基本上都依賴于TDengine——目前其共支持應(yīng)用端約10個看板頁面，合計近百個聚合請求，是本項項目落地的關(guān)鍵。

TDengine Database在本項目中運行穩(wěn)定，為項目的具體功能實現(xiàn)提供了關(guān)鍵助力。未來，隨著TDengine技術(shù)的不斷成熟穩(wěn)定，團隊準(zhǔn)備將其作為工業(yè)數(shù)據(jù)庫的存儲引擎運用在其他項目中。在接下來的產(chǎn)品線規(guī)劃上，TDengine也將作為首選的重要技術(shù)組件。