沃太能源是國內(nèi)領(lǐng)先儲(chǔ)能設(shè)備生產(chǎn)廠商，數(shù)十萬儲(chǔ)能終端遍布世界各地。此前使用 MongoDB 存儲(chǔ)時(shí)序數(shù)據(jù)，但隨著設(shè)備測(cè)點(diǎn)增加，MongoDB 在存儲(chǔ)效率、寫入性能、查詢性能等方面暴露出短板。經(jīng)過對(duì)比，沃太能源選擇了專業(yè)時(shí)序數(shù)據(jù)庫 TDengine，生產(chǎn)效能顯著提升：整體上，數(shù)據(jù)壓縮率超 10 倍、寫入性能提升 18 倍，查詢?cè)谔囟▓?chǎng)景上也實(shí)現(xiàn)了數(shù)倍的提升。同時(shí)減少了技術(shù)架構(gòu)復(fù)雜度，實(shí)現(xiàn)了零代碼數(shù)據(jù)接入。本文對(duì) TDengine 在沃太能源的應(yīng)用情況進(jìn)行詳解。

源起

在 2024 年前，我司使用 MongoDB 數(shù)據(jù)庫存儲(chǔ)時(shí)序數(shù)據(jù)，包括運(yùn)行數(shù)據(jù)、秒級(jí)數(shù)據(jù)、功率數(shù)據(jù)、能量數(shù)據(jù)、收益數(shù)據(jù)、FFR 和 FACS 數(shù)據(jù)，涉及數(shù)十萬設(shè)備的千萬測(cè)點(diǎn)數(shù)據(jù)寫入存儲(chǔ)與實(shí)時(shí)設(shè)備狀態(tài)查詢與分析。使用場(chǎng)景對(duì)數(shù)據(jù)庫性能要求高，響應(yīng)時(shí)延在毫秒級(jí)。在實(shí)際使用中，隨著接入設(shè)備測(cè)點(diǎn)的增加，MongoDB 在處理時(shí)序數(shù)據(jù)方面的局限性逐漸顯現(xiàn)：

• 存儲(chǔ)效率較低，單位數(shù)據(jù)存儲(chǔ)成本高：相較于專業(yè)時(shí)序數(shù)據(jù)庫，MongoDB 存儲(chǔ)數(shù)據(jù)壓縮率較低，在海量時(shí)序數(shù)據(jù)存儲(chǔ)時(shí)，存儲(chǔ)開銷大。且 MongoDB 尚不支持多級(jí)存儲(chǔ)，無法按數(shù)據(jù)價(jià)值，差異化使用存儲(chǔ)資源。
• 寫入性能較低，海量數(shù)據(jù)寫入時(shí)間長：對(duì)于高頻數(shù)據(jù)（毫秒級(jí)）數(shù)據(jù)寫入，MongoDB 寫入性能在秒級(jí)，很難滿足我司儲(chǔ)能設(shè)備高頻數(shù)據(jù)采集性能要求，數(shù)據(jù)產(chǎn)生速度大于數(shù)據(jù)寫入速度。
• 查詢性能較低，實(shí)時(shí)數(shù)據(jù)查詢時(shí)間長：MongoDB 對(duì)復(fù)雜查詢的支持全面，但實(shí)時(shí)查詢場(chǎng)景所需的實(shí)時(shí)數(shù)據(jù)返回，查詢性能仍不能滿足生產(chǎn)所需。
• 技術(shù)架構(gòu)復(fù)雜，實(shí)時(shí)場(chǎng)景技術(shù)棧復(fù)雜：因 MongoDB 實(shí)時(shí)處理能力有限，故在技術(shù)架構(gòu)設(shè)計(jì)時(shí)，需要引入 Redis，來滿足實(shí)時(shí)查詢需求。技術(shù)環(huán)節(jié)多，數(shù)據(jù)流轉(zhuǎn)復(fù)雜，增加應(yīng)用開發(fā)與技術(shù)管理復(fù)雜度。

探索

針對(duì)實(shí)時(shí)場(chǎng)景痛點(diǎn)，我司開始進(jìn)行專業(yè)時(shí)序數(shù)據(jù)庫選型，要求存儲(chǔ)成本低、寫入速度快，查詢實(shí)時(shí)返回，并期望有效降低架構(gòu)復(fù)雜度。經(jīng)對(duì)市場(chǎng)多款時(shí)序數(shù)據(jù)庫調(diào)研，我司從技術(shù)可控、降本增效、架構(gòu)簡(jiǎn)潔、性能優(yōu)越、生態(tài)豐富五個(gè)維度進(jìn)行對(duì)比，最終比選出濤思數(shù)據(jù)的 TDengine 作為我司實(shí)時(shí)數(shù)據(jù)基礎(chǔ)數(shù)據(jù)庫平臺(tái)。

落地

我司 IT 團(tuán)隊(duì)與 TDengine 服務(wù)團(tuán)隊(duì)組成的項(xiàng)目實(shí)施團(tuán)隊(duì)，經(jīng)過近三個(gè)月的協(xié)同工作，分階段完成集群部署、MongoDB 數(shù)據(jù)遷移、數(shù)據(jù)庫調(diào)優(yōu)，以及生產(chǎn)割接，最終完成了我司時(shí)序數(shù)據(jù)處理基礎(chǔ)架構(gòu)從 MongoDB 向 TDengine 的遷移，在各方面均達(dá)成了項(xiàng)目預(yù)期目標(biāo)。

例如：在設(shè)備綜合信息查詢場(chǎng)景，需要對(duì)具有 231 列的綜合數(shù)據(jù)信息表，在億級(jí)數(shù)據(jù)中查詢某單一設(shè)備綜合信息。此表存儲(chǔ)設(shè)備的電壓、電流、功率等信息。

使用 TDengine 后，單設(shè)備全天數(shù)據(jù)查詢時(shí)間縮短至十幾毫秒，單位時(shí)間業(yè)務(wù)數(shù)據(jù)查詢效率提升明顯，提升下游實(shí)時(shí)數(shù)據(jù)應(yīng)用對(duì)客體驗(yàn)。

另外就是存儲(chǔ)方面，TDengine 優(yōu)秀的時(shí)序數(shù)據(jù)壓縮效率，大大提升了我司數(shù)據(jù)的存儲(chǔ)能力，壓縮率達(dá)到 10 倍以上，相比舊有的 MongoDB，在硬件資源上有明顯的成本下降。

創(chuàng)新

在 TDengine 企業(yè)版工具中，提供零代碼數(shù)據(jù)接入組件 taosX，可以通過界面配置接入 Kakfa 等三方數(shù)據(jù)源數(shù)據(jù)。我司應(yīng)用 taosX，直接對(duì)接 Kafka 消息，寫入數(shù)據(jù)至 TDengine，減少了系統(tǒng)復(fù)雜度，同時(shí)也降低了人力投入。

另我司基于 TDengine 時(shí)序數(shù)據(jù)查詢的優(yōu)越性能，遷移原 Redis 實(shí)時(shí)報(bào)表數(shù)據(jù)應(yīng)用至 TDengine，實(shí)踐效果完全滿足生產(chǎn)性能要求，驗(yàn)證了 TDengine 可以在部分實(shí)時(shí)場(chǎng)景替代 Redis 實(shí)時(shí)數(shù)據(jù)查詢功能。

展望

TDengine 在實(shí)時(shí)場(chǎng)景的投產(chǎn)成功，增強(qiáng)了我司實(shí)時(shí)數(shù)據(jù)處理能力，更高效地服務(wù)于廣大沃太儲(chǔ)能客戶。下一步，我司計(jì)劃進(jìn)一步擴(kuò)大 TDengine 應(yīng)用承載范圍，應(yīng)用 TDengine 新發(fā)布的 TDgpt 與虛擬表等功能，深化時(shí)序數(shù)據(jù)應(yīng)用場(chǎng)景，更好地服務(wù)于我司內(nèi)外部客戶。

關(guān)于沃太能源

沃太能源股份有限公司自 2012 年成立以來專注于儲(chǔ)能產(chǎn)品的研發(fā)、生產(chǎn)和銷售，掌握 BMS、EMS、系統(tǒng)集成、云管理平臺(tái)等儲(chǔ)能核心控制技術(shù)，是行業(yè)領(lǐng)先的全功率段儲(chǔ)能系統(tǒng)提供商，致力于為家庭、 工商業(yè)園區(qū)、電網(wǎng)、發(fā)電站、電力公司等提供綜合的新能源智慧解決方案。

公司擁有國家級(jí)“專精特新”重點(diǎn)小巨人、國家高新技術(shù)企業(yè)認(rèn)證、國家知識(shí)產(chǎn)權(quán)示范企業(yè)等多項(xiàng)榮譽(yù)，主要產(chǎn)品涵蓋微型、戶用、工商業(yè)和大型四大儲(chǔ)能核心領(lǐng)域，廣泛應(yīng)用于電力系統(tǒng)的發(fā)電、輸電、配電、用電等環(huán)節(jié)，可幫助降低用電成本、 提高新能源電力使用率、減少碳排放，為可持續(xù)發(fā)展做出積極貢獻(xiàn)。

關(guān)于作者

沃太能源云平臺(tái)開發(fā)部主要負(fù)責(zé) Alpha 儲(chǔ)能平臺(tái)的軟件、通訊以及物聯(lián)網(wǎng)平臺(tái)開發(fā)，實(shí)現(xiàn)儲(chǔ)能系統(tǒng)與設(shè)備的互聯(lián)互通，提供能源管理、數(shù)據(jù)分析及遠(yuǎn)程管控等功能，實(shí)現(xiàn)儲(chǔ)能平臺(tái)數(shù)智化運(yùn)營。