在當(dāng)今數(shù)字化轉(zhuǎn)型加速的背景下，海量的數(shù)據(jù)生成和實(shí)時(shí)處理需求已成為企業(yè)面臨的關(guān)鍵挑戰(zhàn)。無論是物聯(lián)網(wǎng)設(shè)備、工業(yè)自動(dòng)化系統(tǒng)，還是智能城市的各類傳感器，數(shù)據(jù)的采集、傳輸與分析效率，直接影響企業(yè)的決策與運(yùn)營。為此，TDengine 推出的邊云協(xié)同解決方案，通過將計(jì)算和存儲(chǔ)分布在邊緣和云端，提供高效的數(shù)據(jù)管理和實(shí)時(shí)處理能力，幫助企業(yè)在降低成本的同時(shí)，實(shí)現(xiàn)更靈活、更高效的業(yè)務(wù)運(yùn)營。本篇文章將幫助大家深入了解這一解決方案的核心技術(shù)及其應(yīng)用場(chǎng)景，以及它如何為企業(yè)帶來創(chuàng)新和價(jià)值。

為什么需要邊云協(xié)同？

在工業(yè)互聯(lián)網(wǎng)中，邊緣設(shè)備的作用是對(duì)本地生產(chǎn)數(shù)據(jù)進(jìn)行實(shí)時(shí)監(jiān)控和處理，但這只能為決策者提供局部視角，無法形成全局的認(rèn)知。為了做出全面、準(zhǔn)確的決策，邊緣設(shè)備采集的數(shù)據(jù)需要上傳至云端平臺(tái)（無論是公有云還是私有云）。在云端，數(shù)據(jù)不僅可以被匯聚，還能通過更強(qiáng)大的計(jì)算資源進(jìn)行融合和分析，從而為管理者提供對(duì)整個(gè)生產(chǎn)系統(tǒng)的宏觀洞察。

邊云協(xié)同架構(gòu)由此應(yīng)運(yùn)而生，它成為工業(yè)互聯(lián)網(wǎng)中不可或缺的支柱，尤其是在需要同時(shí)兼顧數(shù)據(jù)實(shí)時(shí)性和全局視角的復(fù)雜場(chǎng)景中。邊緣設(shè)備通常負(fù)責(zé)監(jiān)控生產(chǎn)線上某一項(xiàng)或某幾項(xiàng)關(guān)鍵指標(biāo)，如車間內(nèi)的生產(chǎn)進(jìn)度、設(shè)備運(yùn)行狀態(tài)等，并對(duì)異常情況進(jìn)行及時(shí)告警。邊緣設(shè)備在采集和處理這些數(shù)據(jù)后，會(huì)將其傳輸?shù)皆贫说拇髷?shù)據(jù)平臺(tái)。此時(shí)，邊緣設(shè)備可以保證數(shù)據(jù)的實(shí)時(shí)性，云端則利用更強(qiáng)大的計(jì)算能力對(duì)這些分散的數(shù)據(jù)進(jìn)行匯總、分析和深度挖掘。

然而，隨著邊緣設(shè)備的數(shù)量迅速增長，數(shù)據(jù)量也呈爆炸式增長。在這種情況下，要讓系統(tǒng)高效運(yùn)行，邊云協(xié)同的數(shù)據(jù)庫或數(shù)據(jù)存儲(chǔ)系統(tǒng)需要具備選擇性上報(bào)和數(shù)據(jù)降采樣的功能。例如，邊緣設(shè)備可能每秒鐘采集一次數(shù)據(jù)，但為了減輕數(shù)據(jù)傳輸和存儲(chǔ)的壓力，可以選擇只上傳經(jīng)過降采樣的數(shù)據(jù)，將采集頻率從一秒降為一分鐘。這不僅減少了數(shù)據(jù)量，還保留了足夠的信息，用于長期的趨勢(shì)分析和預(yù)測(cè)模型。

此外，邊云協(xié)同的需求還源于傳統(tǒng)工業(yè)數(shù)據(jù)采集系統(tǒng)的局限性。傳統(tǒng)的系統(tǒng)通常依賴于從 PLC（可編程邏輯控制器）采集數(shù)據(jù)，并通過工業(yè)實(shí)時(shí)數(shù)據(jù)庫進(jìn)行處理。這類系統(tǒng)往往采用主備架構(gòu)，擴(kuò)展性差，且依賴于特定的操作系統(tǒng)和軟硬件生態(tài)，導(dǎo)致整個(gè)系統(tǒng)的封閉性較高，靈活性和可擴(kuò)展性有限。

相比之下，邊云協(xié)同架構(gòu)的優(yōu)勢(shì)在于它的高度靈活性和可擴(kuò)展性，能夠在邊緣和云端實(shí)現(xiàn)數(shù)據(jù)的分層處理。邊緣設(shè)備處理實(shí)時(shí)數(shù)據(jù)，快速響應(yīng)現(xiàn)場(chǎng)需求，而云端則通過強(qiáng)大的計(jì)算能力進(jìn)行數(shù)據(jù)整合和分析，為管理層提供全局的決策支持。這種架構(gòu)不僅提高了數(shù)據(jù)處理的效率，還能根據(jù)實(shí)際需求進(jìn)行靈活擴(kuò)展，適應(yīng)不同規(guī)模的企業(yè)和應(yīng)用場(chǎng)景。

TDengine 的邊云協(xié)同解決方案

正如前文所說，在工業(yè)互聯(lián)網(wǎng)和制造業(yè)場(chǎng)景中，實(shí)時(shí)、高效的數(shù)據(jù)同步是企業(yè)優(yōu)化運(yùn)營、提升決策能力的關(guān)鍵。在此背景下，TDengine Enterprise（企業(yè)版）憑借強(qiáng)大的邊云協(xié)同功能，為工業(yè)企業(yè)提供了一個(gè)靈活且高效的數(shù)據(jù)處理解決方案。通過該方案，企業(yè)可以實(shí)現(xiàn)邊緣側(cè)與云端之間的數(shù)據(jù)無縫協(xié)作，滿足各種復(fù)雜業(yè)務(wù)場(chǎng)景的需求。

TDengine Enterprise 的邊云協(xié)同解決方案具備以下幾大核心特性：

高效數(shù)據(jù)同步

支持每秒數(shù)百萬條數(shù)據(jù)的高速同步能力，確保在邊緣設(shè)備和云端平臺(tái)之間的數(shù)據(jù)傳輸既快速又穩(wěn)定，無論是在工業(yè)物聯(lián)網(wǎng)設(shè)備密集的現(xiàn)場(chǎng)，還是云端的分析平臺(tái)，都能保持?jǐn)?shù)據(jù)的實(shí)時(shí)同步。

多數(shù)據(jù)源兼容性

TDengine Enterprise 提供了廣泛的數(shù)據(jù)源對(duì)接能力，支持主流工業(yè)協(xié)議和標(biāo)準(zhǔn)如 AVEVA PI System、OPC-UA、OPC-DA、MQTT 等，實(shí)現(xiàn)對(duì)多種外部系統(tǒng)的數(shù)據(jù)接入。這種兼容性極大擴(kuò)展了其應(yīng)用場(chǎng)景，無論是傳統(tǒng)的工業(yè)系統(tǒng)還是新興的物聯(lián)網(wǎng)平臺(tái)，都能輕松接入。

靈活的同步規(guī)則配置

用戶可以根據(jù)實(shí)際業(yè)務(wù)需求配置數(shù)據(jù)同步規(guī)則，實(shí)現(xiàn)對(duì)數(shù)據(jù)同步策略的高度定制化。無論是降采樣、按條件篩選，還是選擇性同步不同級(jí)別的關(guān)鍵信息，TDengine Enterprise 都能通過配置滿足企業(yè)對(duì)數(shù)據(jù)的不同要求，確保同步的數(shù)據(jù)不僅有效，而且最為相關(guān)。

斷線續(xù)傳與重新訂閱

在復(fù)雜的工業(yè)環(huán)境中，網(wǎng)絡(luò)穩(wěn)定性往往難以保障。TDengine Enterprise 支持?jǐn)嗑€續(xù)傳和重新訂閱功能，確保即使在網(wǎng)絡(luò)中斷時(shí)，數(shù)據(jù)的同步也不會(huì)丟失，系統(tǒng)能夠在網(wǎng)絡(luò)恢復(fù)后繼續(xù)完成未完成的傳輸任務(wù)，保證數(shù)據(jù)完整性。

歷史數(shù)據(jù)遷移

當(dāng)企業(yè)需要進(jìn)行系統(tǒng)升級(jí)或更換時(shí)，TDengine Enterprise 提供了便捷的歷史數(shù)據(jù)遷移功能。用戶可以輕松將歷史數(shù)據(jù)從舊系統(tǒng)無縫遷移到新系統(tǒng)，確保數(shù)據(jù)的持續(xù)性和一致性，避免因系統(tǒng)變更而造成的數(shù)據(jù)丟失或不兼容問題。

此外，TDengine Enterprise 的數(shù)據(jù)訂閱功能賦予用戶極大的靈活性。用戶可以根據(jù)業(yè)務(wù)需求自由選擇訂閱的數(shù)據(jù)范圍，無論是單個(gè)數(shù)據(jù)庫、一張超級(jí)表，甚至是帶有篩選條件的查詢語句，均可實(shí)現(xiàn)選擇性的同步。通過這種方式，用戶可以將真正關(guān)心的數(shù)據(jù)，如離線數(shù)據(jù)或亂序數(shù)據(jù)，從邊緣側(cè)同步到云端或其他集群，最大限度地優(yōu)化數(shù)據(jù)傳輸效率，減少帶寬占用和資源浪費(fèi)。

在實(shí)際的工業(yè)場(chǎng)景中，比如一個(gè)生產(chǎn)車間（以下圖為例），TDengine Enterprise 可以高效地實(shí)現(xiàn)邊云協(xié)同架構(gòu)的應(yīng)用。生產(chǎn)車間內(nèi)的設(shè)備產(chǎn)生的實(shí)時(shí)數(shù)據(jù)存儲(chǔ)在邊緣側(cè)的 TDengine 中。隨后，部署在分廠的 TDengine 會(huì)訂閱車間的生產(chǎn)數(shù)據(jù)，并根據(jù)業(yè)務(wù)需求靈活配置同步規(guī)則，如降采樣或僅同步超出閾值的數(shù)據(jù)。同理，集團(tuán)總部的 TDengine 會(huì)進(jìn)一步訂閱各個(gè)分廠的數(shù)據(jù)，完成集團(tuán)維度的數(shù)據(jù)匯總和分析。這種多層次、分級(jí)的數(shù)據(jù)同步架構(gòu)，保證了從生產(chǎn)車間到集團(tuán)總部的數(shù)據(jù)流動(dòng)高效、實(shí)時(shí)且具備業(yè)務(wù)相關(guān)性。

與傳統(tǒng)的離線數(shù)據(jù)同步方式相比，TDengine Enterprise 提供了多項(xiàng)顯著的優(yōu)勢(shì)：

• 零代碼配置：無需編寫復(fù)雜的代碼，用戶只需通過簡(jiǎn)單的配置即可實(shí)現(xiàn)邊緣和云端的數(shù)據(jù)同步。
• 自動(dòng)化程度高：跨區(qū)域的數(shù)據(jù)同步可以自動(dòng)完成，減少了手動(dòng)操作中的出錯(cuò)率，顯著提高了運(yùn)維效率。
• 無緩存需求：TDengine 通過優(yōu)化傳輸機(jī)制，避免了大批量數(shù)據(jù)同步時(shí)帶來的網(wǎng)絡(luò)帶寬阻塞問題，使數(shù)據(jù)傳輸更加平滑、高效。
• 靈活、實(shí)時(shí)的數(shù)據(jù)同步：通過數(shù)據(jù)訂閱方式實(shí)現(xiàn)的同步支持規(guī)則配置，能夠根據(jù)具體業(yè)務(wù)需求靈活調(diào)整數(shù)據(jù)的傳輸頻率和內(nèi)容。
• 統(tǒng)一的數(shù)據(jù)模型：邊緣側(cè)和云端均使用 TDengine，確保了數(shù)據(jù)模型的一致性，大大降低了數(shù)據(jù)治理的復(fù)雜度，提升了管理效率。

針對(duì)制造業(yè)企業(yè)普遍面臨的數(shù)據(jù)同步挑戰(zhàn)，TDengine Enterprise 提供了一個(gè)具備實(shí)時(shí)性、靈活性和高效性的解決方案，尤其是在大規(guī)模數(shù)據(jù)同步和網(wǎng)絡(luò)環(huán)境復(fù)雜的情況下，極大優(yōu)化了數(shù)據(jù)傳輸?shù)男屎头€(wěn)定性，避免了傳統(tǒng)方式中定期傳輸大數(shù)據(jù)量所導(dǎo)致的資源浪費(fèi)和帶寬擁堵問題。

邊云協(xié)同在某大型油田項(xiàng)目中的應(yīng)用

在某大型油田的生產(chǎn)管理項(xiàng)目中，用戶需要集成多個(gè)系統(tǒng)，如自動(dòng)化數(shù)據(jù)采集與控制、生產(chǎn)視頻監(jiān)控、工業(yè)物聯(lián)網(wǎng)、生產(chǎn)數(shù)據(jù)服務(wù)和智能化生產(chǎn)管理等，同時(shí)也需要建設(shè)各環(huán)節(jié)的信息化采集標(biāo)準(zhǔn)。然而，隨著時(shí)間推移，項(xiàng)目中原先使用的 Oracle 系統(tǒng)在應(yīng)對(duì)大規(guī)模時(shí)序數(shù)據(jù)的存儲(chǔ)和處理時(shí)，逐漸暴露出一些瓶頸問題：

1. 在面對(duì)復(fù)雜查詢和大數(shù)據(jù)集的聚合時(shí)，寫入和查詢效率顯著下降，系統(tǒng)性能逐漸衰減；
2. 隨著數(shù)據(jù)量的不斷增加，磁盤空間壓力增大，運(yùn)維成本日益增加；
3. 在分布式企業(yè)管理模式下，數(shù)據(jù)協(xié)同效率較低，難以滿足企業(yè)快速增長的業(yè)務(wù)需求。

為了解決這些問題，該項(xiàng)目團(tuán)隊(duì)對(duì)多種技術(shù)方案進(jìn)行了深入的驗(yàn)證，最終選擇將 Oracle 系統(tǒng)中的時(shí)序數(shù)據(jù)存儲(chǔ)切換至 TDengine，并借助其邊云協(xié)同技術(shù)，實(shí)現(xiàn)了邊緣側(cè)數(shù)據(jù)到云端的實(shí)時(shí)匯聚與同步。

具體實(shí)施方案中，多個(gè)不同的 TDengine 服務(wù)將全量的歷史數(shù)據(jù)及后續(xù)產(chǎn)生的數(shù)據(jù)實(shí)時(shí)同步至云端 TDengine。TDengine 的核心組件之一——taosX，只需在數(shù)據(jù)接收方部署，并通過一條簡(jiǎn)單的命令，即可完成包括歷史數(shù)據(jù)遷移、實(shí)時(shí)同步及兩者混合的處理流程。

例如，使用以下命令可以將某臺(tái)服務(wù)器的?db1?歷史數(shù)據(jù)及實(shí)時(shí)數(shù)據(jù)同步到本地的?db2?數(shù)據(jù)庫：

taosx?run -f 'taos://192.168.1.101:6030/db1?mode=all' -t 'taos://localhost:6030/db2' -v

此外，taosX 還支持基于 TDengine 的 WAL 日志進(jìn)行數(shù)據(jù)訂閱，通過事件驅(qū)動(dòng)順序處理數(shù)據(jù)。無論是實(shí)時(shí)數(shù)據(jù)的插入，還是歷史數(shù)據(jù)的補(bǔ)錄，所有數(shù)據(jù)都能夠?qū)崟r(shí)同步到目標(biāo)集群，確保數(shù)據(jù)完整性和時(shí)效性。

實(shí)施該方案后，多個(gè) TDengine 服務(wù)實(shí)現(xiàn)了跨省數(shù)據(jù)實(shí)時(shí)同步，將邊緣數(shù)據(jù)匯聚至云端總部集群。當(dāng)前總部集群存儲(chǔ)的數(shù)據(jù)量已經(jīng)達(dá)到 36 TB，總數(shù)據(jù)量超過 1034 億條，數(shù)據(jù)壓縮率控制在 10% 以內(nèi)。通過 TDengine 的高效壓縮技術(shù)，大幅節(jié)省了存儲(chǔ)資源。

自項(xiàng)目將 Oracle 切換為 TDengine 后，優(yōu)化效果顯著，主要體現(xiàn)在以下幾方面：

1. 數(shù)據(jù)寫入性能大幅提升，硬件資源占用減少，系統(tǒng)運(yùn)行更加高效；
2. 集群支持在線水平擴(kuò)展，能夠輕松應(yīng)對(duì)未來的擴(kuò)展需求，提升了系統(tǒng)靈活性；
3. 靈活的數(shù)據(jù)生命周期管理，便于過期數(shù)據(jù)的自動(dòng)清理和歸檔，簡(jiǎn)化了數(shù)據(jù)管理流程；
4. 秒級(jí) 500 萬測(cè)點(diǎn)的同步速率，有效滿足了該項(xiàng)目對(duì)邊云協(xié)同場(chǎng)景的高實(shí)時(shí)性需求。

通過 TDengine 邊云協(xié)同解決方案的應(yīng)用，該油田項(xiàng)目實(shí)現(xiàn)了對(duì)海量時(shí)序數(shù)據(jù)的高效管理和實(shí)時(shí)處理，解決了原有系統(tǒng)性能瓶頸問題，為未來的擴(kuò)展和智能化生產(chǎn)奠定了堅(jiān)實(shí)基礎(chǔ)。

結(jié)語

TDengine 邊云協(xié)同解決方案憑借其高效的數(shù)據(jù)同步能力、靈活的配置機(jī)制和強(qiáng)大的實(shí)時(shí)處理性能，成為應(yīng)對(duì)工業(yè)互聯(lián)網(wǎng)場(chǎng)景下數(shù)據(jù)管理挑戰(zhàn)的有力工具。通過統(tǒng)一的邊云架構(gòu)，時(shí)序數(shù)據(jù)庫 TDengine 能夠在滿足邊緣側(cè)實(shí)時(shí)處理需求的同時(shí)，將大量數(shù)據(jù)高效匯聚至云端，幫助企業(yè)在數(shù)據(jù)分析和決策上實(shí)現(xiàn)全局視角。希望本文能夠幫助企業(yè)更好地理解邊云協(xié)同技術(shù)的優(yōu)勢(shì)，并為其未來的數(shù)字化轉(zhuǎn)型和智能化生產(chǎn)提供有價(jià)值的參考。