易永耀 夏杭泰 鄧煒興｜數(shù)益工聯(lián)

公司介紹

數(shù)益工聯(lián)致力于打造基于數(shù)據(jù)流+價值流的離散制造業(yè)數(shù)字化軟件；應(yīng)用新一代的物聯(lián)網(wǎng)技術(shù)與豐富的現(xiàn)場交互手段，融合工業(yè)工程精益思想，為離散制造業(yè)客戶的數(shù)字化升級提供從規(guī)劃到實施落地的端到端工廠級解決方案；打造行業(yè)與客戶的工業(yè)數(shù)據(jù)平臺，持續(xù)提供數(shù)據(jù)智能服務(wù)。核心團(tuán)隊來自清華大學(xué)等知名院校，同時擁有深厚的制造業(yè)精益運營管理能力和豐富的數(shù)字化工廠成功經(jīng)驗。團(tuán)隊以IE+IT為核心能力，實現(xiàn)產(chǎn)品和技術(shù)的雙輪驅(qū)動，旨在服務(wù)離散制造業(yè)客戶通過數(shù)字化顯著改善質(zhì)量管理水平、提升企業(yè)生產(chǎn)效率、降低制造成本。

業(yè)務(wù)場景

工業(yè)設(shè)備物聯(lián)采集是數(shù)字化工廠建設(shè)的基礎(chǔ)，設(shè)備在運行過程中會產(chǎn)生大量有價值的數(shù)據(jù)，例如：設(shè)備狀態(tài)、實時工藝參數(shù)、合格報廢數(shù)量、生產(chǎn)節(jié)拍、異常報警信息等，設(shè)備物聯(lián)采集可以為后續(xù)的數(shù)據(jù)分析挖掘提供最基礎(chǔ)、透明、可靠的數(shù)據(jù)來源。

目前我們的客戶，其設(shè)備的主要特點是：

• 設(shè)備類型繁多，不同類設(shè)備的通訊接口、采集協(xié)議、采集參數(shù)各不相同
• 單個工廠的設(shè)備數(shù)量：幾十至幾千
• 單臺設(shè)備的采集參數(shù)數(shù)量：幾十至幾百
• 采集頻次的基本要求：每秒采集一次，支持變化上報
• 參數(shù)類型包含：數(shù)值、文本

我們對自研工業(yè)物聯(lián)采集平臺的定位是：可對物聯(lián)數(shù)據(jù)進(jìn)行采集、存儲和查詢，可用于單個工廠或多個工廠的設(shè)備物聯(lián)采集。

需要支持的特性：

• 功能穩(wěn)定
• 高效的數(shù)據(jù)寫入
• 高效的數(shù)據(jù)查詢，包括最新數(shù)據(jù)和歷史數(shù)據(jù)
• 可云化部署
• 可私有化部署
• 線性擴展
• 高可用
• 便于連接大數(shù)據(jù)平臺

不需要支持的特性：

• 修改/刪除數(shù)據(jù)
• 數(shù)據(jù)分析

技術(shù)選型

基于業(yè)務(wù)場景的需求，我們選擇時序數(shù)據(jù)庫（Time-Series Database）作為物聯(lián)采集平臺的核心組件，并調(diào)研了幾款產(chǎn)品：InfluxDB、OpenTSDB和TDengine。

• InfluxDB：應(yīng)用最廣泛，穩(wěn)定性高。劣勢是集群版不開源，需要付費，性能不突出。
• OpenTSDB：基于HBase，擴容方便。劣勢是壓縮比較低，存儲空間大。
• TDengine：性能強大，部署簡單，集群版已開源，社區(qū)活躍，國內(nèi)產(chǎn)品。超級表的設(shè)計，與設(shè)備類型的概念完美契合，聚合查詢非常方便。劣勢是推出時間較短，產(chǎn)品比較年輕。

對比之后，我們最終選擇了TDengine Database這款性能出眾、潛力巨大的產(chǎn)品。通過充分的測試和驗證，可以彌補劣勢。

技術(shù)架構(gòu)

我們使用TDengine Database存儲兩類數(shù)據(jù)：

• 原始的設(shè)備物聯(lián)數(shù)據(jù)。同類設(shè)備使用同一個超級表。
• 與業(yè)務(wù)有關(guān)聯(lián)的設(shè)備物聯(lián)數(shù)據(jù)，經(jīng)處理后再存入。同類業(yè)務(wù)使用同一個超級表。

物聯(lián)采集相關(guān)的架構(gòu)如下：

工控機是設(shè)備與物聯(lián)采集平臺之間的重要樞紐，根據(jù)設(shè)備管理模塊下發(fā)的配置，將各類設(shè)備的物聯(lián)數(shù)據(jù)轉(zhuǎn)化為統(tǒng)一的格式，加密后上報給物聯(lián)采集平臺。

物聯(lián)采集平臺接收到數(shù)據(jù)后，根據(jù)數(shù)據(jù)類型進(jìn)行分發(fā)。原始數(shù)據(jù)直接存入TDengine；部分類型的數(shù)據(jù)推送到Kafka或者是RabbitMQ中，經(jīng)業(yè)務(wù)處理后再存入TDengine。

使用體驗

TDengine的寫入和查詢的效率非常高，平均在10ms以內(nèi)，性能完全滿足我們的要求。給人印象最深刻的是超強的數(shù)據(jù)壓縮能力，以某個客戶的數(shù)據(jù)情況為例：運行一個月時間，產(chǎn)生約3.2億條記錄的數(shù)據(jù)，每條記錄包含約800列，實際占用的磁盤空間竟然不到30G。

問題解決

在使用過程中，也遇到過些許問題，例如部分?jǐn)?shù)據(jù)在超級表中可以正常查詢到，但是無法通過子表查詢到。

我們聯(lián)系了濤思數(shù)據(jù)的技術(shù)支持，濤思很快就協(xié)調(diào)了開發(fā)資源進(jìn)行問題排查，甚至是通宵處理，最終定位到了原因：我們通過連接池的方式連接TDengine，并進(jìn)行較為頻繁的show tables操作，以測試連接是否正常，該頻繁操作最終觸發(fā)TDengine內(nèi)部的異常。發(fā)布新版本后該問題得到解決，我們也減少了不必要的show tables操作。

非常感謝濤思數(shù)據(jù)的工程師，非常熱誠，及時高效地幫助我們解決了問題！

未來期望

TDengine是個年輕又充滿活力的產(chǎn)品，在工業(yè)物聯(lián)領(lǐng)域具有非常大的價值。

希望濤思數(shù)據(jù)在未來可以推出更友好的開發(fā)和運維工具，也非常希望能在開源社區(qū)推出一個相對穩(wěn)定、兼容性較好的版本。