背景和痛點(diǎn)

MES 系統(tǒng)在持續(xù)擴(kuò)展和深度應(yīng)用的過(guò)程中，出現(xiàn)了系統(tǒng)穩(wěn)定性差，數(shù)據(jù)采集系統(tǒng)異常等情況，主要體現(xiàn)在以下幾個(gè)方面：

1. 維護(hù)成本高，擴(kuò)展能力差

Wonderware 平臺(tái)按年收取維護(hù)費(fèi)用，采用按組件和授權(quán)等級(jí)計(jì)費(fèi)的模式，且不支持一次性買(mǎi)斷，軟件升級(jí)也需額外付費(fèi)，整體成本高昂。由于版本較舊，部分技術(shù)問(wèn)題難以及時(shí)解決，影響系統(tǒng)穩(wěn)定性和生產(chǎn)效率，限制了企業(yè)在信息化和智能化方向上的持續(xù)創(chuàng)新。

2. 部署發(fā)布效率低

原有 Wonderware 平臺(tái)采用傳統(tǒng) CS 架構(gòu)，需要專門(mén)的客戶端安裝程序，部署與配置效率低，分布式能力不足。一旦系統(tǒng)需要更新，需對(duì)每臺(tái)服務(wù)器和操作站逐一操作，導(dǎo)致維護(hù)負(fù)擔(dān)大、響應(yīng)速度慢。

3. 存儲(chǔ)點(diǎn)數(shù)受限

現(xiàn)有需要采集和存儲(chǔ)的數(shù)據(jù)點(diǎn)大約有 30W+，而 Wonderware 歷史數(shù)據(jù)的存儲(chǔ)能力有限，無(wú)法支撐未來(lái)大規(guī)模數(shù)據(jù)分析和信息化升級(jí)需求，成為發(fā)展瓶頸。

4. 對(duì)外接口單一

接口設(shè)計(jì)不夠靈活，當(dāng)訪問(wèn)數(shù)量過(guò)大，訪問(wèn)客戶端鏈接過(guò)多，系統(tǒng)資源就容易被堵塞，直接影響實(shí)時(shí)數(shù)據(jù)的寫(xiě)入和查詢性能，降低整體數(shù)據(jù)處理能力。

TDengine 帶來(lái)的 5 點(diǎn)價(jià)值

面對(duì)傳統(tǒng)架構(gòu)在成本、性能與擴(kuò)展性方面的種種瓶頸，MES 系統(tǒng)亟需一個(gè)更高效、更靈活的數(shù)據(jù)底座來(lái)支撐不斷增長(zhǎng)的生產(chǎn)數(shù)據(jù)量和智能化升級(jí)需求。經(jīng)過(guò)深入調(diào)研與測(cè)試，我們最終選擇了 TDengine 作為核心時(shí)序數(shù)據(jù)庫(kù)解決方案，其優(yōu)勢(shì)主要體現(xiàn)在以下幾個(gè)方面：

1. 成本可控，版本可持續(xù)升級(jí)：TDengine 支持永久授權(quán)模式和年費(fèi)模式，在軟件有效期內(nèi)，如客戶需對(duì)硬件升級(jí)改造，可以對(duì) TDengine 進(jìn)行軟件授權(quán)遷移，保護(hù)客戶投資，降低總體擁有成本。
2. 系統(tǒng)穩(wěn)定，彈性擴(kuò)展：作為專為時(shí)序數(shù)據(jù)設(shè)計(jì)的數(shù)據(jù)庫(kù)，TDengine 具備成熟的分布式架構(gòu)，支持在線擴(kuò)容與縮容，顯著提升系統(tǒng)的穩(wěn)定性與靈活性，部署更高效，運(yùn)維更輕松。
3. 高效存儲(chǔ)，性能卓越：TDengine 采用列式存儲(chǔ)與高效壓縮算法，大幅降低存儲(chǔ)空間占用。其寫(xiě)入能力強(qiáng)，能夠承載高頻數(shù)據(jù)寫(xiě)入需求，輕松應(yīng)對(duì)百萬(wàn)點(diǎn)位以上的數(shù)據(jù)采集與存儲(chǔ)需求。
4. 接口豐富，兼容性強(qiáng)：提供原生驅(qū)動(dòng)、REST API、WebSocket 等多種訪問(wèn)方式，支持 Java、Python、C/C++、C#、Go 等主流開(kāi)發(fā)語(yǔ)言，具備良好的多并發(fā)處理能力，滿足實(shí)時(shí)查詢與系統(tǒng)集成需求。
5. 全面支持信創(chuàng)環(huán)境：TDengine 為 100% 國(guó)產(chǎn)自主研發(fā)，核心代碼開(kāi)源，已適配麒麟、統(tǒng)信、凝思等國(guó)產(chǎn) Linux 操作系統(tǒng)，支持 x86 與 arm64 架構(gòu)，全面滿足政府與企業(yè)的信息安全及國(guó)產(chǎn)化替代要求。

TDengine 的落地實(shí)踐

在項(xiàng)目初期，MES 系統(tǒng)部署了兩節(jié)點(diǎn)的 TDengine（版本 2.4，運(yùn)行于 Ubuntu 系統(tǒng)），由 SCADA 系統(tǒng)采集設(shè)備數(shù)據(jù)并通過(guò)應(yīng)用程序?qū)懭?TDengine。環(huán)境監(jiān)測(cè)系統(tǒng)則采用了單節(jié)點(diǎn)的 TDengine 3.1 版本。

2023 年，我們對(duì)這兩套系統(tǒng)進(jìn)行了整合，統(tǒng)一為一套三節(jié)點(diǎn)的 TDengine 集群，版本升級(jí)至 3.3，操作系統(tǒng)同步切換為國(guó)產(chǎn)麒麟。系統(tǒng)整合后，進(jìn)一步提升了數(shù)據(jù)處理能力和系統(tǒng)穩(wěn)定性，更好地支撐了生產(chǎn)、監(jiān)測(cè)等核心業(yè)務(wù)。

在建模方面，我們采用“1 個(gè)點(diǎn)位對(duì)應(yīng) 1 張子表”的方式，實(shí)時(shí)存儲(chǔ)來(lái)自卷煙機(jī)、包裝機(jī)、濾棒成型機(jī)、切片機(jī)、加料機(jī)等制絲生產(chǎn)設(shè)備的數(shù)據(jù)，目前接入設(shè)備已超過(guò) 10 萬(wàn)臺(tái)，且仍在持續(xù)增長(zhǎng)中。這些數(shù)據(jù)既可用于實(shí)時(shí)查詢關(guān)鍵工藝參數(shù)（如水分、溫度等），也可用于分析當(dāng)班生產(chǎn)產(chǎn)量、剔除情況等，為生產(chǎn)管理提供可靠的數(shù)據(jù)支撐。

新集群由 3 臺(tái)物理主機(jī)組成，每臺(tái)主機(jī)配置如下：

• CPU：64核
• 內(nèi)存：128GB
• 磁盤(pán)空間：20TB

在建庫(kù)時(shí)，我們采用了 3 副本策略，有效保障了數(shù)據(jù)的冗余性和系統(tǒng)的高可用性。在完成歷史數(shù)據(jù)平穩(wěn)遷移后，數(shù)據(jù)采集程序與上層應(yīng)用系統(tǒng)也順利完成切換。

系統(tǒng)架構(gòu)圖:

從架構(gòu)圖中可以看出，采集到的時(shí)序數(shù)據(jù)隨后被寫(xiě)入 TDengine 進(jìn)行持久化存儲(chǔ)。

落地效果

目前，TDengine 集群已成功接入 SCADA 系統(tǒng)采集的 10 萬(wàn)多個(gè)點(diǎn)位，累計(jì)存儲(chǔ) 3 年歷史數(shù)據(jù)，共計(jì) 1.8 萬(wàn)億條記錄，僅占用整體存儲(chǔ)空間的 30%，預(yù)計(jì)可支撐 8 至 10 年的數(shù)據(jù)保存需求。

集群的存儲(chǔ)空間可根據(jù)需要進(jìn)行動(dòng)態(tài)擴(kuò)展，滿足后期更多設(shè)備點(diǎn)位數(shù)據(jù)采集上來(lái)的存儲(chǔ)需求。本項(xiàng)目已驗(yàn)證 TDengine 在煙草工業(yè)海量時(shí)序數(shù)據(jù)處理中的適用性，為行業(yè)數(shù)字化轉(zhuǎn)型提供了可復(fù)用的技術(shù)路徑。

運(yùn)行優(yōu)化與問(wèn)題解決

在使用 TDengine 的過(guò)程中，曾一度發(fā)現(xiàn)存儲(chǔ)空間增長(zhǎng)較快。經(jīng)濤思數(shù)據(jù)售后團(tuán)隊(duì)協(xié)助分析，確認(rèn)是由于應(yīng)用程序?qū)懭霘v史數(shù)據(jù)，導(dǎo)致數(shù)據(jù)文件中出現(xiàn)空洞和存儲(chǔ)放大等問(wèn)題。這不僅降低了存儲(chǔ)效率，也影響了查詢性能。

為解決這一問(wèn)題，項(xiàng)目團(tuán)隊(duì)啟用了 TDengine 企業(yè)版提供的數(shù)據(jù)重整功能（data compact）。該功能能夠重新整理存儲(chǔ)的數(shù)據(jù)文件，刪除其中的空洞和無(wú)效數(shù)據(jù)，從而提高數(shù)據(jù)的組織度，進(jìn)而提升存儲(chǔ)和查詢效率。

具體排查與優(yōu)化操作如下：

• 系統(tǒng)監(jiān)控顯示存儲(chǔ)空間增長(zhǎng)異常，占用了 75% 空間。

• 經(jīng)過(guò)檢查文件編號(hào)和更新日期，發(fā)現(xiàn)某單個(gè)數(shù)據(jù)文件大小和寫(xiě)入日期異常，可以判斷是應(yīng)用側(cè)寫(xiě)入了大量歷史數(shù)據(jù)，導(dǎo)致存儲(chǔ)放大。

• 手動(dòng)執(zhí)行 compact database 后，存儲(chǔ)空間使用恢復(fù)正常，性能也得到了大幅度的提升。

未來(lái)規(guī)劃與升級(jí)方向

當(dāng)前系統(tǒng)采用“一個(gè)點(diǎn)位一張表”的單列模型，便于數(shù)據(jù)采集與管理。然而，在實(shí)際查詢過(guò)程中，采用寬表多列模型更為方便，尤其是在跨點(diǎn)位、跨表的分析場(chǎng)景下，該模型存在一定的局限性。例如，跨表查詢需依賴復(fù)雜的 JOIN 語(yǔ)句和多次拼接操作，數(shù)據(jù)按時(shí)間戳對(duì)齊效率低，查詢延遲明顯。

為解決上述問(wèn)題，TDengine 在 3.3.6 版本中引入了虛擬表功能，真正實(shí)現(xiàn)了“一個(gè)設(shè)備一張表”的設(shè)計(jì)理念。具備以下優(yōu)勢(shì)：

• 更簡(jiǎn)單：用戶無(wú)需編寫(xiě)復(fù)雜 JOIN + 嵌套查詢語(yǔ)句，通過(guò)虛擬表直接獲取跨表對(duì)齊數(shù)據(jù)
• 更快速：動(dòng)態(tài)計(jì)算減少冗余存儲(chǔ)，歸并排序優(yōu)化數(shù)據(jù)對(duì)齊效率
• 實(shí)時(shí)性：虛擬表實(shí)時(shí)反映原始表變更，支持毫秒級(jí)數(shù)據(jù)更新
• 易擴(kuò)展：支持動(dòng)態(tài)添加/刪除列，適配業(yè)務(wù)需求變化。

下一步，我們計(jì)劃將 TDengine 集群從當(dāng)前的 3.3.2 升級(jí)至 3.3.6，充分利用虛擬表功能，以更高效地支撐未來(lái)日益增長(zhǎng)的查詢分析需求。

關(guān)于昆明卷煙廠

昆明卷煙廠創(chuàng)建于 1922 年，是中國(guó)卷煙工業(yè)四大重點(diǎn)骨干企業(yè)之一。核心品牌“云煙”是中國(guó)煙草行業(yè)首批同時(shí)擁有“中國(guó)馳名商標(biāo)”和“中國(guó)名牌產(chǎn)品”的雙冠品牌。產(chǎn)品覆蓋中高端市場(chǎng)，遠(yuǎn)銷海內(nèi)外。