在工業(yè)自動化的領域中，數(shù)據(jù)的采集、存儲和分析是實現(xiàn)高效決策和操作的基石。AVEVA Historian (原 Wonderware Historian) 作為領先的工業(yè)實時數(shù)據(jù)庫，專注于收集和存儲高保真度的歷史工藝數(shù)據(jù)。與此同時，TDengine 作為一款專為時序數(shù)據(jù)打造的高性能數(shù)據(jù)庫，在處理和分析大量實時、歷史時序數(shù)據(jù)方面展現(xiàn)出無與倫比的優(yōu)越性。

在最新發(fā)布的 TDengine 3.2.3.0 版本中，我們進一步更新了 TDengine 的數(shù)據(jù)接入功能，推出了一款新的連接器，旨在實現(xiàn) AVEVA Historian 與 TDengine 的集成?；诖?，本文將闡述把 AVEVA Historian 的歷史數(shù)據(jù)和實時數(shù)據(jù)整合進入 TDengine 的創(chuàng)新方法，以及這種結合如何能夠極大地提升數(shù)據(jù)利用率，打造一個工業(yè)創(chuàng)新底座，推動工業(yè)自動化高效發(fā)展。

我們先來回顧下當下工業(yè)場景幾種典型時序數(shù)據(jù)處理方案：

關系型數(shù)據(jù)庫（例如 Oracle/MySQL、達夢、南大通用）

關系型數(shù)據(jù)庫在處理海量時序數(shù)據(jù)時，讀寫性能較低，分布式支持差。隨著數(shù)據(jù)的增加，查詢的速度也會變慢。典型的應用場景包括低頻監(jiān)控場景和電力 SCADA 歷史庫。

傳統(tǒng)工業(yè)實時庫（例如 PI、AVEVA Historian、亞控、海迅）

盡管傳統(tǒng)工業(yè)實時庫在工業(yè)數(shù)據(jù)存儲中有著長期的功效，但它們的架構已經過時，缺乏分布式解決方案，不能水平擴展。而且，它們依賴于 Windows 等環(huán)境，在數(shù)據(jù)分析能力上較弱，且往往是封閉系統(tǒng)。這類數(shù)據(jù)庫主要用于 SCADA 系統(tǒng)和生產監(jiān)控系統(tǒng)。

NoSQL 數(shù)據(jù)庫（例如 MongoDB、Cassandra）

這類數(shù)據(jù)庫的問題在于計算實時性較差，查詢速度慢，對內存和 CPU 的計算開銷大，沒有針對時序數(shù)據(jù)的優(yōu)化。它們主要用于處理非結構化數(shù)據(jù)存儲和爬蟲數(shù)據(jù)。

Hadoop 大數(shù)據(jù)平臺（例如 HBase、Zookeeper、Redis、Flink/Spark）

雖然這類平臺支持分布式，但其采用非結構化方式處理時序數(shù)據(jù)，組件眾多，架構臃腫，單節(jié)點效率低，硬件和人力維護成本非常高。它們主要用于通用大數(shù)據(jù)平臺和輿情電商大數(shù)據(jù)。

在當前的工業(yè)企業(yè)中，創(chuàng)新應用需求旺盛，時序數(shù)據(jù)處理關鍵的應用場景包括智能決策支持、設備故障預警、產品質量分析與預測、智能制造與數(shù)字孿生、能耗管理與節(jié)能減排。這些關鍵場景突出了工業(yè)時序大數(shù)據(jù)在創(chuàng)新應用中的核心價值，工業(yè)企業(yè)只有采用先進的解決方案，才能夠加快創(chuàng)新步伐并在競爭激烈的市場中實現(xiàn)差異化。

在工業(yè)場景中，多個工廠或車間通常會部署獨立的 SCADA/Historian 系統(tǒng)，如 AVEVA Wonderware 和 PI 系統(tǒng)，以管理實時和歷史數(shù)據(jù)。這是目前工業(yè)自動化的常態(tài)，數(shù)據(jù)分布在各個現(xiàn)場的數(shù)據(jù)庫中。

時序數(shù)據(jù)向中心側集中的優(yōu)勢在于，它可以增強對數(shù)據(jù)的整體控制力，使得企業(yè)更好地利用它們的數(shù)據(jù)資產。數(shù)據(jù)的集中處理為全局數(shù)據(jù)可視化帶來了可能，為業(yè)務創(chuàng)新提供靈感和快速驗證的手段，幫助企業(yè)更好地管理和分析數(shù)據(jù)，快速響應而提取有價值的洞見，并依此及時做出商業(yè)決策。

SCADA/Historian 也提供了數(shù)據(jù)集中方案，確實在某些方面能夠滿足需求，但面臨的挑戰(zhàn)是它們難以支持海量測點（傳感器、設備等）的數(shù)據(jù)量，難以滿足創(chuàng)新應用的對大量獲取時序數(shù)據(jù)的需求。當數(shù)據(jù)量非常大時，SCADA/Historian 數(shù)據(jù)消費接口的能力較弱，可能會經歷高延時，甚至無法獲取需要的數(shù)據(jù)集。

要有效應對這些挑戰(zhàn)，需要從以下幾個方面優(yōu)化方案：

1. 利用好已有的投資：很多情況下，企業(yè)已經采購、部署了多套 SCADA/Historian，投資已經形成，方案必須考慮如何充分利用已建成系統(tǒng)的能力，避免重復投資。
2. 提高數(shù)據(jù)消費接口的能力：增強數(shù)據(jù)接口的能力，以確保即使在數(shù)據(jù)量很大時也能快速、高效地消費數(shù)據(jù)。
3. 降低延時：提升系統(tǒng)的性能以減少處理和提取數(shù)據(jù)時的延時，確?？梢约皶r地獲取數(shù)據(jù)。
4. 實現(xiàn)實時和歷史數(shù)據(jù)的整合：數(shù)據(jù)的整合可以提高存儲空間利用率，并為分析和決策提供更完整的數(shù)據(jù)視圖。實時和歷史數(shù)據(jù)的結合還能支持更復雜的創(chuàng)新應用，如預測維護、能耗管理和優(yōu)化操作。
5. 支撐海量測點：提高系統(tǒng)能夠處理的測點數(shù)量，以適應越來越多傳感器數(shù)據(jù)的需求。
6. 推動創(chuàng)新應用的發(fā)展：構建支持創(chuàng)新的基礎架構，應對創(chuàng)新應用需求、新興的工業(yè)應用，如預測性維護、資產性能管理、能效優(yōu)化等，需要對數(shù)據(jù)進行更深層次的消費、分析和更快速的處理。

TDengine 作為一款極簡的時序大數(shù)據(jù)平臺，具有高效的數(shù)據(jù)寫入和查詢性能，適合處理海量、時序性的工業(yè)數(shù)據(jù)。除了實時與歷史合一的時序庫核心功能外，還提供了消息隊列、事件驅動流計算、讀寫緩存，以及多數(shù)據(jù)源接入的能力。如何實現(xiàn)融合上述六點的方案優(yōu)化，TDengine 也給出了答案。

整合 AVEVA Historian 數(shù)據(jù)到 TDengine

本文方案中，將利用 TDengine 企業(yè)版 taosX 的多數(shù)據(jù)源接入能力匯集多路 AVEVA Historian 現(xiàn)場數(shù)據(jù)，持久化至中心側 TDengine 集群。

其特點如下：

1. 數(shù)據(jù)遷移：從 AVEVA Historian 系統(tǒng)遷移現(xiàn)有的歷史數(shù)據(jù)到 TDengine。
2. 數(shù)據(jù)同步：支持實時和歷史數(shù)據(jù)的同步，實現(xiàn) AVEVA Historian 實時(Runtime.dbo.Live)和歷史數(shù)據(jù)(Runtime.dbo.History)至 TDengine 之間的數(shù)據(jù)同步。
3. 支持海量測點：TDengine 支持 10 億時間線，輕松應對目前工業(yè)大數(shù)據(jù)場景。
4. 充分利用已有投資：已有的 AVEVA Historian 將繼續(xù)發(fā)揮作用，同時在 TDengine 平臺上支持創(chuàng)新業(yè)務的開發(fā)。
5. 時序數(shù)據(jù)優(yōu)化存儲：利用 TDengine 的高效數(shù)據(jù)壓縮和存儲機制，優(yōu)化數(shù)據(jù)在新平臺上的存儲。
6. 查詢性能顯著提升：與 Historian 的查詢性能比較，TDengine 無論在投影查詢還是聚合查詢，均提升幾個數(shù)量級的性能。
7. 支持數(shù)據(jù)訂閱：TDengine 提供了結構化的消息隊列，當數(shù)據(jù)入庫的同時，可根據(jù)業(yè)務需要創(chuàng)建主題，支持實時消費以驅動創(chuàng)新應用落地。
8. 支持多種部署環(huán)境：LInux & Windows
9. 支持完整 ETL 特性：taosX 組件支持完整的解析、提取拆分、過濾以及數(shù)據(jù)映射，零代碼即可完成外部數(shù)據(jù)源接入 TDengine。

本方案的基本環(huán)境要求有：

• AVEVA Historian 接入需 TDengine 企業(yè)版支持
• 遠端采集需通過代理模式接入，采集現(xiàn)場須部署 taosX Agent
• 支持 AVEVA Historian 2017 以后的版本

下面以數(shù)據(jù)遷移為例，介紹 AVEVA Historian 的歷史視圖數(shù)據(jù)如何遷移至 TDengine。

1. 先完成準備工作：在 TDengine 中建庫、建超級表
2. 登入 taosExplorer，創(chuàng)建數(shù)據(jù)寫入任務，類型：AVEVA Historian
3. 填寫任務基本信息：任務名稱、目標數(shù)據(jù)庫、Historian 服務器地址、端口、認證信息
4. 填寫采集配置：migrate 模式、選擇標簽點位范圍(默認所有點位)、設置源數(shù)據(jù)起始終止時間、查詢時間窗口跨度
5. 數(shù)據(jù)解析與過濾：因 Historian 發(fā)送過來的數(shù)據(jù)是結構化的，無需額外配置解析器和過濾器
6. 數(shù)據(jù)映射：選擇目標超級表后，系統(tǒng)會自動匹配部分字段，沒有匹配的字段，手工指定映射關系即可
7. 啟動任務

數(shù)據(jù)同步 synchronize 與數(shù)據(jù)遷移 migrate 類似，不同之處在于：

• 支持兩個來源：Runtime.dbo.History & Runtime.dbo.Live
• 任務結束時間可以不設定，意味著可以一直同步下去，直至人工終止

本方案還可以與 OPC 方案融合：歷史數(shù)據(jù)通過 Historian 導入 TDengine，實時數(shù)據(jù)通過 OPC 匯集至 TDengine。新方案的優(yōu)點是，通過 OPC 支持的訂閱特性實現(xiàn)實時數(shù)據(jù)即時采集，一旦變化就立刻采集至 TDengine。
新方案同樣是基于 taosX 組件，維護方便。

結語

對于曾投資 AVEVA Wonderware 的工業(yè)企業(yè)，在面臨數(shù)字化轉型的挑戰(zhàn)時，Historian Connector 結合 TDengine 的解決方案便能成為他們的強大后盾。此方案不僅能快速打通數(shù)字化轉型的難關，還能攜業(yè)務創(chuàng)新之力，開拓數(shù)字化潛能。

此外，本方案具有優(yōu)秀的融合能力，可與各類數(shù)據(jù)采集解決方案無縫結合。例如，通過與 OPC Connector 數(shù)據(jù)采集方案的整合，歷史數(shù)據(jù)得以從 Historian 順暢導入至 TDengine，同時實時數(shù)據(jù)亦可通過 OPC 即時匯集至 TDengine，實現(xiàn)現(xiàn)場時序數(shù)據(jù)的高效集中處理。

本方案所依托的是 TDengine Enterprise 企業(yè)版的強大功能（且未來我們將推出 TDengine Cloud 版本）。如若貴企業(yè)正尋求這方面的解決方案，歡迎主動接洽北京濤思的專業(yè)商務團隊，一起探索先進的數(shù)據(jù)處理之道。

關于 AVEVA Wonderware

Wonderware 公司成立于 1987 年，總部位于美國洛杉磯，是全球工業(yè)自動化領域的知名品牌。其先被施耐德電氣收購，后并入 AVEVA。AVEVA Wonderware 應用行業(yè)廣泛，在連續(xù)生產過程控制和離散制造領域優(yōu)勢明顯。主要應用于煙草生產、水處理、電力、石油天然氣、化工、鋼鐵冶金、食品飲料、制藥、汽車制造、物流倉儲等行業(yè)。其產品包括但不限于 In Touch HMI（人機界面）、System Platform（系統(tǒng)平臺）、Historian（歷史數(shù)據(jù)記錄與分析）。