昨天，我們重磅發(fā)布并開(kāi)源了新一代時(shí)序數(shù)據(jù)分析 AI 智能體 TDgpt，這是 TDengine 3.3.6.0 的核心亮點(diǎn)功能之一。作為時(shí)序數(shù)據(jù)庫(kù)原生集成 AI 能力的全新嘗試，TDgpt 將統(tǒng)計(jì)分析、機(jī)器學(xué)習(xí)、大模型等技術(shù)通過(guò) SQL 統(tǒng)一封裝，極大降低了復(fù)雜算法在業(yè)務(wù)中的應(yīng)用門(mén)檻。本文將帶你深入了解 TDgpt 背后的技術(shù)設(shè)計(jì)與實(shí)現(xiàn)細(xì)節(jié)。

打通 AI 與數(shù)據(jù)庫(kù)的最后一公里

在時(shí)序數(shù)據(jù)預(yù)測(cè)分析、異常檢測(cè)、數(shù)據(jù)補(bǔ)全和數(shù)據(jù)分類等應(yīng)用領(lǐng)域，研究人員提出并開(kāi)發(fā)了眾多具有不同技術(shù)特點(diǎn)、適用于不同場(chǎng)景的時(shí)序數(shù)據(jù)分析算法，已被廣泛應(yīng)用在時(shí)序數(shù)據(jù)預(yù)測(cè)、異常檢測(cè)等任務(wù)中。

這類分析算法通常以高級(jí)編程語(yǔ)言（Python 語(yǔ)言或 R 語(yǔ)言）工具包的形式存在，并通過(guò)開(kāi)源的方式廣泛分發(fā)和使用，這種應(yīng)用模式極大地便利了軟件開(kāi)發(fā)人員在應(yīng)用系統(tǒng)中調(diào)用復(fù)雜的分析算法，大大降低了使用高級(jí)算法的門(mén)檻。

與此同時(shí)，數(shù)據(jù)庫(kù)系統(tǒng)的研發(fā)也在不斷演進(jìn)。許多開(kāi)發(fā)者嘗試將數(shù)據(jù)分析算法模型整合到數(shù)據(jù)庫(kù)系統(tǒng)中，例如通過(guò)建立 Machine Learning 庫(kù)（如 Spark 的機(jī)器學(xué)習(xí)庫(kù)），進(jìn)一步提升數(shù)據(jù)庫(kù)和分析計(jì)算引擎的智能化分析能力。

隨著人工智能的快速發(fā)展，時(shí)序數(shù)據(jù)分析也迎來(lái)了全新的機(jī)遇。如何更高效、更靈活地將 AI 能力應(yīng)用于時(shí)序數(shù)據(jù)場(chǎng)景，成為數(shù)據(jù)庫(kù)發(fā)展的重要方向。

為此，濤思數(shù)據(jù)創(chuàng)新性地提出了時(shí)序數(shù)據(jù)分析 AI 智能體 TDgpt。通過(guò) TDgpt，用戶只需使用 SQL 語(yǔ)句，即可調(diào)用適配及整合驅(qū)動(dòng)統(tǒng)計(jì)分析算法、機(jī)器學(xué)習(xí)算法模型、深度學(xué)習(xí)模型、時(shí)序數(shù)據(jù)基礎(chǔ)模型以及大語(yǔ)言模型，并將這些分析能力轉(zhuǎn)化為 SQL 語(yǔ)句的調(diào)用，通過(guò)異常檢測(cè)窗口和預(yù)測(cè)函數(shù)的方式應(yīng)用在時(shí)序數(shù)據(jù)上。

TDgpt 技術(shù)特點(diǎn)

TDgpt 是與 TDengine 主進(jìn)程 taosd 適配的外置式時(shí)序數(shù)據(jù)高級(jí)分析系統(tǒng)，能夠?qū)r(shí)序數(shù)據(jù)分析服務(wù)無(wú)縫集成在 TDengine 的查詢執(zhí)行流程中。

作為一個(gè)無(wú)狀態(tài)的平臺(tái)化時(shí)序數(shù)據(jù)分析平臺(tái)，TDgpt 內(nèi)置了經(jīng)典的統(tǒng)計(jì)分析模型庫(kù) Statsmodel，內(nèi)嵌了 torch/Keras 等機(jī)器/深度學(xué)習(xí)框架庫(kù)，此外它還能通過(guò)請(qǐng)求轉(zhuǎn)發(fā)和適配的方式直接調(diào)用濤思數(shù)據(jù)自研的時(shí)序數(shù)據(jù)基礎(chǔ)大模型 TDtsfm (TDengine time series foundation model)。作為一個(gè)分析整合應(yīng)用平臺(tái)，TDgpt 后續(xù)還將整合第三方時(shí)序數(shù)據(jù)大模型服務(wù)，僅修改一個(gè)參數(shù)（algo）就能夠調(diào)用最先進(jìn)的時(shí)序模型服務(wù)。

TDgpt 擁有高度開(kāi)放的架構(gòu)，用戶可按需接入自定義的預(yù)測(cè)分析、異常檢測(cè)、數(shù)據(jù)補(bǔ)全、數(shù)據(jù)分類算法，添加完成后，僅通過(guò)修改 SQL 語(yǔ)句中調(diào)用的算法參數(shù)就能夠無(wú)縫使用新加入的算法，整個(gè)過(guò)程無(wú)需修改一行代碼。

TDgpt 系統(tǒng)架構(gòu)

TDgpt 由若干個(gè)無(wú)狀態(tài)的分析節(jié)點(diǎn) Anode 構(gòu)成，用戶可按需在系統(tǒng)集群中部署 Anode 節(jié)點(diǎn)，也可以根據(jù)分析模型算法的特點(diǎn)，將 Anode 部署在合適的硬件環(huán)境中，例如帶有 GPU 的計(jì)算節(jié)點(diǎn)。

TDgpt 為所有分析算法提供統(tǒng)一的調(diào)用接口和標(biāo)準(zhǔn)化的調(diào)用方式。系統(tǒng)會(huì)根據(jù)用戶請(qǐng)求的參數(shù)，自動(dòng)匹配并調(diào)用高級(jí)分析算法包及其他的分析工具，并將分析獲得的結(jié)果按照約定方式返回給 TDengine 的主進(jìn)程 taosd。

整個(gè) TDgpt 系統(tǒng)由四個(gè)關(guān)鍵模塊構(gòu)成：

• 第一部分是內(nèi)置分析庫(kù)，包括 statsmodels, pyculiarity, pmdarima 等，提供可以直接調(diào)用的預(yù)測(cè)分析和異常檢測(cè)算法模型；
• 第二部分是內(nèi)置的機(jī)器學(xué)習(xí)庫(kù)（包括 torch,keras,scikit-learn 等），用于驅(qū)動(dòng)預(yù)訓(xùn)練完成的機(jī)器（深度）學(xué)習(xí)模型在 TDgpt 的進(jìn)程空間內(nèi)運(yùn)行。預(yù)訓(xùn)練的流程可以使用 Merlion/Kats 等開(kāi)源的端到端機(jī)器學(xué)習(xí)框架進(jìn)行管理，并將完成訓(xùn)練的模型上傳到 TDgpt 指定目錄即可；
• 第三部分是通用大語(yǔ)言模型的請(qǐng)求適配模塊。將時(shí)序數(shù)據(jù)預(yù)測(cè)請(qǐng)求轉(zhuǎn)換后，基于 Prompt 向 DeepSeek，LlaMa 等通用大語(yǔ)言模型 MaaS 請(qǐng)求服務(wù)（這部分功能暫未開(kāi)源）；
• 第四部分是通過(guò) Adapter 直接向本地部署的 Time-MoE、TDtsfm 等時(shí)序數(shù)據(jù)模型請(qǐng)求服務(wù)。時(shí)序數(shù)據(jù)專用模型相對(duì)于通用語(yǔ)言大模型，無(wú)需 Prompt，更加便捷輕量，本地應(yīng)用部署對(duì)硬件資源要求也較低；除此之外，Adapter 還可以直接請(qǐng)求 TimeGPT 這種類型的時(shí)序數(shù)據(jù)分析 MaaS 服務(wù)，調(diào)用云端的時(shí)序模型服務(wù)提供本地化時(shí)序數(shù)據(jù)分析能力。

查詢過(guò)程中，TDengine 中的 Vnode 會(huì)將涉及時(shí)序數(shù)據(jù)高級(jí)分析的部分直接轉(zhuǎn)發(fā)到 Anode，并等待分析完成后將結(jié)果組裝完成，嵌入查詢執(zhí)行流程。

時(shí)序數(shù)據(jù)分析服務(wù)

使用 TDgpt 提供的時(shí)序數(shù)據(jù)分析服務(wù)，用戶可以通過(guò) SQL 語(yǔ)句輕松實(shí)現(xiàn)以下功能：

• 時(shí)序數(shù)據(jù)異常檢測(cè)：TDengine 引入了新的時(shí)間窗口——異常（狀態(tài)）窗口——來(lái)提供異常檢測(cè)服務(wù)。異常窗口可以視為一種特殊的事件窗口（Event Window），即異常檢測(cè)算法確定的連續(xù)異常時(shí)序數(shù)據(jù)所在的時(shí)間窗口。與普通事件窗口區(qū)別在于——時(shí)間窗口的起始時(shí)間和結(jié)束時(shí)間均是分析算法確定，不是用戶指定的表達(dá)式判定。異常窗口使用方式與其他類型的時(shí)間窗口（例如狀態(tài)窗口、會(huì)話窗口等）類似。因此時(shí)間窗口內(nèi)可使用的查詢操作均可應(yīng)用在異常窗口上。
• 時(shí)序數(shù)據(jù)分析預(yù)測(cè)：TDengine 新增 FORECAST 函數(shù)，支持基于歷史時(shí)序數(shù)據(jù)，調(diào)用指定（或默認(rèn)）的預(yù)測(cè)算法，生成未來(lái)時(shí)間段的預(yù)測(cè)結(jié)果，用戶可通過(guò) SQL 直接完成預(yù)測(cè)分析任務(wù)。
• 時(shí)序數(shù)據(jù)補(bǔ)全：研發(fā)測(cè)試中，預(yù)計(jì) 2025 年 7 月發(fā)布
• 時(shí)序數(shù)據(jù)分類：研發(fā)測(cè)試中，預(yù)計(jì) 2025 年 7 月發(fā)布

自定義分析算法

TDgpt 是一個(gè)可擴(kuò)展的時(shí)序數(shù)據(jù)高級(jí)分析平臺(tái)，用戶只需按照簡(jiǎn)單的流程，就可以將自定義的分析算法接入到分析平臺(tái)，并通過(guò) SQL 語(yǔ)句直接調(diào)用，實(shí)現(xiàn)“零門(mén)檻”使用高級(jí)分析能力。新引入的算法或模型無(wú)需對(duì)應(yīng)用層做任何改動(dòng)，極大提升了集成效率。

目前，TDgpt 只支持使用 Python 語(yǔ)言開(kāi)發(fā)的分析算法。其分析節(jié)點(diǎn) Anode 采用 Python 類動(dòng)態(tài)加載模式，在啟動(dòng)的時(shí)候掃描特定目錄內(nèi)滿足約定條件的所有代碼文件，并將其加載到系統(tǒng)中。因此，開(kāi)發(fā)者只需要遵循以下幾步就能完成新算法的添加工作：

1. 編寫(xiě)符合規(guī)范的分析算法類；

2. 將代碼文件放入對(duì)應(yīng)目錄，并重啟 Anode；

3. 使用 SQL 命令更新算法緩存列表。

完成上述步驟后，新算法即可通過(guò) SQL 語(yǔ)句立即調(diào)用，輕松集成至各類時(shí)序數(shù)據(jù)分析任務(wù)中。

算法評(píng)估工具

TDgpt 企業(yè)版還提供針對(duì)多種算法模型有效性的綜合評(píng)估工具。該工具可以針對(duì) TDgpt 可調(diào)用所有時(shí)序數(shù)據(jù)分析（預(yù)測(cè)分析與異常檢測(cè)）服務(wù)，包括內(nèi)置數(shù)據(jù)分析算法模型，已部署的預(yù)訓(xùn)練機(jī)器學(xué)習(xí)模型、第三方時(shí)序數(shù)據(jù)（大）模型服務(wù)，基于 TDengine 中的時(shí)序數(shù)據(jù)進(jìn)行預(yù)測(cè)分析對(duì)比和異常檢測(cè)對(duì)比評(píng)估，并給出量化指標(biāo)評(píng)估不同分析模型在給定數(shù)據(jù)集上的準(zhǔn)確度及性能。

模型管理

對(duì)于 Torch/Tensorflow/Keras 等機(jī)器學(xué)習(xí)庫(kù)框架驅(qū)動(dòng)的預(yù)訓(xùn)練模型，只需將已完成訓(xùn)練的模型文件放入 Anode 指定目錄，Anode 可以自動(dòng)調(diào)用該目錄內(nèi)的模型，驅(qū)動(dòng)其運(yùn)行并提供服務(wù)。

在企業(yè)版 TDgpt 中，還提供了模型管理功能，支持與 Merlion、Kats 等開(kāi)源的端到端時(shí)序數(shù)據(jù)機(jī)器學(xué)習(xí)框架無(wú)縫集成，方便用戶統(tǒng)一管理和部署多種預(yù)訓(xùn)練模型。

處理能力

通常意義上，時(shí)序數(shù)據(jù)分析本質(zhì)上是高度計(jì)算密集型任務(wù)，因此可以通過(guò)部署更高性能的 CPU 或 GPU 來(lái)提升整體處理效率。

對(duì)于依賴 torch 等框架運(yùn)行的機(jī)器學(xué)習(xí)或深度學(xué)習(xí)模型，可以采用標(biāo)準(zhǔn)的提升分析處理能力的方案來(lái)提升 TDgpt 的服務(wù)能力，例如將 Anode 部署在內(nèi)存更大，并具有 GPU 的服務(wù)器之上，使用可調(diào)用 GPU 的 torch 庫(kù)驅(qū)動(dòng)模型運(yùn)行，以提升分析響應(yīng)能力。

同時(shí)，不同的模型和算法也可以按需部署在不同的 Anode 節(jié)點(diǎn)上，實(shí)現(xiàn)并行處理，進(jìn)一步增強(qiáng)系統(tǒng)的整體分析能力和擴(kuò)展性。

運(yùn)營(yíng)維護(hù)

開(kāi)源版本的 TDgpt 不包含用戶權(quán)限管理和資源控制機(jī)制。系統(tǒng)默認(rèn)采用 uWSGI 驅(qū)動(dòng) Flask 服務(wù)，運(yùn)維人員可通過(guò)開(kāi)啟 uWSGI 端口，對(duì)服務(wù)運(yùn)行狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)控。

目前，TDgpt 的核心功能已隨 TDengine 3.3.6.0 正式發(fā)布，并同步開(kāi)源。無(wú)論你是希望通過(guò) SQL 快速接入 AI 能力的應(yīng)用開(kāi)發(fā)者，還是希望靈活集成自定義模型的數(shù)據(jù)科學(xué)家，TDgpt 都為你提供了一個(gè)強(qiáng)大、開(kāi)放、易用的時(shí)序數(shù)據(jù)智能分析平臺(tái)。想了解更多技術(shù)細(xì)節(jié)和使用方式，歡迎訪問(wèn)官網(wǎng)查看完整介紹：http://m.fjzmyy.cn/tdgpt。