在不久前的“2024，我想和 TDengine 談?wù)劇闭魑幕顒又?，我們收到了許多精彩的投稿，反映了用戶與 TDengine 之間的真實故事和獨特見解。今天，我們很高興地分享此次活動的第一名作品。這篇文章詳細闡述了廣西多元量化科技有限公司如何利用 TDengine 構(gòu)建高效的量化交易系統(tǒng)，提升交易效率和決策質(zhì)量。通過深入分析數(shù)據(jù)庫選型和數(shù)據(jù)架構(gòu)設(shè)計，作者展示了 TDengine 在金融領(lǐng)域的強大優(yōu)勢和廣泛應(yīng)用前景。接下來讓我們一同閱讀，探索這一前沿技術(shù)如何推動現(xiàn)代金融交易的智能化與高效化。

我們的核心產(chǎn)品是多元量化 App，旨在以客戶的舒心與安心為本，共同創(chuàng)造智能交易的新體驗，讓每個人都能輕松玩轉(zhuǎn) AI 量化。該 App 面向各層次用戶，支持手機和電腦端使用，確保隨時隨地享受便捷、高效的量化交易體驗。核心優(yōu)勢在于強大的交易策略構(gòu)建能力，提供零代碼 AI 策略、DO 語言策略以及 Python 語言策略，滿足不同用戶的需求。

此外，該系統(tǒng)還支持實時行情、AI 智選、一鍵配置、拆單算法、深度回測及信息實時推送服務(wù)，確保用戶不錯過任何重要市場動態(tài)。多元量化 App 致力于為投研者和金融機構(gòu)提供全面的量化解決方案，通過先進的技術(shù)手段提升交易效率和決策質(zhì)量，實現(xiàn)資產(chǎn)的穩(wěn)健增長。

數(shù)據(jù)庫選型

多元量化 App 本身是一套大數(shù)據(jù) AI 處理系統(tǒng)，涉及各交易平臺的海量交易數(shù)據(jù)，對數(shù)據(jù)存儲、處理、響應(yīng)及安全等方面有極高的要求。數(shù)據(jù)庫選型直接影響系統(tǒng)的性能、可擴展性、數(shù)據(jù)一致性和可靠性，對交易行情系統(tǒng)的開發(fā)至關(guān)重要。理想的數(shù)據(jù)庫需要確保交易數(shù)據(jù)的快速讀寫，支持高并發(fā)訪問，并提供必要的數(shù)據(jù)備份和恢復(fù)機制，保障數(shù)據(jù)安全。此外，考慮到交易行情系統(tǒng)的實時性要求，數(shù)據(jù)庫還需具備高效的事務(wù)處理能力和低延遲的數(shù)據(jù)訪問特性。

多元量化 App 在初始開發(fā)階段及功能升級過程中，每次系統(tǒng)迭代到一定體量，數(shù)據(jù)庫的性能都會成為系統(tǒng)的瓶頸，因此設(shè)計一個合適的數(shù)據(jù)庫方案顯得尤為重要。

在數(shù)據(jù)庫選型方面，我們重點考慮以下幾點：

1. 選擇一個高效、穩(wěn)定且可擴展的數(shù)據(jù)庫系統(tǒng)，以確保大數(shù)據(jù)處理的實時性和準確性。
2. 數(shù)據(jù)模型的適應(yīng)性也是選型時需要考慮的因素。多元量化 AI 策略交易系統(tǒng)需要實時從各交易平臺提取交易行情，因此數(shù)據(jù)庫應(yīng)具備足夠的靈活性，以適配不同類型的金融數(shù)據(jù)。選擇與大數(shù)據(jù)系統(tǒng)需求相匹配的數(shù)據(jù)模型，可以提高數(shù)據(jù)存儲和查詢的效率?？紤]到金融行業(yè)的特殊性和監(jiān)管要求，數(shù)據(jù)的可訪問性也非常重要，用戶及合作方可以方便快捷地訪問和查詢所需數(shù)據(jù)。
3. 數(shù)據(jù)庫的可擴展性對于大數(shù)據(jù)系統(tǒng)來說也很重要。隨著系統(tǒng)功能的迭代，數(shù)據(jù)量的不斷增長，數(shù)據(jù)庫需要支持水平或垂直擴展，以適應(yīng)數(shù)據(jù)量的增加，避免性能瓶頸。
4. 數(shù)據(jù)庫的安全性非常關(guān)鍵。由于交易數(shù)據(jù)涉及敏感信息，選擇具備高級安全特性的數(shù)據(jù)庫可以有效保護數(shù)據(jù)不被未授權(quán)訪問或泄露。
5. 成本效益分析也是數(shù)據(jù)庫選型時需要考慮的。除了初始投資成本外，還需考慮維護成本、運營成本及長期可支持性。

在多元量化交易系統(tǒng)研發(fā)初期，我們使用的是基于 PostgreSQL 的時序數(shù)據(jù)庫——TimescaleDB，它結(jié)合了傳統(tǒng)關(guān)系型數(shù)據(jù)庫的功能與時序數(shù)據(jù)存儲和查詢的優(yōu)化。然而，隨著系統(tǒng)和數(shù)據(jù)逐步擴展，TimescaleDB 的問題逐漸顯現(xiàn)：

寫入性能

由于量化系統(tǒng)數(shù)據(jù)寫入存在高并發(fā)，TimescaleDB 在高吞吐量寫入時出現(xiàn)瓶頸，同時增大了硬件系統(tǒng)的工作負載。

讀取延時

盡管 TimescaleDB 使用了多種索引和機制來加速查詢，但在需要掃描大量歷史數(shù)據(jù)的回測功能中，仍然存在延遲。

空間占用

由于 TimescaleDB 是基于 PostgreSQL 實現(xiàn)，并且為了支持高效的時序數(shù)據(jù)管理增加了額外的數(shù)據(jù)結(jié)構(gòu)，因此在存儲相同數(shù)量的數(shù)據(jù)時占用更多的磁盤空間，這對每日處理海量行情數(shù)據(jù)的量化系統(tǒng)非常不利。

根據(jù)行情模塊技術(shù)開發(fā)和拓展需求，以及后期運營拓展的考量，我們需要對整個時序數(shù)據(jù)庫（Time Series Database）進行迭代，通過對目前常用的數(shù)據(jù)庫類型進行評判和分析：

1. ClickHouse：面臨的問題包括高昂的運維成本、復(fù)雜的擴展過程以及對資源的大量需求。
2. InfluxDB：擅長高效查詢和存儲時序數(shù)據(jù)，廣泛用于監(jiān)控數(shù)據(jù)和物聯(lián)網(wǎng)行業(yè)的實時數(shù)據(jù)處理，但其集群功能尚未開源。
3. TDengine：在性能、成本和運維簡易性方面表現(xiàn)良好，支持水平擴展，并具備高可用性。

針對行情數(shù)據(jù)的時效性需求，時序數(shù)據(jù)庫是最合適的存儲解決方案。通過對比，我們發(fā)現(xiàn)，在相同的數(shù)據(jù)集和硬件條件下，TDengine 的寫入速度遠超 InfluxDB。此外，TDengine 還提供豐富的數(shù)據(jù)接口支持，包括 C/C++、Java、Python、Go 和 RESTful 等，滿足各種開發(fā)需求。

因此，我們最終選擇了 TDengine。

建模及應(yīng)用

多元量化 AI 策略交易系統(tǒng)需從多個交易所中提取大量行情數(shù)據(jù)。數(shù)據(jù)提取呈現(xiàn)以下特點：

Tick 快照數(shù)據(jù)

1. 每日生成超過億條記錄；
2. 快照數(shù)據(jù)需長期保留，且頻繁調(diào)用。

Daily 數(shù)據(jù)

1. 多子表結(jié)構(gòu)，每日新增約 20 萬張；
2. 數(shù)據(jù)量巨大，每秒約 6 萬條數(shù)據(jù)寫入；
3. 數(shù)據(jù)需長期保存。

通用特性

1. 數(shù)據(jù)格式固定，并附帶時間戳；

2. 數(shù)據(jù)幾乎無需更新或刪除；

3. 標簽列數(shù)量少且穩(wěn)定；

4. 單條記錄的字段數(shù)量少、數(shù)據(jù)量小?；?TDengine 推薦的數(shù)據(jù)架構(gòu)，我們將針對不同特性的數(shù)據(jù)分別構(gòu)建獨立的數(shù)據(jù)庫，并根據(jù)各自特性進行參數(shù)優(yōu)化。在每個數(shù)據(jù)庫中，根據(jù)數(shù)據(jù)品種（如期貨、期權(quán)等）創(chuàng)建超級表，并將標的實體的標簽信息直接作為超級表的標簽字段，以此為不同品種的數(shù)據(jù)創(chuàng)建子表。此數(shù)據(jù)模型的構(gòu)建方式高度契合了我們的數(shù)據(jù)特性和應(yīng)用場景。

當前，我們的業(yè)務(wù)主要面向國內(nèi)的期貨和期權(quán)市場，股票業(yè)務(wù)仍在研發(fā)階段。數(shù)據(jù)庫的應(yīng)用分為離線業(yè)務(wù)（回測）和實時業(yè)務(wù)兩部分?；販y用于計算基本框架和參數(shù)范圍，實時業(yè)務(wù)結(jié)合最新數(shù)據(jù)對框架進行動態(tài)調(diào)整，二者相輔相成，共同生成交易策略。

在數(shù)據(jù)寫入方面，TDengine 輕松滿足了上述業(yè)務(wù)需求。在數(shù)據(jù)查詢方面，針對離線和在線業(yè)務(wù)，我們主要使用如下兩類高頻 SQL 查詢。由于 TDengine 支持緩存最新數(shù)據(jù)，并采用順序讀取機制，即使在高并發(fā)查詢下也毫無壓力，均可實現(xiàn)毫秒級返回。這為我們在離線與實時數(shù)據(jù)分析中提供了堅實的技術(shù)保障。

在線查詢：

SELECT last_row(*) FROM tick_CZCE_SA501;

離線查詢:

SELECT * FROM tick_CZCE_SA501 WHERE ts < '2024-10-09 15:00:00.000' ORDER BY ts DESC LIMIT 1000;

實施經(jīng)驗分享

為確保數(shù)據(jù)的穩(wěn)定高效獲取，實施過程中需要重點考慮查詢性能、線上數(shù)據(jù)更新和運維情況。在此過程中，我們參考了官方博客中同花順在 TDengine 上處理類似行情數(shù)據(jù)的解決方案。

最終，我們選擇了如下硬件配置來搭建數(shù)據(jù)庫：雙路 AMD 48 核 96 線程 CPU，128GB 內(nèi)存，8TB 固態(tài)硬盤。當前系統(tǒng)每日負載情況如下：CPU 使用率平均約為 20%，內(nèi)存使用率 20%，數(shù)據(jù)壓縮率控制在 10% 以內(nèi)。

TDengine 的最大優(yōu)勢在于處理大規(guī)模時序數(shù)據(jù)，非常適合金融行情數(shù)據(jù)（如期貨、期權(quán)價格及交易記錄）。這些數(shù)據(jù)的特點在于高頻寫入、固定查詢模式，且通?；跁r間范圍進行聚合或分析。然而，作為一款金融應(yīng)用系統(tǒng)，除了時序數(shù)據(jù)外，還涉及大量其他類型的數(shù)據(jù)和復(fù)雜的業(yè)務(wù)邏輯需求，因此我們?nèi)匀槐Ａ袅?PostgreSQL 關(guān)系數(shù)據(jù)庫，以支持多樣化的數(shù)據(jù)需求。

結(jié)語

TDengine 在成本控制、性能表現(xiàn)和用戶友好性方面表現(xiàn)出色，尤其在成本節(jié)約方面尤為突出。展望未來，我們期待 TDengine 持續(xù)優(yōu)化其性能和穩(wěn)定性。同時，我們將基于業(yè)務(wù)需求開展二次開發(fā)，并積極向社區(qū)分享成果，共同推動 TDengine 的進步與發(fā)展。

關(guān)于多元量化

廣西多元量化科技有限公司成立于 2023 年，是一家專注于人工智能技術(shù)研發(fā)與應(yīng)用的領(lǐng)先企業(yè)。其致力于將大數(shù)據(jù)與人工智能相結(jié)合，服務(wù)于金融資產(chǎn)管理系統(tǒng)。多元量化提供程序化快速交易系統(tǒng)、量化策略開發(fā)及植入服務(wù)，結(jié)合先進的 IT 技術(shù)與豐富的行業(yè)經(jīng)驗，為機構(gòu)和投資者量身定制高效的量化解決方案。多元量化產(chǎn)品線涵蓋行情分析系統(tǒng)、程序化智能交易系統(tǒng)、策略模型平臺和量化資產(chǎn)管理平臺，并提供專屬定制服務(wù)，滿足客戶的多樣化需求。