2022 年 8 月我們?cè)?TDengine 開發(fā)者大會(huì)上正式發(fā)布了 TDengine 3.0，TDengine 也由此升級(jí)成為了一款云原生時(shí)序數(shù)據(jù)庫（Time Series Database，TSDB）。為了客觀、準(zhǔn)確、有效地評(píng)估 TDengine 3.0 的性能指標(biāo)，我們決定使用?TSBS（Time Series Benchmark Suite）作為基準(zhǔn)性能測(cè)試平臺(tái)，針對(duì) DevOps 場(chǎng)景的數(shù)據(jù)集對(duì) TDengine 3.0 展開整體（包括寫入、查詢、存儲(chǔ)、資源消耗等）性能評(píng)估。

TSBS 是一個(gè)時(shí)序數(shù)據(jù)處理（數(shù)據(jù)庫）系統(tǒng)的性能基準(zhǔn)測(cè)試平臺(tái)，提供了 IoT、DevOps 兩個(gè)典型應(yīng)用場(chǎng)景，它由 Timescale 開源并負(fù)責(zé)維護(hù)。作為一個(gè)性能基準(zhǔn)測(cè)試平臺(tái)，TSBS 具有便捷、易用、擴(kuò)展靈活等特點(diǎn)，涵蓋了時(shí)序數(shù)據(jù)的生成、寫入（加載）、多種類別的典型查詢等功能，并能夠自動(dòng)匯總最終結(jié)果。由于其開放開源的特點(diǎn)，得到了眾多數(shù)據(jù)庫廠商的支持，作為專業(yè)的產(chǎn)品性能基準(zhǔn)測(cè)試平臺(tái)被若干數(shù)據(jù)庫廠商廣泛使用。

以下的性能基準(zhǔn)報(bào)告均使用了 TSBS 作為基礎(chǔ) Benchmark 平臺(tái)，我們從時(shí)間跨度和發(fā)布廠商的知名度同時(shí)來看，就能發(fā)現(xiàn)，基礎(chǔ)測(cè)試平臺(tái) TSBS 已經(jīng)具備了很高的認(rèn)可度：

2018 年 11 月
VictoriaMetrics 的創(chuàng)始人 Aliaksandr Valialkin 發(fā)布 《High-cardinality TSDB benchmarks: VictoriaMetrics vs TimescaleDB vs InfluxDB》，將 VictoriaMetrics 與 TimescaleDB、InfluxDB 進(jìn)行性能對(duì)比。

2018 年 11 月
文章《ClickHouse Crushing Time Series》中對(duì)比了 TimescaleDB, InfluxDB, ClickHouse 在時(shí)序數(shù)據(jù)場(chǎng)景下的性能。

2020 年 3 月
Cloudera 在網(wǎng)站博客中發(fā)布《Benchmarking Time Series workloads on Apache Kudu using TSBS》，在 DevOps場(chǎng)景 中對(duì)比了 Apache Kudu, InfluxDB, VictoriaMetrics, ClickHouse 等整體性能表現(xiàn)。

2020 年 3 月
Redis 發(fā)布了基于 TSBS 的性能報(bào)告《RedisTimeSeries Version 1.2 Benchmarks》。

2020 年 8 月
Timescale 在其官方博客發(fā)布了性能對(duì)比報(bào)告《TimescaleDB vs. InfluxDB: Purpose Built Differently for Time-Series Data》。

2021 年 8 月
QuestDB 發(fā)布了 QuestDB 與 TimescaleDB 的性能對(duì)比報(bào)告——《QuestDB vs. TimescaleDB》。

DevOps 場(chǎng)景是一個(gè)典型的時(shí)序數(shù)據(jù)應(yīng)用場(chǎng)景，TSBS DevOps 場(chǎng)景提供了 CPU 狀態(tài)的模擬數(shù)據(jù)，針對(duì)每個(gè)設(shè)備（CPU）記錄其 10 個(gè)測(cè)量值（metric），1 個(gè)時(shí)間戳（納秒分辨率），10 個(gè)標(biāo)簽值（tag）。生成的數(shù)據(jù)每 10 秒間隔一條記錄，具體的內(nèi)容和示例數(shù)據(jù)如下：

TSBS 測(cè)試可以簡(jiǎn)單劃分為兩個(gè)主要部分——數(shù)據(jù)寫入和數(shù)據(jù)查詢。在本次整個(gè)基準(zhǔn)性能評(píng)估中，共涉及以下五個(gè)場(chǎng)景，每個(gè)場(chǎng)景的具體數(shù)據(jù)規(guī)模和特點(diǎn)見下表：

通過上表可以看到，五個(gè)場(chǎng)景的區(qū)別主要在于數(shù)據(jù)集所包含的設(shè)備記錄數(shù)量、設(shè)備數(shù)的不同，數(shù)據(jù)時(shí)間間隔均維持在 10 sec。整體來看，五個(gè)場(chǎng)景的數(shù)據(jù)規(guī)模都不算大，數(shù)據(jù)規(guī)模最大的是場(chǎng)景五，數(shù)據(jù)達(dá)到了 1.8 億，數(shù)據(jù)規(guī)模最小的是場(chǎng)景一，只有 2678 萬條記錄。在場(chǎng)景四和場(chǎng)景五中，由于設(shè)備數(shù)量相對(duì)較多，所以數(shù)據(jù)集僅覆蓋了 3 分鐘的時(shí)間跨度。

為了保證測(cè)試結(jié)果的公正可靠及可復(fù)制性，我們選用了公共 IaaS 平臺(tái)來搭建 Benchmark 基礎(chǔ)硬件環(huán)境，采用了大多數(shù)性能對(duì)比報(bào)告中使用的場(chǎng)景——亞馬遜 EC2 服務(wù)環(huán)境下 r4.8xlarge 類型的實(shí)例作為基礎(chǔ)運(yùn)行平臺(tái)，區(qū)域?yàn)楸泵赖貐^(qū)，包括 1 臺(tái)服務(wù)器、1 臺(tái)客戶端。客戶端與服務(wù)器硬件配置完全相同，兩者使用 10 Gbps 網(wǎng)絡(luò)連接。配置簡(jiǎn)表如下：

本次測(cè)試的對(duì)比軟件為 InfluxDB 1.8.10 及 Timescale 2.6.0，在這里要著重說明一下，由于 InfluxDB 最新的 2.0 版本并沒有納入 TSBS 的主干分支，因此在這次測(cè)試中我們暫且使用了 TSBS 主干分支所支持的 InfluxDB 最新版本，即 1.8.10。

整個(gè) TSBS 測(cè)試流程相對(duì)比較簡(jiǎn)單，在進(jìn)行寫入性能對(duì)比時(shí)，配置完成參數(shù)后直接運(yùn)行 TSBS 框架腳本，等待結(jié)果輸出即可。對(duì)于查詢處理，我們選擇了批量自動(dòng)化去運(yùn)行，對(duì)每個(gè)查詢語句運(yùn)行 5000 次，統(tǒng)計(jì)查詢延遲的算數(shù)平均作為最后的查詢延遲結(jié)果。此外我們還全程監(jiān)控并記錄了整個(gè)過程中服務(wù)器與客戶端節(jié)點(diǎn)的系統(tǒng)資源開銷與負(fù)載情況。

下面可以簡(jiǎn)單為大家介紹下本次測(cè)試結(jié)果。如下表所示，在全部五個(gè)場(chǎng)景中，TDengine 寫入性能均優(yōu)于 InfluxDB 和 TimescaleDB，寫入過程中資源占用最低。對(duì)比 InfluxDB，TDengine 寫入最優(yōu)的場(chǎng)景是在 1000 萬設(shè)備下，達(dá)到了 InfluxDB 的?10.6 倍；對(duì)比 TimescaleDB ，TDengine 寫入最優(yōu)的場(chǎng)景是在 4000 個(gè)設(shè)備下，達(dá)到了 TimeScaleDB 的?6.7 倍。

在查詢測(cè)試上，我們將其分為 5 大類、15 小類進(jìn)行查詢對(duì)比，從下圖結(jié)果匯總中可以看到，在全部 15 個(gè)查詢類型中，TDengine 的性能均優(yōu)于 InfluxDB 和 TimescaleDB，并且它的所有查詢延遲均比 InfluxDB 和 TimescaleDB 更低。亮點(diǎn)數(shù)據(jù)之一體現(xiàn)在 Double Rollups 查詢類型對(duì)比中，TDengine 最大達(dá)到 InfluxDB 的?34 倍，TimescaleDB 的?24 倍。

以上就是 TDengine 基于 TSBS 測(cè)試報(bào)告的測(cè)試背景介紹，如果你對(duì)測(cè)試結(jié)果感興趣，歡迎查閱整體報(bào)告。