隨著數(shù)據(jù)量的躍升和數(shù)據(jù)處理需求的不斷更迭，數(shù)據(jù)庫(kù)類型也變得愈加多樣化，關(guān)系型數(shù)據(jù)庫(kù)、分布式數(shù)據(jù)庫(kù)、時(shí)序數(shù)據(jù)庫(kù)（Time Series Database）等各種類型的數(shù)據(jù)庫(kù)百花齊放，各自在不同的應(yīng)用場(chǎng)景中展現(xiàn)出優(yōu)勢(shì)和擅長(zhǎng)之處。為了讓開(kāi)發(fā)者了解到各類數(shù)據(jù)庫(kù)的技術(shù)含量和應(yīng)用價(jià)值，OSCHINA 特別策劃“數(shù)據(jù)庫(kù)，2024 開(kāi)炫”主題源創(chuàng)會(huì)，邀請(qǐng)不同類型的開(kāi)源數(shù)據(jù)庫(kù)齊聚一堂，共同探討數(shù)據(jù)庫(kù)技術(shù)的發(fā)展歷程、技術(shù)特點(diǎn)、市場(chǎng)競(jìng)爭(zhēng)、應(yīng)用場(chǎng)景等方面的知識(shí)。

作為國(guó)內(nèi)外大數(shù)據(jù)平臺(tái)的優(yōu)秀代表，TDengine 憑借低成本、高性能的數(shù)據(jù)處理架構(gòu)，助力著包括石油、汽車、煙草、煤炭、水利等傳統(tǒng)行業(yè)企業(yè)實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型，解決了傳統(tǒng)數(shù)據(jù)解決方案中存在的性能瓶頸和高成本等問(wèn)題，產(chǎn)品實(shí)力和生態(tài)建設(shè)都在迅速發(fā)展。在本次大會(huì)上，TDengine 聯(lián)合創(chuàng)始人&核心研發(fā)廖浩均博士受邀進(jìn)行了主題演講，他為正面臨數(shù)據(jù)處理難題的與會(huì)企業(yè)和開(kāi)發(fā)者提供了寶貴的解決思路和指導(dǎo)，進(jìn)一步推動(dòng)了數(shù)字化轉(zhuǎn)型和數(shù)據(jù)處理技術(shù)的發(fā)展。

廖浩均指出，從時(shí)序數(shù)據(jù)的特征和應(yīng)用需求出發(fā)，普通數(shù)據(jù)庫(kù)在處理時(shí)序數(shù)據(jù)時(shí)存在一系列問(wèn)題，包括“寫入性能適配寫入需求難度較高”、“查詢性能無(wú)法滿足應(yīng)用需求”、“擴(kuò)展能力較弱”、“無(wú)法提供與時(shí)序數(shù)據(jù)類型相關(guān)的查詢功能”等。近年來(lái)，隨著這些問(wèn)題的持續(xù)爆發(fā)，越來(lái)越多的企業(yè)對(duì)時(shí)序數(shù)據(jù)庫(kù)的關(guān)注度不斷增加。

盡管這些挑戰(zhàn)促進(jìn)了時(shí)序數(shù)據(jù)庫(kù)的發(fā)展和應(yīng)用，但這一領(lǐng)域仍然存在數(shù)據(jù)“高基數(shù)”、沒(méi)有真正實(shí)現(xiàn)云原生、與第三方系統(tǒng)和應(yīng)用生態(tài)適配不完善等諸多問(wèn)題。TDengine 作為一款核心是時(shí)序數(shù)據(jù)庫(kù)的物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)，不光提供了更高寫入性能、查詢性能和擴(kuò)展能力，滿足時(shí)序數(shù)據(jù)處理的需求，還在 3.0 階段升級(jí)成為一款真正的云原生時(shí)序數(shù)據(jù)庫(kù)，破解了困擾時(shí)序數(shù)據(jù)庫(kù)發(fā)展的高基數(shù)難題，支持 10 億個(gè)設(shè)備采集數(shù)據(jù)、100 個(gè)節(jié)點(diǎn)，支持存儲(chǔ)與計(jì)算分離，并打造了全新的流式計(jì)算引擎，無(wú)需再集成 Kafka、Redis、Spark、Flink 等軟件，大幅降低系統(tǒng)架構(gòu)的復(fù)雜度。

在本次演講中，廖浩均總結(jié)道，TDengine 有四大技術(shù)特點(diǎn)值得關(guān)注：

任務(wù)外部化：將能夠外部化的功能全部從數(shù)據(jù)節(jié)點(diǎn)（dnode）剝離，包括但不限于：SQL 解析、SQL 調(diào)度/重試、寫入?yún)f(xié)議解析、REST 服務(wù)、二階段聚合（流/批查詢）、任務(wù)狀態(tài)報(bào)告。

存算分離：為了解決可能導(dǎo)致海量時(shí)序數(shù)據(jù)掃描的優(yōu)化策略失效問(wèn)題，TDengine采取了無(wú)狀態(tài)的計(jì)算節(jié)點(diǎn)與數(shù)據(jù)節(jié)點(diǎn)（data node）分離的架構(gòu)。查詢優(yōu)化器在生成物理計(jì)劃時(shí)，會(huì)將最下游的聚合算子下推到存儲(chǔ)節(jié)點(diǎn)上執(zhí)行。

日志為中心的設(shè)計(jì)：預(yù)寫日志在 TDengine 中不僅用于參與主從副本一致性同步和防止內(nèi)存數(shù)據(jù)丟失，還在計(jì)算過(guò)程中發(fā)揮重要作用。訂閱服務(wù)和流計(jì)算利用預(yù)寫日志作為數(shù)據(jù)源進(jìn)行處理。從流處理角度來(lái)看，LSM-Tree+ 整理后的數(shù)據(jù)文件（TSDB）提供的是時(shí)序數(shù)據(jù)快照（snapshot）服務(wù)，為無(wú)狀態(tài)查詢（批查詢）提供支持。在 TDengine 中所有的批查詢都是帶有版本號(hào)的快照查詢，這有助于提高查詢效率和數(shù)據(jù)一致性。

數(shù)據(jù)節(jié)點(diǎn)虛擬化：虛擬節(jié)點(diǎn)作為存儲(chǔ)管理的最小單元，提供數(shù)據(jù)分片、負(fù)載均衡、彈性擴(kuò)容等諸多功能。

目前 TDengine 3.0 版本已經(jīng)更新至 3.2.3.0，在研發(fā)人員和社區(qū)用戶的共同努力下不斷優(yōu)化，產(chǎn)品的穩(wěn)定性和易用性獲得了大幅提升，已成功應(yīng)用于知輪科技的智慧輪胎系統(tǒng)、黑格智能 3D 打印業(yè)務(wù)、韻達(dá)快遞業(yè)務(wù)、中國(guó)地震臺(tái)網(wǎng)中心、中移物聯(lián)智慧出行等眾多企業(yè)項(xiàng)目中，助力他們更高效地處理和管理時(shí)序數(shù)據(jù)，推動(dòng)數(shù)字化轉(zhuǎn)型和業(yè)務(wù)發(fā)展。