近年來，各大廠商紛紛擁抱云原生技術(shù)，由此帶來的海量數(shù)據(jù)給傳統(tǒng)的技術(shù)架構(gòu)帶來了巨大沖擊，傳統(tǒng)監(jiān)控首當(dāng)其沖。服務(wù)上云之后，大都基于 Docker 容器部署、Kubernetes 服務(wù)治理，資源彈性伸縮且實時變化，傳統(tǒng)監(jiān)控難以支撐住此場景下的業(yè)務(wù)需求，可觀測性（Observability）逐漸發(fā)展成為云原生領(lǐng)域的熱門方向。

在此背景下，云時代的系統(tǒng)可觀測平臺觀測云與物聯(lián)網(wǎng)大數(shù)據(jù)解決方案商濤思數(shù)據(jù)達成深度戰(zhàn)略合作，依靠國產(chǎn)時序數(shù)據(jù)庫 TDengine 的技術(shù)和性能優(yōu)勢，觀測云將進一步滿足云、云原生、應(yīng)用及業(yè)務(wù)上的監(jiān)測需求，從基礎(chǔ)設(shè)施到日志數(shù)據(jù)再到全鏈路應(yīng)用性能實現(xiàn)全面主動觀測，讓企業(yè)在上云體驗上更加順滑。

多種存儲混合查找，觀測云設(shè)計 DQL 引擎專注查詢

在觀測云的數(shù)據(jù)存儲結(jié)構(gòu)中，數(shù)據(jù)采集軟件會被部署到不同的用戶環(huán)境中采集所需數(shù)據(jù)，在數(shù)據(jù)上傳后系統(tǒng)會根據(jù)數(shù)據(jù)類型進行相應(yīng)的分類，分類完成后所有數(shù)據(jù)會經(jīng)由 Worker 進行對應(yīng)處理，再根據(jù)相應(yīng)的分類寫入到各種不同的存儲當(dāng)中。在數(shù)據(jù)存儲完成后，根據(jù)業(yè)務(wù)需求用戶需要對數(shù)據(jù)進行查詢操作，但不同的數(shù)據(jù)存儲存在查詢語言的差異，如何彌補語言差異完成查詢操作成為一個亟待解決的問題。

觀測云所使用的的存儲可以概括為三種，一種是如 TDengine 一般的時序數(shù)據(jù)庫（Time-Series Database），一種是Elasticsearch（簡稱 ES），此外還有一部分?jǐn)?shù)據(jù)存儲在 Redis、MySQL 這類關(guān)系型數(shù)據(jù)庫當(dāng)中，對應(yīng)如此多種類的存儲，在遍歷查詢方面極度不友好，尤其是對于前端來說。觀測云的解決方案是重新定義一套可以查詢多種數(shù)據(jù)類型的查詢語言，并由此設(shè)計出了 DQL 引擎，真正意義上實現(xiàn)了數(shù)據(jù)查詢層面的垂直劃分。

為了打造出一種能夠統(tǒng)一查找多種存儲混合的查詢語言，觀測云在設(shè)計上進行了深入思考，并依托于具體實現(xiàn)不斷打磨，設(shè)計出了專注于查詢且語法簡單的 DQL 引擎，代碼展示如下：

M（Metric）::nsq_nodes:(LAST(message_count) AS 消息數(shù)) BY 
server_host 
L（Log）::openway_gin:(MAX(cost_time)) {host = ‘prd-dataway’} 
BY http_url 
R（RUL）::view:(COUNT_DISTINCT(userid)) { app_id = 
'appid_xyz' and view_path = re('.*/scene/.*') }

在解決了多種存儲共存的問題后，為滿足業(yè)務(wù)發(fā)展需求，進一步提升前端操作體驗，觀測云決定對既有的存儲系統(tǒng)架構(gòu)進行升級改造。

與 TDengine 合作，提升用戶體驗

觀測云此前使用的時序數(shù)據(jù)庫是 InfluxDB，應(yīng)用至今，其越來越難以支撐私有化部署業(yè)務(wù)，多種問題和瓶頸導(dǎo)致業(yè)務(wù)發(fā)展受到限制，最終觀測云決定對 InfluxDB 進行替換。他們將目光轉(zhuǎn)移到國內(nèi)數(shù)據(jù)庫領(lǐng)域，發(fā)現(xiàn)在多年的發(fā)展之下，一些優(yōu)質(zhì)的國產(chǎn)時序數(shù)據(jù)庫應(yīng)運而起，TDengine 就是其中之一。在了解了 TDengine 的種種特性之后，觀測云對兩種時序數(shù)據(jù)庫進行了相關(guān)測試。

根據(jù)上述測試結(jié)果，觀測云發(fā)現(xiàn)，不管是從寫入、查詢抑或是存儲方面，TDengine 在性能上可以說是全面領(lǐng)先于 InfluxDB。無論是簡單查詢還是復(fù)雜的聚合查詢，都有 10x～20x 的性能提升，存儲空間能節(jié)省大約一半，在寫入性能上也有兩倍提升，也就是說原先可能需要使用兩個或者三個節(jié)點才能滿足用戶的寫入需求，應(yīng)用 TDengine 后一個節(jié)點大約就頂住了，一定程度上又節(jié)省了一部分的部署成本。

目前，觀測云正在逐步將數(shù)據(jù)從 InfluxDB 遷移至 TDengine，TDengine 將會被應(yīng)用在多租戶隔離、高頻 I/O、私有化部署等場景中。

作為一個 SaaS 平臺，觀測云需要接入多租戶進行對應(yīng)服務(wù)，因此平臺方首先需要考慮的就是不同租戶之間如何以不同的 DB/Index 進行隔離。在 TDengine 中，多個 DB 可以共享一個 database 服務(wù)，觀測云可以順利實施這個方案。

此外，多租戶模式也會產(chǎn)生高頻數(shù)據(jù)寫入，每一個租戶都可能會部署多個采集點，而一個采集點就相當(dāng)于一個寫入的客戶端，僅對于一個租戶而言，就可能產(chǎn)生十個、一百個甚至更多的接入客戶端，多租戶的寫入量之巨大可想而知。

除了寫入，平臺在查詢層面也會面臨不小的壓力，前端指標(biāo)的生成、監(jiān)控等無時無刻不在對數(shù)據(jù)進行查找。TDengine 的邏輯設(shè)計使得其既可以滿足高可靠，又能夠滿足大數(shù)據(jù)量級的讀寫需求，可以很好地支撐住多租戶模式下的系統(tǒng)性能。

除了 SaaS 服務(wù)外，觀測云還會針對一些客戶的業(yè)務(wù)需求進行私有化部署，私有化部署的環(huán)境和 SaaS 有很大區(qū)別，不僅要將部署效率提升，還要能夠和不同的云平臺打通，更便捷地獲取需要的資源。相比于 InfluxDB，國產(chǎn)的時序數(shù)據(jù)庫 TDengine 對私有化部署顯然更加友好。

結(jié)語

在 TDengine 的助力下，觀測云極大地節(jié)省了部署和運維成本，也顯著提升了系統(tǒng)的整體性能，讓前端用戶在使用體驗上更上一層樓。作為 TDengine 的合作伙伴，觀測云希望 TDengine 未來能夠有更多數(shù)學(xué)函數(shù)的支持，同時加強部分查詢功能對 Unicode 的支持，以更加豐富的功能促進雙方開展更為深度的合作模式。

“后面在我們的 SaaS 和私有化部署中都會默認(rèn)使用 TDengine，其他公有云（AWS、騰訊云等）上的服務(wù)都將以 TDengine 為主，對于新接入的用戶我們也將慢慢遷移到 TDengine 節(jié)點?！?/p>

未來隨著雙方合作的持續(xù)加強，可以預(yù)見，強強聯(lián)合的技術(shù)加持將為云原生行業(yè)的智能化監(jiān)控構(gòu)筑更加堅實的“技術(shù)底座”，為企業(yè)數(shù)字化轉(zhuǎn)型提供技術(shù)力量支撐，為國內(nèi)可觀測性技術(shù)的發(fā)展貢獻源源不斷的創(chuàng)造力。

觀測云簡介：觀測云，新一代 SaaS 化全鏈路數(shù)據(jù)可觀測平臺，實現(xiàn)統(tǒng)一采集、統(tǒng)一標(biāo)簽、統(tǒng)一存儲和統(tǒng)一界面，帶來全功能的一體化可觀測體驗。觀測云能全環(huán)境高基數(shù)采集數(shù)據(jù)，支持多維度信息智能檢索分析，及提供強大的自定義可編程能力，使系統(tǒng)運行狀態(tài)盡在掌控，故障根因無所遁形。聰明的團隊會觀測，可觀測性用觀測云。

濤思數(shù)據(jù)簡介：北京濤思數(shù)據(jù)科技有限公司（TAOS Data）瞄準(zhǔn)日益增長的物聯(lián)網(wǎng)數(shù)據(jù)市場，專注時序空間大數(shù)據(jù)的存儲、查詢、分析和計算，不依賴任何開源或第三方軟件，開發(fā)了擁有自主知識產(chǎn)權(quán)、100% 自主可控的高性能、分布式、支持 SQL 的時序數(shù)據(jù)庫 TDengine。采用 AGPL 許可證，濤思數(shù)據(jù)已經(jīng)將 TDengine 的內(nèi)核（存儲、計算引擎和集群）100% 開源，未來將盡最大努力打造開發(fā)者社區(qū)，維護開放開源的商業(yè)模式。