雖然新冠狀病毒的疫情沒有結束，濤思數(shù)據(jù)團隊都居家遠程辦公，還是按期在2月10日線上發(fā)布了TDengine ARM 32位與64位版，而且100%開源，只是把原計劃的線下發(fā)布活動取消了。大家現(xiàn)在就可以到GitHub下載所有源碼進行編譯、運行和測試了。雖然TDengine早開源了，但僅支持X86，這次ARM版的發(fā)布，了卻了我的一個心愿，就是利用TDengine體量小、性能高、資源占用少的優(yōu)勢，為邊緣計算、嵌入式系統(tǒng)提供一高效、高速、簡單易用的時序數(shù)據(jù)處理系統(tǒng)，來解決流行的SQLite在物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)場景下的諸多不足。

SQLite這款產(chǎn)品在我心目中是神一樣的存在，是我3年前創(chuàng)立濤思數(shù)據(jù)時樹的一個學習標桿。從創(chuàng)始人Richard Hipp 2000年開始開發(fā)起，SQLite現(xiàn)已經(jīng)有數(shù)千億份拷貝在各種設備里運行，包括大家熟悉的Android、Apple手機、Firefox、Chrome、Safari瀏覽器，眾多的嵌入式盒子，包括物聯(lián)網(wǎng)網(wǎng)關等都裝有SQLite。它是全球裝機量最大的數(shù)據(jù)庫，遠遠超過大家熟悉的MySQL、Oracle數(shù)據(jù)庫。為何SQLite如此流行？一句話，產(chǎn)品做到了極致?？纯催@些亮點：沒有服務器，僅僅一個C語言庫，整個數(shù)據(jù)庫存放于單一跨平臺的文件，支持ACID，零配置，而且體量可以僅為600KB。關鍵是，SQLite還是開源免費的。在資源緊張的各種嵌入式設備里，不用它才怪呢。

做的這么好的產(chǎn)品，我們還有機會嗎？幸運的是，我們有。因為隨著物聯(lián)網(wǎng)的興起，各種大大小小的設備都在采集數(shù)據(jù)，而這些采集的數(shù)據(jù)具有鮮明的特點，比如帶有時間戳、結構化、沒有更新、數(shù)據(jù)源唯一等。而且這些數(shù)據(jù)的應用上，特點也很明顯，比如數(shù)據(jù)往往只保留一定的時長、需要做降采樣、插值、實時計算、聚合等操作，關心的是一段時間的趨勢而不是某一特點時間的值等等。隨著云平臺的普及，這些設備往往還需要將原始或加工后的數(shù)據(jù)同步到云端。目前在嵌入式的各種盒子里，大家都是采用SQLite來處理。而SQLite是標準的關系型數(shù)據(jù)庫，基本的存儲、查詢都沒有問題，但采集量偏大之后，性能成為瓶頸，而且還得自己開發(fā)很多功能，比如定期刪除數(shù)據(jù)、實現(xiàn)數(shù)據(jù)的斷點續(xù)傳、實現(xiàn)降采樣、聚合計算等等。對于開發(fā)者來講，用SQLite來處理這些采集的數(shù)據(jù)，只是一個權宜之計，不是最佳方案。這就是機會，而且是巨大的機會，因為越來越多的設備在聯(lián)網(wǎng)，在采集數(shù)據(jù)。

三年前，我在研究物聯(lián)網(wǎng)數(shù)據(jù)處理這個市場的時候，就仔細琢磨了云端和邊緣側的需求。云端是大數(shù)據(jù)平臺，需要高并發(fā)、高吞吐率、高可靠，而單一嵌入式設備里，資源少，數(shù)據(jù)量小。但從功能來看，兩者需求又是幾乎一致的，都要有存儲、查詢、分析、計算、訂閱的功能。因此從讓開發(fā)者簡單易用的角度出發(fā)，我決定將云端與邊緣側用同一套代碼、同樣的API接口實現(xiàn)，只是集群與單機版的區(qū)別，以解決云端的大數(shù)據(jù)量與高可靠問題。

首先，我認為要學習SQLite的無依賴、體量小的優(yōu)點。因此TDengine的開發(fā)決定采用C語言，沒有使用任何第三方的庫，一切都是自己開發(fā)，包括定時器、RPC等模塊等。雖然C語言開發(fā)有一系列頭疼問題，如內(nèi)存泄露、無效指針、多線程同步等，但我很慶幸當時的決定，因為TDengine  ARM版的安裝包不到1.3MB，而且內(nèi)存的需求不到1MB，遠遠小于InfluxDB、OpenTSDB等其他時序數(shù)據(jù)。在資源緊張的嵌入式系統(tǒng)，TDengine一下成了時序數(shù)據(jù)庫的理想選擇。

采集的時序數(shù)據(jù)的處理往往不只是一個簡單的存儲和查詢，還需要做加工，最常用的是降采樣，需要將采集的原始數(shù)據(jù)按照固定的時間間隔在時間軸上做聚合。在資源豐富的服務器，可以采用Spark、Flink等流式計算等工具來實現(xiàn)。在資源緊張的嵌入式系統(tǒng)，安裝一個Spark只是一種奢望。SQLite解決了數(shù)據(jù)存儲問題，但沒有提供緩存功能，因此如果一個嵌入式系統(tǒng)要對采集數(shù)據(jù)做實時緩存，就需要采用Redis這類工具，不然就需要自己開發(fā)。考慮到這些因素，我從一開始設計，就決定要打造一個全棧的時序數(shù)據(jù)處理工具，不僅只是一個時序數(shù)據(jù)庫，還提供緩存、流式計算、消息隊列、訂閱等系列功能，最大程度地減少對系統(tǒng)資源的消耗，最大程度地減少系統(tǒng)設計和維護的復雜度。很慶幸，自己又做了一正確的決策，讓TDengine在資源緊張的嵌入式系統(tǒng)里能脫穎而出。

在物聯(lián)網(wǎng)發(fā)展起來之前，每個嵌入式盒子都是孤立的，還沒有云端的概念。但現(xiàn)在，由于通訊成本大幅降低，各種采集的數(shù)據(jù)要匯聚到云端做進一步分析處理，為業(yè)務的運營、預警、優(yōu)化等提供決策依據(jù)。因此邊云協(xié)同（邊緣計算-云端）概念應運而生，邊緣側需要源源不斷的將采集包括加工后的的數(shù)據(jù)發(fā)往云端。但因為網(wǎng)絡的穩(wěn)定性、數(shù)據(jù)權限等問題，邊云協(xié)同的實現(xiàn)不是一簡單的事情。2017年底，我認為要通過數(shù)據(jù)訂閱的方式來解決這個問題，讓云端可以訂閱邊緣側的原始數(shù)據(jù)、或是符合指定過濾條件的數(shù)據(jù)。因此TDengine的第一個版本就帶有訂閱功能。在研究邊云協(xié)同的研發(fā)同學試試我說的訂閱功能，看是否能大幅減少你的開發(fā)成本。

SQLite是超級成功的軟件，但開發(fā)團隊很小，其官網(wǎng)公布的開發(fā)者僅僅三個人。創(chuàng)始人Richard Hipp是1984年從美國喬治理工本科畢業(yè)的，2000年時開始啟動SQLite的開發(fā)，已經(jīng)20年，難得的是他現(xiàn)在仍然是整個項目的架構師和負責人，貢獻了大部分代碼。因此從組建濤思數(shù)據(jù)團隊的第一天起，我就牢牢的記住一個原則，底層工具的成功不依賴于團隊的規(guī)模，而是要有一支能全心身投入的精干隊伍，并且創(chuàng)始人自己要參與設計與編碼工作。因此，時至今日，即使在獲得GGV紀源資本、紅杉中國的投資后，TDengine研發(fā)團隊的成員還不到10人。我想，隨著業(yè)務的開展，也許我們會組建不小的外圍應用開發(fā)和技術支持隊伍，但是TDengine這個核心工具本身，研發(fā)人員一定會控制在10人以內(nèi)。而且希望20年之后，我雖然已過70，還能參與TDengine的研發(fā)，還能debug代碼。

TDengine不是要代替SQLite，只是要在時序數(shù)據(jù)處理的這個細分市場里提供一更強大的工具。TDengine是否能像SQLite這樣成功，在數(shù)億臺設備上使用，取決于TDengine能否一直保持性能高、體量小、功能全、資源占用少的特色，取決于我自己還有整個團隊能否十年如一日的堅持和專注。更重要的是，我們必須開源，100%的開源，而且將開源進行到底。如果不開源，我想象不出任何途徑能讓TDengine獲得SQLite這樣的成功，讓全球數(shù)千萬開發(fā)者受益。如果你能去GitHub下載我們的源碼，測試體驗，就是對我們開源最大的支持，就能讓我們離目標更近一步。如果你使用過程中遇到任何問題，歡迎通過GitHub遞交給我們，哪怕在疫情期間，也都能得到我和團隊的及時回復和反饋。隔離病毒，不隔離開源的熱情！

一個程序員，如果一輩子能夠開發(fā)出一款媲美SQLite的軟件，讓全球開發(fā)者受益，那一件最自豪、最幸福的事情。受上帝的垂青，50歲的我，在一個早被IT行業(yè)淘汰的年齡，找到了一個這樣的機會，而且很幸運，組建了一個精干的團隊，還獲得了不小的風險投資?，F(xiàn)在版本已經(jīng)發(fā)布，剩下的是要細細地磨，持續(xù)地磨，不斷優(yōu)化，解決各種實際應用中遇到的問題，而且除X86、ARM之外，適配更多的系統(tǒng)。愿TDengine能像SQLite一樣流行，在數(shù)百億的設備里安裝上。

希望TDengine ARM版的發(fā)布能夠減輕一下技術人和創(chuàng)業(yè)者在疫情和寒冬中的焦慮，能夠溫暖你、振奮你。人類抵擋了一次又一次的疫情，新冠病毒也將很快被人類征服。疫情會過去，寒冬會過去，春天會來，蝴蝶也會來，讓我們一起靜待春暖花開！

陶建輝

2020年2月23日于北京望京家中