很多做數(shù)據(jù)分析的人，對 Pandas 都不陌生。

從一個(gè) CSV 文件開始，到清洗字段、篩選數(shù)據(jù)、聚合統(tǒng)計(jì)，再到畫圖、建模，Pandas 幾乎是 Python 數(shù)據(jù)分析工作流里繞不開的一站。它的好處很直接：上手快，API 清晰，處理結(jié)構(gòu)化數(shù)據(jù)很方便。無論是業(yè)務(wù)報(bào)表、科研數(shù)據(jù)，還是金融分析、設(shè)備監(jiān)測數(shù)據(jù)，只要能進(jìn)入 DataFrame，后面的分析工作就會順很多。

很多時(shí)候，分析人員并不是想換一套新工具，而是希望數(shù)據(jù)能順利進(jìn)入自己熟悉的 Python 工作流里。這也是 TDengine 時(shí)序數(shù)據(jù)庫與 Pandas 集成的意義所在：時(shí)序數(shù)據(jù)可以繼續(xù)存儲在 TDengine TSDB 中，而在需要分析和處理時(shí)，又可以通過 Pandas 接口讀取、寫入和進(jìn)一步加工。數(shù)據(jù)庫負(fù)責(zé)承接時(shí)序數(shù)據(jù)，Pandas 負(fù)責(zé)延續(xù)分析習(xí)慣，中間少一些手動導(dǎo)出、格式轉(zhuǎn)換和重復(fù)處理。

為什么要把 TDengine TSDB 和 Pandas 接起來？

對開發(fā)者和數(shù)據(jù)分析人員來說，這個(gè)集成的價(jià)值不在于“多了一個(gè)連接方式”，而在于工作流變順了。

以前，時(shí)序數(shù)據(jù)在數(shù)據(jù)庫里，分析邏輯在 Python 里，中間可能要手動導(dǎo)出、轉(zhuǎn)換、再加載。這個(gè)過程不僅麻煩，也容易引入格式、時(shí)間戳、字段類型等問題。通過 Pandas 與 TDengine TSDB 的集成，數(shù)據(jù)可以直接從 TDengine 進(jìn)入 DataFrame，也可以將 DataFrame 中的數(shù)據(jù)寫入 TDengine。這樣一來，分析人員不需要改變原有的 Pandas 使用習(xí)慣，也能直接處理 TDengine 中的時(shí)序數(shù)據(jù)。

舉個(gè)簡單的例子：電力設(shè)備持續(xù)上報(bào)電流、電壓、相位等數(shù)據(jù)，這些數(shù)據(jù)存儲在 TDengine TSDB 中。分析人員希望篩選出電流大于某個(gè)閾值、相位滿足條件的數(shù)據(jù)，并繼續(xù)做統(tǒng)計(jì)分析。借助 Pandas 的 read_sql，可以直接查詢 TDengine TSDB，把結(jié)果讀成 DataFrame，然后繼續(xù)使用 Pandas 完成后續(xù)處理。

這就是這次集成最實(shí)用的地方：數(shù)據(jù)庫和分析工具之間，不再需要繞一大圈。

如何接入：三步把數(shù)據(jù)交給 Pandas

TDengine TSDB 與 Pandas 的集成，核心是通過 SQLAlchemy 建立連接，再使用 Pandas 熟悉的接口完成數(shù)據(jù)交互。

使用前，需要準(zhǔn)備好 TDengine TSDB、SQLAlchemy、pandas 和 Python 連接器 taospy 等環(huán)境。連接時(shí)，Pandas 會通過 SQLAlchemy 訪問 TDengine TSDB 數(shù)據(jù)源，連接 URL 格式如下：

taos://[username]:[password]@[<host1>:<port1>]/[database_name]

接入流程可以簡單理解為三步：

• 第一步，建立連接。通過 SQLAlchemy 創(chuàng)建 TDengine TSDB 連接，后續(xù) Pandas 的讀寫操作都會基于這個(gè)連接完成。
• 第二步，寫入數(shù)據(jù)。將 DataFrame 中的數(shù)據(jù)通過?to_sql()?寫入 TDengine TSDB。對于時(shí)間戳、字符串、浮點(diǎn)數(shù)等字段，建議根據(jù)實(shí)際表結(jié)構(gòu)明確指定字段類型，減少自動推斷帶來的不確定性。
• 第三步，查詢數(shù)據(jù)?？梢允褂?read_sql()?執(zhí)行 SQL 查詢，并將結(jié)果直接讀取為 DataFrame；也可以使用?read_sql_table()?讀取表數(shù)據(jù)，并在數(shù)據(jù)量較大時(shí)配合?chunksize?分批處理。

這樣一來，TDengine TSDB 中的時(shí)序數(shù)據(jù)就可以比較自然地進(jìn)入 Pandas 分析流程。完整的環(huán)境要求、代碼示例、數(shù)據(jù)類型映射和參數(shù)說明，可以查看官方技術(shù)文檔：https://docs.taosdata.com/third-party/bi/Pandas/

結(jié)語

Pandas 之所以受歡迎，是因?yàn)樗寯?shù)據(jù)分析變得直接；TDengine TSDB 之所以適合時(shí)序場景，是因?yàn)樗嫦蚝Ａ繒r(shí)序數(shù)據(jù)的寫入、存儲和查詢做了專門設(shè)計(jì)。兩者連接起來以后，開發(fā)者和分析人員就可以在熟悉的 Python 工作流里，直接處理 TDengine TSDB 中的時(shí)序數(shù)據(jù)。

對很多團(tuán)隊(duì)來說，這種集成的意義并不復(fù)雜：數(shù)據(jù)繼續(xù)存放在適合時(shí)序場景的數(shù)據(jù)庫里，分析繼續(xù)使用成熟順手的 Pandas 工具。中間少一些導(dǎo)出導(dǎo)入，少一些格式轉(zhuǎn)換，少一些重復(fù)勞動，工作自然就更高效。

如果你正在使用 Python 做數(shù)據(jù)分析，同時(shí)也在處理設(shè)備、傳感器、工業(yè)系統(tǒng)或運(yùn)維監(jiān)控中的時(shí)序數(shù)據(jù)，可以嘗試通過 TDengine TSDB Python 連接器，將 Pandas 接入 TDengine TSDB，讓時(shí)序數(shù)據(jù)更方便地進(jìn)入你的分析流程。