已解決：將 pandas 表轉為 postgresql

在數據分析和操作領域，最流行的 Python 庫之一是 大熊貓. 它提供了多種強大的工具來處理結構化數據，使其易於操作、可視化和分析。 數據分析師可能遇到的眾多任務之一是從 CSV 歸檔到 PostgreSQL的 數據庫。 在本文中，我們將討論如何使用兩者有效且高效地執行此任務 大熊貓 和 心理諮詢師2 圖書館。 我們還將探討此過程中涉及的不同功能和庫，以提供對解決方案的全面了解。

Pandas 和 PostgreSQL 簡介

Pandas 是一個強大的 Python 庫，它為數據分析提供了易於使用的數據結構和數據操作函數。 在處理大型數據集或需要執行複雜的數據轉換時，它特別有用。 另一方面，PostgreSQL 是一個免費的開源對象關係數據庫管理系統 (ORDBMS)，強調可擴展性和 SQL 合規性。 它廣泛用於大規模、複雜的數據管理任務。

現在，假設我們有一個包含大型數據集的 CSV 文件，我們想將其導入 PostgreSQL 數據庫。 完成此任務的一種常見方法是將 Pandas 與 psycopg2 庫結合使用，它為 PostgreSQL 數據庫提供了一個適配器，允許我們使用 Python 與其進行通信。

熊貓：讀取 CSV 文件

我們流程的第一步是使用 Pandas 讀取 CSV 文件的內容。

import pandas as pd

filename = "example.csv"
df = pd.read_csv(filename)

這段代碼使用了 pd.read_csv() 函數，它讀取 CSV 文件並返回一個 DataFrame 對象。 有了DataFrame對象，我們就可以很方便的對數據進行操作和分析。

連接到 PostgreSQL 數據庫

下一步是使用 psycopg2 庫連接到我們的 PostgreSQL 數據庫。 為此，我們需要安裝 psycopg2 庫，這可以使用 pip 完成：

pip install psycopg2

安裝庫後，我們需要連接到我們的 PostgreSQL 數據庫：

import psycopg2

connection = psycopg2.connect(
    dbname="your_database_name",
    user="your_username",
    password="your_password",
    host="your_hostname",
    port="your_port",
)

psycopg2.connect() 函數使用提供的憑據建立與數據庫服務器的連接。 如果連接成功，該函數將返回一個連接對象，我們將使用該對象與數據庫進行交互。

在 PostgreSQL 中創建表

現在我們在 DataFrame 對像中有了數據並連接到 PostgreSQL 數據庫，我們可以在數據庫中創建一個表來存儲我們的數據。

cursor = connection.cursor()
create_table_query = '''
CREATE TABLE IF NOT EXISTS example_table (
    column1 data_type,
    column2 data_type,
    ...
)
'''
cursor.execute(create_table_query)
connection.commit()

在此代碼片段中，我們首先使用 連接.cursor() 方法。 游標用於執行數據庫操作，如創建表和插入數據。 接下來，我們定義一個用於創建表的 SQL 查詢，並使用 游標.execute() 方法。 最後，我們將更改提交到數據庫 連接.commit().

向 PostgreSQL 數據庫中插入數據

現在我們有了一個表，我們可以使用以下命令將 DataFrame 中的數據插入到 PostgreSQL 數據庫中 to_sql() Pandas提供的方法。

from sqlalchemy import create_engine

engine = create_engine("postgresql://your_username:your_password@your_hostname:your_port/your_database_name")
df.to_sql("example_table", engine, if_exists="append", index=False)

在此代碼片段中，我們首先使用 創建引擎（） SQLAlchemy 庫的函數，它需要一個包含我們的數據庫憑據的連接字符串。 然後，我們使用 to_sql() 方法將數據從我們的 DataFrame 插入到 PostgreSQL 數據庫中的“example_table”表中。

總之，本文提供了有關如何使用 Pandas 和 psycopg2 將數據從 CSV 文件導入 PostgreSQL 數據庫的綜合指南。 通過將 Pandas 中數據操作的簡便性與 PostgreSQL 的強大功能和可擴展性相結合，我們可以實現將 CSV 數據導入數據庫這一常見任務的無縫高效解決方案。

相關文章：

發表評論