ಪರಿಹರಿಸಲಾಗಿದೆ: ಟೇಬಲ್ ಪಾಂಡಾಗಳು ಪೋಸ್ಟ್‌ಗ್ರೆಸ್ಕ್ಲ್‌ಗೆ

ಡೇಟಾ ವಿಶ್ಲೇಷಣೆ ಮತ್ತು ಕುಶಲತೆಯ ಜಗತ್ತಿನಲ್ಲಿ, ಅತ್ಯಂತ ಜನಪ್ರಿಯ ಪೈಥಾನ್ ಲೈಬ್ರರಿಗಳಲ್ಲಿ ಒಂದಾಗಿದೆ ಪಾಂಡಾಗಳು. ರಚನಾತ್ಮಕ ಡೇಟಾದೊಂದಿಗೆ ಕೆಲಸ ಮಾಡಲು ಇದು ವಿವಿಧ ಶಕ್ತಿಯುತ ಸಾಧನಗಳನ್ನು ಒದಗಿಸುತ್ತದೆ, ಇದು ಕುಶಲತೆಯಿಂದ, ದೃಶ್ಯೀಕರಿಸಲು ಮತ್ತು ವಿಶ್ಲೇಷಿಸಲು ಸುಲಭವಾಗುತ್ತದೆ. ಡೇಟಾ ವಿಶ್ಲೇಷಕರು ಎದುರಿಸಬಹುದಾದ ಹಲವಾರು ಕಾರ್ಯಗಳಲ್ಲಿ ಒಂದು ಡೇಟಾವನ್ನು ಆಮದು ಮಾಡಿಕೊಳ್ಳುವುದು a CSV a ಗೆ ಫೈಲ್ ಮಾಡಿ PostgreSQL ಡೇಟಾಬೇಸ್. ಈ ಲೇಖನದಲ್ಲಿ, ಎರಡನ್ನೂ ಬಳಸಿಕೊಂಡು ಈ ಕೆಲಸವನ್ನು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಮತ್ತು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಹೇಗೆ ನಿರ್ವಹಿಸುವುದು ಎಂದು ನಾವು ಚರ್ಚಿಸುತ್ತೇವೆ ಪಾಂಡಾಗಳು ಮತ್ತೆ ಸೈಕೋಪ್ 2 ಗ್ರಂಥಾಲಯ. ಈ ಪ್ರಕ್ರಿಯೆಯಲ್ಲಿ ಒಳಗೊಂಡಿರುವ ವಿವಿಧ ಕಾರ್ಯಗಳು ಮತ್ತು ಗ್ರಂಥಾಲಯಗಳನ್ನು ನಾವು ಅನ್ವೇಷಿಸುತ್ತೇವೆ, ಪರಿಹಾರದ ಸಮಗ್ರ ತಿಳುವಳಿಕೆಯನ್ನು ಒದಗಿಸುತ್ತೇವೆ.

ಪಾಂಡಾಗಳು ಮತ್ತು PostgreSQL ಗೆ ಪರಿಚಯ

ಪಾಂಡಾಗಳು ಪ್ರಬಲ ಪೈಥಾನ್ ಲೈಬ್ರರಿಯಾಗಿದ್ದು ಅದು ಡೇಟಾ ವಿಶ್ಲೇಷಣೆಗಾಗಿ ಬಳಸಲು ಸುಲಭವಾದ ಡೇಟಾ ರಚನೆಗಳು ಮತ್ತು ಡೇಟಾ ಮ್ಯಾನಿಪ್ಯುಲೇಷನ್ ಕಾರ್ಯಗಳನ್ನು ಒದಗಿಸುತ್ತದೆ. ದೊಡ್ಡ ಡೇಟಾ ಸೆಟ್‌ಗಳೊಂದಿಗೆ ವ್ಯವಹರಿಸುವಾಗ ಅಥವಾ ನೀವು ಸಂಕೀರ್ಣ ಡೇಟಾ ರೂಪಾಂತರಗಳನ್ನು ನಿರ್ವಹಿಸಬೇಕಾದಾಗ ಇದು ವಿಶೇಷವಾಗಿ ಉಪಯುಕ್ತವಾಗಿದೆ. ಮತ್ತೊಂದೆಡೆ, PostgreSQL ಒಂದು ಉಚಿತ ಮತ್ತು ಮುಕ್ತ-ಮೂಲ ವಸ್ತು-ಸಂಬಂಧಿತ ಡೇಟಾಬೇಸ್ ನಿರ್ವಹಣಾ ವ್ಯವಸ್ಥೆಯಾಗಿದೆ (ORDBMS) ವಿಸ್ತರಣೆ ಮತ್ತು SQL ಅನುಸರಣೆಗೆ ಒತ್ತು ನೀಡುತ್ತದೆ. ದೊಡ್ಡ ಪ್ರಮಾಣದ, ಸಂಕೀರ್ಣ ಡೇಟಾ ನಿರ್ವಹಣೆ ಕಾರ್ಯಗಳಿಗಾಗಿ ಇದನ್ನು ವ್ಯಾಪಕವಾಗಿ ಬಳಸಲಾಗುತ್ತದೆ.

ಈಗ, ನಾವು ದೊಡ್ಡ ಡೇಟಾಸೆಟ್ ಅನ್ನು ಹೊಂದಿರುವ CSV ಫೈಲ್ ಅನ್ನು ಹೊಂದಿದ್ದೇವೆ ಎಂದು ಹೇಳೋಣ ಮತ್ತು ನಾವು ಅದನ್ನು PostgreSQL ಡೇಟಾಬೇಸ್ಗೆ ಆಮದು ಮಾಡಿಕೊಳ್ಳಲು ಬಯಸುತ್ತೇವೆ. ಈ ಕಾರ್ಯವನ್ನು ಸಾಧಿಸಲು ಒಂದು ಸಾಮಾನ್ಯ ಮಾರ್ಗವೆಂದರೆ psycopg2 ಲೈಬ್ರರಿಯೊಂದಿಗೆ ಸಂಯೋಜನೆಯಲ್ಲಿ ಪಾಂಡಾಗಳನ್ನು ಬಳಸುವುದು, ಇದು PostgreSQL ಡೇಟಾಬೇಸ್‌ಗಳಿಗೆ ಅಡಾಪ್ಟರ್ ಅನ್ನು ಒದಗಿಸುತ್ತದೆ ಅದು ಪೈಥಾನ್ ಅನ್ನು ಬಳಸಿಕೊಂಡು ಅದರೊಂದಿಗೆ ಸಂವಹನ ನಡೆಸಲು ನಮಗೆ ಅನುಮತಿಸುತ್ತದೆ.

ಪಾಂಡಾಗಳು: CSV ಫೈಲ್‌ಗಳನ್ನು ಓದುವುದು

ಪಾಂಡಾಗಳನ್ನು ಬಳಸಿಕೊಂಡು ನಮ್ಮ CSV ಫೈಲ್‌ನ ವಿಷಯವನ್ನು ಓದುವುದು ನಮ್ಮ ಪ್ರಕ್ರಿಯೆಯ ಮೊದಲ ಹಂತವಾಗಿದೆ.

import pandas as pd

filename = "example.csv"
df = pd.read_csv(filename)

ಈ ಕೋಡ್ ಅನ್ನು ಬಳಸುತ್ತದೆ pd.read_csv() ಫಂಕ್ಷನ್, ಇದು CSV ಫೈಲ್ ಅನ್ನು ಓದುತ್ತದೆ ಮತ್ತು ಡೇಟಾಫ್ರೇಮ್ ಆಬ್ಜೆಕ್ಟ್ ಅನ್ನು ಹಿಂತಿರುಗಿಸುತ್ತದೆ. ಡೇಟಾಫ್ರೇಮ್ ಆಬ್ಜೆಕ್ಟ್‌ನೊಂದಿಗೆ, ನಾವು ಡೇಟಾವನ್ನು ಸುಲಭವಾಗಿ ಮ್ಯಾನಿಪುಲೇಟ್ ಮಾಡಬಹುದು ಮತ್ತು ವಿಶ್ಲೇಷಿಸಬಹುದು.

PostgreSQL ಡೇಟಾಬೇಸ್‌ಗೆ ಸಂಪರ್ಕಿಸಲಾಗುತ್ತಿದೆ

psycopg2 ಲೈಬ್ರರಿಯನ್ನು ಬಳಸಿಕೊಂಡು ನಮ್ಮ PostgreSQL ಡೇಟಾಬೇಸ್‌ಗೆ ಸಂಪರ್ಕಿಸುವುದು ಮುಂದಿನ ಹಂತವಾಗಿದೆ. ಇದನ್ನು ಮಾಡಲು, ನಾವು psycopg2 ಲೈಬ್ರರಿಯನ್ನು ಸ್ಥಾಪಿಸಬೇಕಾಗಿದೆ, ಇದನ್ನು ಪಿಪ್ ಬಳಸಿ ಮಾಡಬಹುದು:

pip install psycopg2

ಲೈಬ್ರರಿಯನ್ನು ಒಮ್ಮೆ ಸ್ಥಾಪಿಸಿದ ನಂತರ, ನಾವು ನಮ್ಮ PostgreSQL ಡೇಟಾಬೇಸ್‌ಗೆ ಸಂಪರ್ಕಿಸಬೇಕಾಗಿದೆ:

import psycopg2

connection = psycopg2.connect(
    dbname="your_database_name",
    user="your_username",
    password="your_password",
    host="your_hostname",
    port="your_port",
)

ನಮ್ಮ psycopg2.connect() ಕಾರ್ಯವು ಒದಗಿಸಿದ ರುಜುವಾತುಗಳನ್ನು ಬಳಸಿಕೊಂಡು ಡೇಟಾಬೇಸ್ ಸರ್ವರ್‌ನೊಂದಿಗೆ ಸಂಪರ್ಕವನ್ನು ಸ್ಥಾಪಿಸುತ್ತದೆ. ಸಂಪರ್ಕವು ಯಶಸ್ವಿಯಾದರೆ, ಕಾರ್ಯವು ನಾವು ಡೇಟಾಬೇಸ್‌ನೊಂದಿಗೆ ಸಂವಹನ ನಡೆಸಲು ಬಳಸುವ ಸಂಪರ್ಕ ವಸ್ತುವನ್ನು ಹಿಂತಿರುಗಿಸುತ್ತದೆ.

PostgreSQL ನಲ್ಲಿ ಟೇಬಲ್ ರಚಿಸಲಾಗುತ್ತಿದೆ

ಈಗ ನಾವು DataFrame ಆಬ್ಜೆಕ್ಟ್‌ನಲ್ಲಿ ನಮ್ಮ ಡೇಟಾವನ್ನು ಹೊಂದಿದ್ದೇವೆ ಮತ್ತು PostgreSQL ಡೇಟಾಬೇಸ್‌ಗೆ ಸಂಪರ್ಕವನ್ನು ಹೊಂದಿದ್ದೇವೆ, ನಮ್ಮ ಡೇಟಾವನ್ನು ಸಂಗ್ರಹಿಸಲು ನಾವು ಡೇಟಾಬೇಸ್‌ನಲ್ಲಿ ಟೇಬಲ್ ಅನ್ನು ರಚಿಸಬಹುದು.

cursor = connection.cursor()
create_table_query = '''
CREATE TABLE IF NOT EXISTS example_table (
    column1 data_type,
    column2 data_type,
    ...
)
'''
cursor.execute(create_table_query)
connection.commit()

ಈ ಕೋಡ್ ತುಣುಕಿನಲ್ಲಿ, ನಾವು ಮೊದಲು ಕರ್ಸರ್ ವಸ್ತುವನ್ನು ಬಳಸಿ ರಚಿಸುತ್ತೇವೆ connection.cursor() ವಿಧಾನ. ಕೋಷ್ಟಕಗಳನ್ನು ರಚಿಸುವುದು ಮತ್ತು ಡೇಟಾವನ್ನು ಸೇರಿಸುವುದು ಮುಂತಾದ ಡೇಟಾಬೇಸ್ ಕಾರ್ಯಾಚರಣೆಗಳನ್ನು ನಿರ್ವಹಿಸಲು ಕರ್ಸರ್ ಅನ್ನು ಬಳಸಲಾಗುತ್ತದೆ. ಮುಂದೆ, ನಾವು ಕೋಷ್ಟಕವನ್ನು ರಚಿಸಲು SQL ಪ್ರಶ್ನೆಯನ್ನು ವ್ಯಾಖ್ಯಾನಿಸುತ್ತೇವೆ ಮತ್ತು ಅದನ್ನು ಬಳಸಿಕೊಂಡು ಕಾರ್ಯಗತಗೊಳಿಸುತ್ತೇವೆ cursor.execute() ವಿಧಾನ. ಅಂತಿಮವಾಗಿ, ನಾವು ಡೇಟಾಬೇಸ್‌ಗೆ ಬದಲಾವಣೆಗಳನ್ನು ಮಾಡುತ್ತೇವೆ connection.commit().

PostgreSQL ಡೇಟಾಬೇಸ್‌ಗೆ ಡೇಟಾವನ್ನು ಸೇರಿಸಲಾಗುತ್ತಿದೆ

ಈಗ ನಾವು ಟೇಬಲ್ ಅನ್ನು ಹೊಂದಿದ್ದೇವೆ, ನಾವು ನಮ್ಮ ಡೇಟಾಫ್ರೇಮ್‌ನಿಂದ ಡೇಟಾವನ್ನು ಪೋಸ್ಟ್‌ಗ್ರೆಎಸ್‌ಕ್ಯುಎಲ್ ಡೇಟಾಬೇಸ್‌ಗೆ ಸೇರಿಸಬಹುದು to_sql() ಪಾಂಡಾಗಳು ಒದಗಿಸಿದ ವಿಧಾನ.

from sqlalchemy import create_engine

engine = create_engine("postgresql://your_username:your_password@your_hostname:your_port/your_database_name")
df.to_sql("example_table", engine, if_exists="append", index=False)

ಈ ಕೋಡ್ ತುಣುಕಿನಲ್ಲಿ, ನಾವು ಮೊದಲು ಡೇಟಾಬೇಸ್ ಎಂಜಿನ್ ಅನ್ನು ಬಳಸಿಕೊಂಡು ರಚಿಸುತ್ತೇವೆ create_engine() SQLAlchemy ಲೈಬ್ರರಿಯ ಕಾರ್ಯ, ನಮ್ಮ ಡೇಟಾಬೇಸ್ ರುಜುವಾತುಗಳನ್ನು ಹೊಂದಿರುವ ಸಂಪರ್ಕ ಸ್ಟ್ರಿಂಗ್ ಅಗತ್ಯವಿದೆ. ನಂತರ, ನಾವು ಬಳಸುತ್ತೇವೆ to_sql() PostgreSQL ಡೇಟಾಬೇಸ್‌ನಲ್ಲಿರುವ "ಉದಾಹರಣೆ_ಟೇಬಲ್" ಕೋಷ್ಟಕಕ್ಕೆ ನಮ್ಮ ಡೇಟಾಫ್ರೇಮ್‌ನಿಂದ ಡೇಟಾವನ್ನು ಸೇರಿಸುವ ವಿಧಾನ.

ಕೊನೆಯಲ್ಲಿ, ಪಾಂಡಾಸ್ ಮತ್ತು ಸೈಕಾಪ್ಜಿ 2 ಅನ್ನು ಬಳಸಿಕೊಂಡು CSV ಫೈಲ್‌ನಿಂದ ಪೋಸ್ಟ್‌ಗ್ರೆಎಸ್‌ಕ್ಯುಎಲ್ ಡೇಟಾಬೇಸ್‌ಗೆ ಡೇಟಾವನ್ನು ಹೇಗೆ ಆಮದು ಮಾಡಿಕೊಳ್ಳುವುದು ಎಂಬುದರ ಕುರಿತು ಈ ಲೇಖನವು ಸಮಗ್ರ ಮಾರ್ಗದರ್ಶಿಯನ್ನು ಒದಗಿಸುತ್ತದೆ. PostgreSQL ನ ಶಕ್ತಿ ಮತ್ತು ಸ್ಕೇಲೆಬಿಲಿಟಿಯೊಂದಿಗೆ ಪಾಂಡಾಗಳಲ್ಲಿ ಡೇಟಾ ಕುಶಲತೆಯ ಸುಲಭತೆಯನ್ನು ಸಂಯೋಜಿಸುವ ಮೂಲಕ, CSV ಡೇಟಾವನ್ನು ಡೇಟಾಬೇಸ್‌ಗೆ ಆಮದು ಮಾಡಿಕೊಳ್ಳುವ ಸಾಮಾನ್ಯ ಕಾರ್ಯಕ್ಕೆ ನಾವು ತಡೆರಹಿತ ಮತ್ತು ಪರಿಣಾಮಕಾರಿ ಪರಿಹಾರವನ್ನು ಸಾಧಿಸಬಹುದು.