Riješeno: pande čitaju parket iz s3

U današnjem svijetu kojim upravlja moda, rad s velikim skupovima podataka prilično je uobičajen, a pandas je popularna biblioteka u Pythonu koja pruža moćne alate za manipulaciju podacima jednostavne za korištenje. Među velikom raznolikošću formata podataka, Parquet se široko koristi zbog svoje učinkovite pohrane u stupovima i lagane sintakse. Amazon S3 je popularna opcija za pohranu vaših datoteka, a njegova integracija s pandama može značajno poboljšati vaš tijek rada. U ovom ćemo članku istražiti kako čitati datoteke Parquet iz Amazona S3 pomoću moćne knjižnice pandas.

Da biste riješili problem čitanja Parquet datoteka iz S3, morate razumjeti uključene ključne komponente i biblioteke. Dvije glavne biblioteke koje ćemo koristiti su pandas i s3fs. Pandas će se baviti obradom podataka, dok će s3fs omogućiti povezivanje s Amazonom S3.

import pandas as pd
import s3fs

Pandas knjižnica

pande je biblioteka otvorenog koda koja pruža snažne alate za manipulaciju podacima i analizu u Pythonu. Naširoko ga koristi zajednica znanosti o podacima zahvaljujući svojoj fleksibilnosti i mogućnosti rada s različitim formatima podataka, uključujući datoteke Parquet. S pandama možete jednostavno učitati, analizirati i manipulirati podacima, što vam omogućuje brzo istraživanje i razumijevanje obrazaca i trendova u vašim podacima.

S3fs knjižnica

S3fs je Python sučelje nalik datoteci za neprimjetan pristup Amazon S3 objektima. Kombinira funkcionalnost Boto3 i FUSE (Filesystem in Userspace), čineći nevjerojatno lakim rad sa S3 objektima kao da su lokalne datoteke. Kroz s3fs možete čitati i pisati datoteke iz S3, popisivati ​​i brisati objekte i izvoditi druge operacije datoteka izravno s Pythonom.

Sada kada razumijete uključene biblioteke, prođimo kroz korak po korak objašnjenje čitanja Parquet datoteka iz S3 pomoću panda i s3fs.

1. Instaliraj pande i s3fs – Prvo morate instalirati i pandas i s3fs biblioteke kroz pip:

pip install pandas s3fs

2. Uvoz knjižnica – Započnite s uvozom pandas i s3fs biblioteka:

import pandas as pd
import s3fs

3. Postavite konfiguraciju – Postavite svoje Amazon S3 vjerodajnice tako što ćete ih proslijediti izravno u s3fs ili konfigurirati svoje okruženje s AWS_ACCESS_KEY_ID i AWS_SECRET_ACCESS_KEY:

fs = s3fs.S3FileSystem(
  key='your_aws_access_key_id',
  secret='your_aws_secret_access_key'
)

4. Pročitajte datoteku parketa iz S3 – Koristite pandas i s3fs za čitanje svoje datoteke Parket:

file_path = 's3://your_bucket/path/to/your/parquet/file.parquet'
df = pd.read_parquet(file_path, storage_options={"s3": {"anon": False}})

Nakon izvođenja ovih koraka, trebali ste uspješno pročitati svoju datoteku Parquet iz S3, i podatkovni okvir 'df' sada sadrži vaše S3 podatke u tabelarnom formatu.

U ovom smo članku vidjeli kako pristupiti i čitati Parquet datoteke s Amazona S3 pomoću moćne biblioteke pandas za manipulaciju podacima i s3fs za besprijekorno S3 povezivanje. Ovi alati mogu uvelike poboljšati vaše tijekove obrade podataka i omogućiti vam da se usredotočite na izvlačenje uvida i razumijevanje najnovijih trendova u svijetu mode. Od istraživanja različitih stilskih kombinacija do analize povijesti i evolucije odjevnih trendova, pandas olakšava otkrivanje skrivenih dragulja u vašim podacima.