I dagens motedrevne verden er det ganske vanlig å håndtere store datasett, og pandaer er et populært bibliotek i Python som gir kraftige, brukervennlige datamanipulasjonsverktøy. Blant det store utvalget av dataformater, er Parquet mye brukt for sin effektive søylelagring og lette syntaks. Amazon S3 er et populært lagringsalternativ for filene dine, og å integrere den med pandaer kan forbedre arbeidsflyten din betraktelig. I denne artikkelen vil vi utforske hvordan du leser Parkett-filer fra Amazon S3 ved å bruke det kraftige panda-biblioteket.
For å løse problemet med å lese Parquet-filer fra S3, må du forstå nøkkelkomponentene og bibliotekene som er involvert. De to hovedbibliotekene vi skal bruke er pandaer og s3fs. Pandas vil håndtere behandlingen av dataene, mens s3fs vil sørge for tilkobling til Amazon S3.
import pandas as pd import s3fs
Pandas bibliotek
pandaer er et åpen kildekode-bibliotek som gir kraftige datamanipulerings- og analyseverktøy i Python. Den er mye brukt av datavitenskapssamfunnet, takket være fleksibiliteten og evnen til å jobbe med forskjellige dataformater, inkludert Parkett-filer. Med pandaer kan du enkelt laste, analysere og manipulere data, slik at du raskt kan utforske og forstå mønstrene og trendene i dataene dine.
S3fs bibliotek
S3fs er et Python-fillignende grensesnitt for sømløs tilgang til Amazon S3-objekter. Den kombinerer funksjonaliteten til Boto3 og FUSE (Filesystem in Userspace), noe som gjør det utrolig enkelt å jobbe med S3-objekter som om de var lokale filer. Gjennom s3fs kan du lese og skrive filer fra S3, liste opp og slette objekter og utføre andre filoperasjoner direkte med Python.
Nå som du forstår bibliotekene som er involvert, la oss gå gjennom trinn-for-trinn-forklaringen om å lese Parkett-filer fra S3 ved hjelp av pandaer og s3fs.
- Installer pandaer og s3fs – Først må du installere både pandaer og s3fs-biblioteker gjennom pip:
pip install pandas s3fs
- Importer biblioteker – Start med å importere både pandaer og s3fs-biblioteker:
import pandas as pd import s3fs
- Sett opp konfigurasjon – Sett opp din Amazon S3-legitimasjon ved å enten sende dem direkte til s3fs eller konfigurere miljøet ditt med AWS_ACCESS_KEY_ID og AWS_SECRET_ACCESS_KEY:
fs = s3fs.S3FileSystem( key='your_aws_access_key_id', secret='your_aws_secret_access_key' )
- Les Parkettfil fra S3 – Bruk pandaer og s3fs for å lese Parkett-filen din:
file_path = 's3://your_bucket/path/to/your/parquet/file.parquet'
df = pd.read_parquet(file_path, storage_options={"s3": {"anon": False}})
Etter å ha utført disse trinnene, bør du ha lest Parquet-filen fra S3, og dataramme 'df' inneholder nå S3-dataene dine i tabellformat.
I denne artikkelen har vi sett hvordan du får tilgang til og leser Parquet-filer fra Amazon S3 ved å bruke det kraftige pandas-biblioteket for datamanipulering og s3fs for sømløs S3-tilkobling. Disse verktøyene kan i stor grad forbedre arbeidsflytene dine for databehandling og lar deg fokusere på å hente ut innsikt og forstå de siste trendene innen moteverdenen. Fra å utforske ulike stilkombinasjoner til å analysere historien og utviklingen av klestrender, pandaer gjør det enkelt å avdekke de skjulte perlene i dataene dine.
