Nykypäivän muotivetoisessa maailmassa suurten tietojoukkojen käsittely on melko yleistä, ja pandat ovat suosittu Python-kirjasto, joka tarjoaa tehokkaita ja helppokäyttöisiä tiedonkäsittelytyökaluja. Useiden tietomuotojen joukossa Parquetia käytetään laajalti tehokkaan pylväsvarastonsa ja kevyen syntaksin ansiosta. Amazon S3 on suosittu tallennusvaihtoehto tiedostoillesi, ja sen integroiminen pandoihin voi parantaa työnkulkuasi merkittävästi. Tässä artikkelissa tutkimme kuinka lukea Parquet-tiedostoja Amazon S3:sta tehokkaan pandakirjaston avulla.
Ratkaistaksesi ongelman, joka liittyy Parquet-tiedostojen lukemiseen S3:sta, sinun on ymmärrettävä asiaan liittyvät keskeiset komponentit ja kirjastot. Kaksi tärkeintä käyttämämme kirjastoa ovat pandat ja s3fs. Pandat hoitavat tietojen käsittelyn, kun taas s3fs tarjoaa yhteyden Amazon S3:een.
import pandas as pd import s3fs
Pandan kirjasto
Panda on avoimen lähdekoodin kirjasto, joka tarjoaa tehokkaita tietojen käsittely- ja analysointityökaluja Pythonissa. Datatiedeyhteisö käyttää sitä laajalti joustavuuden ja kyvyn ansiosta työskennellä erilaisten tietomuotojen, mukaan lukien parkettitiedostojen, kanssa. Pandojen avulla voit helposti ladata, analysoida ja käsitellä tietoja, jolloin voit nopeasti tutkia ja ymmärtää tietojesi malleja ja trendejä.
S3fs-kirjasto
S3fs on Python-tiedostomainen käyttöliittymä Amazon S3 -objektien saumattomaan käyttöön. Siinä yhdistyvät Boto3:n ja FUSE:n (Filesystem in Userspace) toiminnot, mikä tekee S3-objektien kanssa työskentelystä uskomattoman helppoa ikään kuin ne olisivat paikallisia tiedostoja. S3fs:n kautta voit lukea ja kirjoittaa tiedostoja S3:sta, luetteloida ja poistaa objekteja sekä suorittaa muita tiedostotoimintoja suoraan Pythonilla.
Nyt kun ymmärrät mukana olevat kirjastot, käydään läpi vaiheittainen selitys Parquet-tiedostojen lukemisesta S3:sta pandalla ja s3fs:llä.
- Asenna pandat ja s3fs – Ensin sinun on asennettava sekä panda- että s3fs-kirjastot pip:n kautta:
pip install pandas s3fs
- Tuo kirjastoja – Aloita tuomalla sekä panda- että s3fs-kirjastot:
import pandas as pd import s3fs
- Määritä asetukset – Määritä Amazon S3 -tunnistetietosi joko välittämällä ne suoraan s3fs:lle tai määrittämällä ympäristösi AWS_ACCESS_KEY_ID:llä ja AWS_SECRET_ACCESS_KEY:llä:
fs = s3fs.S3FileSystem( key='your_aws_access_key_id', secret='your_aws_secret_access_key' )
- Lue parkettitiedosto S3:sta – Käytä pandaa ja s3fs:a lukeaksesi Parkettitiedostosi:
file_path = 's3://your_bucket/path/to/your/parquet/file.parquet'
df = pd.read_parquet(file_path, storage_options={"s3": {"anon": False}})
Kun olet suorittanut nämä vaiheet, sinun olisi pitänyt lukea Parquet-tiedostosi onnistuneesti S3:sta ja tietokehys 'df' sisältää nyt S3-tietosi taulukkomuodossa.
Tässä artikkelissa olemme nähneet kuinka pääset käsiksi ja lukemaan Amazon S3:n Parquet-tiedostoja käyttämällä tehokasta pandakirjastoa tietojen käsittelyyn ja s3fs-tiedostoja saumattoman S3-yhteyden takaamiseksi. Nämä työkalut voivat parantaa huomattavasti tietojenkäsittelyn työnkulkujasi ja antaa sinun keskittyä oivallusten poimimiseen ja muotimaailman uusimpien trendien ymmärtämiseen. Erilaisten tyyliyhdistelmien tutkimisesta vaatetrendien historian ja kehityksen analysointiin pandat helpottavat tietojen piilotettujen helmien paljastamista.
