I dagens modedrivna värld är det ganska vanligt att hantera stora datamängder, och pandor är ett populärt bibliotek i Python som tillhandahåller kraftfulla, lättanvända verktyg för datamanipulation. Bland det stora utbudet av dataformat används Parquet flitigt för sin effektiva kolumnlagring och lätta syntax. Amazon S3 är ett populärt lagringsalternativ för dina filer, och att integrera det med pandor kan förbättra ditt arbetsflöde avsevärt. I den här artikeln kommer vi att utforska hur du läser Parkett-filer från Amazon S3 med hjälp av det kraftfulla pandasbiblioteket.
För att lösa problemet med att läsa Parquet-filer från S3 måste du förstå de inblandade nyckelkomponenterna och biblioteken. De två huvudbiblioteken vi kommer att använda är pandor och s3fs. Pandas kommer att hantera behandlingen av data, medan s3fs kommer att tillhandahålla anslutning till Amazon S3.
import pandas as pd import s3fs
Pandas bibliotek
pandas är ett bibliotek med öppen källkod som tillhandahåller kraftfulla verktyg för datamanipulation och analys i Python. Det används i stor utsträckning av datavetenskapsgemenskapen, tack vare dess flexibilitet och förmåga att arbeta med olika dataformat, inklusive Parquet-filer. Med pandor kan du enkelt ladda, analysera och manipulera data, vilket gör att du snabbt kan utforska och förstå mönstren och trenderna i din data.
S3fs bibliotek
S3fs är ett Python-filliknande gränssnitt för sömlös åtkomst till Amazon S3-objekt. Den kombinerar funktionaliteten hos Boto3 och FUSE (Filesystem in Userspace), vilket gör det otroligt enkelt att arbeta med S3-objekt som om de vore lokala filer. Genom s3fs kan du läsa och skriva filer från S3, lista och ta bort objekt och utföra andra filoperationer direkt med Python.
Nu när du förstår de inblandade biblioteken, låt oss gå igenom steg-för-steg-förklaringen av att läsa Parquet-filer från S3 med hjälp av pandor och s3fs.
- Installera pandor och s3fs – Först måste du installera både pandor och s3fs-bibliotek via pip:
pip install pandas s3fs
- Importera bibliotek – Börja med att importera både pandor och s3fs-bibliotek:
import pandas as pd import s3fs
- Ställ in konfiguration – Ställ in dina Amazon S3-uppgifter genom att antingen skicka dem direkt till s3fs eller konfigurera din miljö med AWS_ACCESS_KEY_ID och AWS_SECRET_ACCESS_KEY:
fs = s3fs.S3FileSystem( key='your_aws_access_key_id', secret='your_aws_secret_access_key' )
- Läs Parkettfil från S3 – Använd pandor och s3fs för att läsa din parkettfil:
file_path = 's3://your_bucket/path/to/your/parquet/file.parquet'
df = pd.read_parquet(file_path, storage_options={"s3": {"anon": False}})
Efter att ha utfört dessa steg bör du ha läst din Parquet-fil från S3, och dataram 'df' innehåller nu dina S3-data i tabellformat.
I den här artikeln har vi sett hur du kommer åt och läser Parquet-filer från Amazon S3 med hjälp av det kraftfulla pandasbiblioteket för datamanipulation och s3fs för sömlös S3-anslutning. Dessa verktyg kan avsevärt förbättra dina arbetsflöden för databearbetning och låter dig fokusera på att extrahera insikter och förstå de senaste trenderna inom modevärlden. Från att utforska olika stilkombinationer till att analysera historien och utvecklingen av klädtrender, pandor gör det enkelt att avslöja de dolda pärlorna i din data.
