У данашњем свету вођеном модом, рад са великим скуповима података је прилично уобичајен, а пандас је популарна библиотека у Питхон-у која пружа моћне алате за манипулацију подацима лаким за коришћење. Међу великим бројем формата података, Паркет се широко користи због свог ефикасног стубног складиштења и лагане синтаксе. Амазон С3 је популарна опција за складиштење ваших датотека, а његова интеграција са пандама може значајно побољшати ваш радни ток. У овом чланку ћемо истражити како да читате датотеке паркета са Амазон С3 користећи моћну библиотеку панда.
Да бисте решили проблем читања датотека Паркета са С3, морате разумети кључне компоненте и библиотеке укључене. Две главне библиотеке које ћемо користити су пандас и с3фс. Панде ће се бавити обрадом података, док ће с3фс обезбедити повезивање са Амазон С3.
import pandas as pd import s3fs
Пандас Либрари
панде је библиотека отвореног кода која пружа моћне алате за манипулацију подацима и анализу у Питхон-у. Широко га користи заједница науке о подацима, захваљујући својој флексибилности и могућности рада са различитим форматима података, укључујући и Паркет датотеке. Са пандама можете лако да учитавате, анализирате и манипулишете подацима, што вам омогућава да брзо истражите и разумете обрасце и трендове у вашим подацима.
С3фс библиотека
С3фс је интерфејс сличан Питхон фајлу за неприметан приступ Амазон С3 објектима. Комбинује функционалност Бото3 и ФУСЕ (Филесистем ин Усерспаце), чинећи невероватно лаким рад са С3 објектима као да су локални фајлови. Преко с3фс-а можете читати и писати датотеке са С3, листати и брисати објекте и обављати друге операције са датотекама директно са Питхон-ом.
Сада када разумете укључене библиотеке, хајде да прођемо кроз објашњење корак по корак читања Паркет фајлова са С3 користећи пандас и с3фс.
- Инсталирајте панде и с3фс – Прво, морате да инсталирате и панде и с3фс библиотеке преко пип-а:
pip install pandas s3fs
- Увезите библиотеке – Почните увозом и панда и с3фс библиотека:
import pandas as pd import s3fs
- Подесите конфигурацију – Подесите своје Амазон С3 акредитиве тако што ћете их проследити директно у с3фс или конфигурисати своје окружење помоћу АВС_АЦЦЕСС_КЕИ_ИД и АВС_СЕЦРЕТ_АЦЦЕСС_КЕИ:
fs = s3fs.S3FileSystem( key='your_aws_access_key_id', secret='your_aws_secret_access_key' )
- Прочитајте Паркет фајл са С3 – Користите панде и с3фс да прочитате свој Паркет фајл:
file_path = 's3://your_bucket/path/to/your/parquet/file.parquet'
df = pd.read_parquet(file_path, storage_options={"s3": {"anon": False}})
Након извршења ових корака, требало би да сте успешно прочитали свој Паркет фајл са С3, и оквир података 'дф' сада садржи ваше С3 податке у табеларном формату.
У овом чланку смо видели како да приступимо и читамо Паркет датотеке са Амазон С3 користећи моћну библиотеку пандас за манипулацију подацима и с3фс за беспрекорну С3 повезаност. Ови алати могу знатно побољшати ваше радне токове обраде података и омогућити вам да се фокусирате на извлачење увида и разумевање најновијих трендова у свету моде. Од истраживања различитих стилских комбинација до анализе историје и еволуције трендова у одећи, пандас олакшава откривање скривених драгуља у вашим подацима.
