Mis on Emrfs?
Mis on Emrfs?

Video: Mis on Emrfs?

Video: Mis on Emrfs?
Video: AWS re:Invent 2022 - Migrating to Amazon EMR to reduce costs and simplify operations (ANT337) 2024, Mai
Anonim

EMR-failisüsteem ( EMRFS ) on HDFS-i rakendus, mida kõik Amazon EMR-i klastrid kasutavad tavaliste failide lugemiseks ja kirjutamiseks Amazon EMR-ist otse Amazon S3-sse. Andmete krüpteerimine võimaldab krüpteerida objekte, mis EMRFS kirjutab Amazon S3-le ja lubab EMRFS töötada Amazon S3 krüptitud objektidega.

Milline on Emrfsi järjekindel seisukoht selles osas?

The EMRFS-i järjepidev vaade loob ja kasutab Amazon DynamoDB tabelis metaandmeid, et säilitada a järjekindel vaade teie S3 objektidest. See tabel jälgib teatud toiminguid, kuid ei sisalda teie andmeid.

mis vahe on s3 ja s3a vahel? See on vahet kolm: s3 on plokipõhine ülekate Amazoni peal S3 , samas kui s3n/ s3a ei ole. Need on objektipõhised. s3n toetab kuni 5 GB objekte, kui suurus on probleem, samas s3a toetab kuni 5TB objekte ja sellel on suurem jõudlus.

Seega, kas EMR kasutab HDFS-i?

EMR Failisüsteem (EMRFS) Teie saab kasutada kas HDFS või Amazon S3 teie klastri failisüsteemina. Kõige sagedamini Amazon S3 on kasutatakse sisend- ja väljundandmete salvestamiseks ning vahetulemused salvestatakse HDFS.

Mis on s3a?

S3A (URI skeem: s3a ) järglane S3 Algne, s3n fs, S3a : süsteem kasutab suhtlemiseks Amazoni teeke S3 . See võimaldab S3a toetada suuremaid faile (mitte enam 5 GB piirang), suurema jõudlusega toiminguid ja palju muud.

Soovitan: