Mis on Amazon Elastic MapReduce'i taga olev andmetöötlusmootor?
Mis on Amazon Elastic MapReduce'i taga olev andmetöötlusmootor?

Video: Mis on Amazon Elastic MapReduce'i taga olev andmetöötlusmootor?

Video: Mis on Amazon Elastic MapReduce'i taga olev andmetöötlusmootor?
Video: AWS re:Invent 2015 | (BDT208) A Technical Introduction to Amazon Elastic MapReduce 2024, Aprill
Anonim

Amazon EMR kasutab levitatuna Apache Hadoopi andmetöötlusmootor . Hadoop on avatud lähtekoodiga Java tarkvararaamistik, mis toetab andmeid -intensiivsed hajutatud rakendused, mis töötavad suurtes klastrites kohta kauba riistvara.

Veelgi enam, mis on Amazon Elastic MapReduce?

Amazon Elastic MapReduce ( EMR ) on an Amazoni veebiteenused ( AWS ) suurandmete töötlemise ja analüüsi tööriist. Amazon EMR töötleb suurandmeid Hadoopi virtuaalserverite klastris Amazon elastne Compute Cloud ( EC2 ) ja Amazon Lihtne salvestusteenus ( S3 ).

Lisaks, kas Amazon EMR on täielikult hallatud? See on täielikult juhitud Data Lake'i teenus, mis suudab andmesalvestuse arvutusressurssidest lahti siduda ja selle asemel muudab arvutusklastrid skaleeritavaks, vajaduse korral kasutamiseks kättesaadavaks ning sisaldab võimalust mitmel klastril samadele andmekogumitele korraga juurde pääseda.

Võib ka küsida, kuidas AWS EMR töötab?

Üldiselt, kui töötlete andmeid Amazon EMR , on sisend andmed, mis salvestatakse failidena teie valitud aluseks olevas failisüsteemis, näiteks Amazon S3 või HDFS. Need andmed liiguvad töötlemise järjestuses ühest etapist teise. Viimane samm kirjutab väljundandmed määratud asukohta, näiteks Amazon S3 kopp.

Mis vahe on ec2 ja EMR vahel?

Erinevalt EMR , EC2 ei kategoriseeri alluvaid sõlmi põhi- ja ülesandesõlmedeks. See suurendab HDFS-andmete kaotamise ohtu, kui sõlm eemaldatakse/kaotatakse. EC2 kasutab s3 andmetele juurdepääsuks Apache teeke (s3a). Teiselt poolt, EMR kasutab s3-le kiirema juurdepääsu saamiseks AWS-i patenteeritud koodi.

Soovitan: