Mida vähendatakse võtmega?

2024 Autor: Lynn Donovan | [email protected]. Viimati modifitseeritud: 2023-12-15 23:45

Funktsioon Spark RDD ReductionByKey liidab igaühe väärtused võti kasutades assotsiatiivi vähendada funktsiooni. See tähendab intuitiivselt, et see funktsioon annab sama tulemuse, kui seda korduvalt rakendada samale RDD-andmete komplektile mitme partitsiooniga, olenemata elementide järjestusest.

Mis vahe on groupByKey ja ReductionByKey vahel?

groupByKey () on lihtsalt teie andmestiku rühmitamiseks võtme alusel. reduktsiooniByKey () on midagi sellist nagu rühmitamine + liitmine. reduktsiooniByKey saab kasutada, kui kasutame suurt andmekogumit. aggregateByKey() on loogiliselt sama mis reduktsiooniByKey (), kuid see võimaldab teil tagastada tulemuse erinev tüüp.

Tea ka, miks vähendada sädemeid? Sädemete vähendamine operatsioon on an tegevust tüüpi toiming ja see käivitab täieliku DAG-käituse kõigi järjestatud laiskade juhiste jaoks. Säde RDD vähendada funktsioon vähendab selle RDD elemente, kasutades määratud kommutatiivset ja assotsiatiivset kahendoperaatorit. Sädemete vähendamine toimimine on peaaegu sarnane vähendada meetod Scalas.

Lisaks ülalolevale, mis on Pairrdd?

Spark pakub võtme/väärtuse paare sisaldavatele RDD-dele eritoiminguid. Neid RDD-sid nimetatakse paaris-RDD-deks. Pair RDD-d on paljudes programmides kasulikuks ehitusplokiks, kuna need paljastavad toimingud, mis võimaldavad teil iga võtmega paralleelselt toimida või andmeid võrgus ümber grupeerida. PairRDD-d on VÕTI/VÄÄRTUS paarid.

Kas reductionByKey on toiming?

Reduction() väljastab kogumi, mis ei lisa suunatud atsüklilisele graafikule (DAG), seega rakendatakse seda kui tegevust . Kuid, reduktsiooniByKey () tagastab RDD, mis on lihtsalt üks DAG-i tase/olek, seega on see teisendus.