Kazalo:

Kateri so glavni konfiguracijski parametri, ki jih mora uporabnik določiti za izvajanje opravila MapReduce?
Kateri so glavni konfiguracijski parametri, ki jih mora uporabnik določiti za izvajanje opravila MapReduce?

Video: Kateri so glavni konfiguracijski parametri, ki jih mora uporabnik določiti za izvajanje opravila MapReduce?

Video: Kateri so glavni konfiguracijski parametri, ki jih mora uporabnik določiti za izvajanje opravila MapReduce?
Video: 🚀 AMAZON 2.0 - ИНТЕРНЕТ МАГАЗИН с нуля за 6 часов [Next / React / Nest / PostgreSQL / Prisma / TS] 2024, April
Anonim

Glavni konfiguracijski parametri, ki jih morajo uporabniki določiti v okviru »MapReduce«, so:

  • Službe vhodne lokacije v porazdeljenem datotečnem sistemu.
  • Službe izhodno lokacijo v porazdeljenem datotečnem sistemu.
  • Format vnosa podatkov.
  • Izhodni format podatkov.
  • Razred, ki vsebuje funkcijo zemljevida.
  • Razred, ki vsebuje funkcijo zmanjšanja.

Kateri so glavni konfiguracijski parametri v programu MapReduce?

Glavni konfiguracijski parametri v okviru »MapReduce« so:

  • Vhodna lokacija delovnih mest v porazdeljenem datotečnem sistemu.
  • Izhodna lokacija delovnih mest v porazdeljenem datotečnem sistemu.
  • Oblika vnosa podatkov.
  • Izhodna oblika podatkov.
  • Razred, ki vsebuje funkcijo zemljevida.
  • Razred, ki vsebuje funkcijo redukcije.

Lahko se tudi vprašamo, kakšni so parametri preslikavalcev in reduktorjev? Štirje parametri za mapperje so:

  • Dolgopisljivo (vhod)
  • besedilo (vnos)
  • besedilo (vmesni izhod)
  • IntWritable (vmesni izhod)

Vprašanje je tudi, katere so glavne komponente opravila MapReduce?

  • Glavni razred gonilnika, ki zagotavlja konfiguracijske parametre opravila.
  • Razred preslikava, ki mora razširiti org. apache. hadoop. mapreduce. Razred preslikava in zagotovi izvajanje metode map ().
  • Razred reduktorja, ki naj bi razširil org. apache. hadoop. mapreduce. Razred reduktorja.

Kaj je partitioner in kako pomaga pri delovnem procesu MapReduce?

Predeljevalec v Opravilo MapReduce izvajanje nadzoruje razdelitev ključev vmesnih izhodov zemljevida. Z pomoč hash funkcije, ključ (ali podmnožica ključa) izpelje particija . Zapisi, ki imajo enako vrednost ključa, gredo v isto particija (znotraj vsakega preslikalnika).

Priporočena: