Kazalo:

Kako zaženem strežnik Spark History?
Kako zaženem strežnik Spark History?

Video: Kako zaženem strežnik Spark History?

Video: Kako zaženem strežnik Spark History?
Video: НЕ ВЗДУМАЙ снимать аккумулятор с машины. Делай это ПРАВИЛЬНО ! 2024, Maj
Anonim

Če želite omogočiti strežnik zgodovine Spark:

  1. Ustvarite imenik za dnevnike dogodkov v datotečnem sistemu DSEFS: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Ko je beleženje dogodkov omogočeno, je privzeto vedenje, da se shranijo vsi dnevniki, kar povzroči, da se pomnilnik sčasoma poveča.

Poleg tega, kako nastavim strežnik Spark History?

Če želite omogočiti strežnik zgodovine Spark:

  1. Ustvarite imenik za dnevnike dogodkov v datotečnem sistemu DSEFS: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Ko je beleženje dogodkov omogočeno, je privzeto vedenje, da se shranijo vsi dnevniki, kar povzroči, da se pomnilnik sčasoma poveča.

Podobno, kako najdem svoj URL strežnika zgodovine spark? Npr., za strežnik zgodovine , bi bili običajno dostopni na strežnik - url >:18080/api/v1, za delujočo aplikacijo pa na https://localhost:4040/api/v1. V API-ju se aplikacija sklicuje na njen ID aplikacije, [app-id].

Prav tako, kaj je strežnik Spark History?

The Strežnik zgodovine Spark je orodje za spremljanje, ki prikazuje informacije o končanem Iskra aplikacije. Te informacije je izvlečen iz podatkov, ki jih aplikacije privzeto zapišejo v imenik na Hadoop Distributed File System (HDFS).

Kaj je Sparkui?

Spletni uporabniški vmesnik Spark vam omogoča ogled seznama stopenj in nalog načrtovalca, informacij o okolju, informacij o izvajalcih, ki se izvajajo, in še več. Oglejte si to 30-minutno demo, če želite izvedeti več o: komponentah in življenjskem ciklu programa Spark. Kako vaša aplikacija Spark deluje v gruči Hadoop.

Priporočena: