Serbisyo

Mekanismo sa paglimpyo sa datos sa Spark Streaming
(I) DStream ug RDD
Sama sa nahibal-an namon, ang pagkalkula sa Spark Streaming gibase sa Spark Core, ug ang kinauyokan sa Spark Core mao ang RDD, mao nga ang Spark Streaming kinahanglan usab nga may kalabutan sa RDD.Bisan pa, ang Spark Streaming wala magtugot sa mga tiggamit sa paggamit sa RDD direkta, apan abstracts usa ka hugpong sa mga konsepto sa DStream, DStream ug RDD mga inklusibo nga mga relasyon, mahimo nimong masabtan kini ingon nga pattern sa dekorasyon sa Java, nga mao, ang DStream usa ka pagpauswag sa RDD, apan ang pamatasan parehas sa RDD.
Ang DStream ug RDD parehong adunay daghang mga kondisyon.
(1) adunay parehas nga mga aksyon sa pagbag-o, sama sa mapa, reduceByKey, ug uban pa, apan pipila usab nga talagsaon, sama sa Window, mapWithStated, ug uban pa.
(2) ang tanan adunay aksyon nga aksyon, sama sa foreachRDD, count, etc.
Ang modelo sa pagprograma makanunayon.
(B) Pagpaila sa DStream sa Spark Streaming
Ang DStream adunay daghang mga klase.
(1) Mga klase sa tinubdan sa datos, sama sa InputDStream, espesipiko sa DirectKafkaInputStream, ug uban pa.
(2) Mga klase sa pagkakabig, kasagaran MappedDStream, ShuffledDStream
(3) mga klase sa output, kasagaran sama sa ForEachDStream
Gikan sa ibabaw, ang mga datos gikan sa sinugdanan (input) hangtod sa katapusan (output) gihimo sa DStream system, nga nagpasabut nga ang tiggamit kasagaran dili direkta nga makamugna ug magmaniobra sa mga RDD, nga nagpasabut nga ang DStream adunay higayon ug obligasyon nga mahimong responsable sa siklo sa kinabuhi sa mga RDD.
Sa laing pagkasulti, ang Spark Streaming adunay usa kaawtomatikong paglimpyofunction.
(iii) Ang proseso sa henerasyon sa RDD sa Spark Streaming
Ang dagan sa kinabuhi sa mga RDD sa Spark Streaming grabe sama sa mosunod.
(1) Sa InputDStream, ang nadawat nga datos giusab ngadto sa RDD, sama sa DirectKafkaInputStream, nga nagmugna sa KafkaRDD.
(2) unya pinaagi sa MappedDStream ug uban pang pagkakabig sa datos, kini nga panahon direktang gitawag nga RDD nga katumbas sa pamaagi sa mapa alang sa pagkakabig
(3) Sa operasyon sa klase sa output, kung ma-expose lang ang RDD, mahimo nimong tugotan ang user sa paghimo sa katugbang nga pagtipig, uban pang mga kalkulasyon, ug uban pang mga operasyon.