RDD的创建
第1关 集合并行化创建RDD
编程要求
根据提示，在右侧编辑器begin-end处补充代码，计算并输出各个学生的总成绩。
-
("bj",88)：bj指学生姓名，88指学生成绩。
测试说明
平台会对你编写的代码进行测试：
预期输出：
(bj,254)` `(sh,221)` `(gz,285)
开始你的任务吧，祝你成功！文章来源地址https://www.toymoban.com/news/detail-467884.html
代码
import org.apache.spark.rdd.RDD
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
object Student {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName(this.getClass.getSimpleName).setMaster("local")
val sc = new SparkContext(conf)
val arr1=Array(("bj",88),("sh",67),("gz",92))
val arr2=Array(("bj",94),("sh",85),("gz",95))
val arr3=Array(("bj",72),("sh",69),("gz",98))
/********** begin **********/
//第一步：先将数组进行合并
val arr=arr1++arr2++arr3
//第二步：创建RDD
val stuRDD=sc.makeRDD(arr)
//第三步：把相同key的进行聚合
val result=stuRDD.reduceByKey(_+_)
//第四步：输出
result.foreach(println)
/********** end **********/
sc.stop()
}
}第2关：读取外部数据集创建RDD
编程要求
根据提示，在右侧编辑器begin-end处补充代码，按每位老师出现的次数降序，输出老师姓名和出现次数。
-
输入文件样例：
bigdata,laozhang` `bigdata,laoduan` `javaee,xiaoxu
bigdata指科目，laozhang指老师名称。
测试说明
平台会对你编写的代码进行测试：
预期输出： (laozhao,15) (laoyang,9) (laoduan,5) (xiaoxu,4) (laoli,3) (laozhang,2) (laoliu,1)文章来源：https://www.toymoban.com/news/detail-467884.html
开始你的任务吧，祝你成功！
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
object Teachers {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName("Teachers").setMaster("local")
val sc = new SparkContext(conf)
val dataFile = "file:///root/step2_files"
/********** begin **********/
//第一步：以外部文件方式创建RDD
val teaRDD=sc.textFile(dataFile)
//第二步：将文件中每行的数据切分，得到自己想要的返回值
val teacher=teaRDD.map(line => {
val course=line.split(",")(0)
val name=line.split(",")(1)
(name,1)
})
//第三步：将相同的key进行聚合
val tea=teacher.reduceByKey(_+_)
//第四步：按出现次数进行降序
val result=tea.sortBy(_._2,false,3)
//第五步：输出
result.foreach(println)
/********** end **********/
sc.stop()
}
}到了这里，关于RDD的创建 头歌答案的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
