SparkContext.textFile读取文件
SparkContext提供了 textFile() 方法用于按行读取文本文件,返回RDD。
用法:
sc.textFile(path: String, minPartitions: Int)
sc: SparkContext 对象
path:本地文件路径或 hdfs:// , s3a:// 等Hadoop支持的文件系统URI
minPartitions:可选参数,指定数据的最小分区
默认情况下,Spark为文件的每个块创建一个分区(HDFS中一个块默认为128MB),可以通过 minPartitions 参数来设置更多分区。请注意,分区数不能少于块数。
读取单个文件
直接将文件路径作为 path 参数传入 textFile() 读取单个文件,返回每行内容的RDD。
val rdd = sc.textFile("/path/text.txt")
读取多个文件
如果要读取的多个指定文件,使用逗号分隔文件名传入 textFile() 即可。
val rdd = sc.textFile("/path/test01.txt,/path/test02.txt")
读取路径下所有文件
path 可传入文件路径来读取路径下所有文件。
val rdd = sc.textFile("/path/")
使用通配符读取多个文件
文件路径中可以使用通配符来读取多个文件。
val rdd1 = sc.textFile("/path/*.txt") // 读取路径所有txt文件
val rdd2 = sc.textFile("/path/*/*.txt") // 读取多个目录下的文件
从HDFS读取文件
从HDFS中读取文件和读取本地文件一样,只是要在URI中表明是HDFS。上面的所有读取方式也都适用于HDFS。文章来源:https://www.toymoban.com/news/detail-432211.html
val rdd = sc.textFile("hdfs://master:9000/examples/data.txt")
完整代码文章来源地址https://www.toymoban.com/news/detail-432211.html
package com.sparkexamples.spark.rdd
import org.apache.spark.rdd.RDD
import org.apache.spark.sql.SparkSession
object ReadTextFileExample {
def main(args: Array[String]): Unit = {
val spark = SparkSession.builder()
.master("local[1]")
.appName("SparkExample")
.getOrCreate()
val sc = spark.sparkContext
// 读取单个文件
val rdd1:RDD[String] = sc.textFile("/path/test01.txt")
rdd1.foreach(println)
// 读取多个文件
val rdd2:RDD[String] = sc.textFile("/path/test01.txt,/path/test02.txt")
rdd2.foreach(println)
// 读取路径下所有文件
val rdd3:RDD[String] = sc.textFile("/path/resources/")
rdd3.foreach(println)
// 通配符示例-读取路径所有txt文件
val rdd4:RDD[String] = sc.textFile("/path/*.txt")
rdd4.foreach(println)
// 通配符示例-读取多个目录下的文件
val rdd5:RDD[String] = sc.textFile("/path/*/*.txt")
rdd5.foreach(println)
// 读取HDFS文件
val rdd6:RDD[String] = sc.textFile("hdfs://master:9000/examples/data.txt")
rdd6.collect.foreach(println)
}
}
到了这里,关于SparkContext.textFile读取文件的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!