1.Spark SQL基本操作
将下列JSON格式数据复制到Linux系统中，并保存命名为employee.json。
| { "id":1 , "name":" Ella" , "age":36 } { "id":2, "name":"Bob","age":29 } { "id":3 , "name":"Jack","age":29 } { "id":4 , "name":"Jim","age":28 } { "id":4 , "name":"Jim","age":28 } { "id":5 , "name":"Damon" } { "id":5 , "name":"Damon" } |
为employee.json创建DataFrame，并写出Python语句完成下列操作：
- 查询所有数据；
- 查询所有数据，并去除重复的数据；
- 查询所有数据，打印时去除id字段；
- 筛选出age>30的记录；
- 将数据按age分组；
- 将数据按name升序排列；
- 取出前3行数据；
- 查询所有记录的name列，并为其取别名为username；
- 查询年龄age的平均值；
- 查询年龄age的最小值。
结果如下：
- 查询所有数据；
2.查询所有数据，并去除重复的数据
3. 查询所有数据，打印时去除id字段；
4. 筛选出age>30的记录
5. 将数据按age分组；
6.将数据按name升序排列；
7. 取出前3行数据；
文章来源：https://www.toymoban.com/news/detail-491248.html
8.查询所有记录的name列文章来源地址https://www.toymoban.com/news/detail-491248.html
到了这里，关于SparkSQL编程实践的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
