记csv、parquet数据预览一个bug的解决

这篇具有很好参考价值的文章主要介绍了记csv、parquet数据预览一个bug的解决。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、概述

工作中遇到通过sparksession解析csv、parquet文件并预览top100的需求。

二、实现过程

1. 业务流程

2. 业务逻辑

为了便于测试,下面在单元测试中使用模拟数据(模拟Dataset.toJSON()返回值)来说明


import java.util.ArrayList;
import java.util.List;
import java.util.Map;
import java.util.stream.Collectors;

import org.junit.jupiter.api.BeforeAll;
import org.junit.jupiter.api.Test;

import com.alibaba.fastjson.JSONObject;

import lombok.extern.slf4j.Slf4j;

@Slf4j
public class GroupingByDataTest
{
    static List<String> result = new ArrayList<>();
    
    @BeforeAll
    public static void init()
    {
        result.add("{\"student_no\":\"0204006\",\"student_name\":\"学生6\",\"field\":\"项目6\",\"value2\":\"6\",\"sex\":\"女\"}");
        result.add("{\"student_no\":\"0204006\",\"student_name\":\"学生6\",\"field\":\"项目6\",\"value2\":\"6\",\"sex\":\"女\"}");
        result.add("{\"student_no\":\"0204006\",\"student_name\":\"学生6\",\"field\":\"项目6\",\"value2\":\"6\",\"sex\":\"女\"}");
        result.add("{\"student_no\":\"0204006\",\"student_name\":\"学生6\",\"field\":\"项目6\",\"value2\":\"6\",\"sex\":\"女\"}");
    }
    
    
    @Test
    public void test002()
    {
        Map<Object, List<Object>> r = result.stream()
            .map(s -> JSONObject.parseObject(s).entrySet()) // map
            .flatMap(m -> m.stream()) // flatMap
            .collect(Collectors.groupingBy(mp -> mp.getKey(), Collectors.mapping(x -> x.getValue(), Collectors.toList())));
        log.info("{}", r);
    }
}

3. 运行结果

 com.fly.lambda.GroupingByDataTest - {
 student_name=[学生6, 学生6, 学生6, 学生6], 
 student_no=[0204006, 0204006, 0204006, 0204006], 
 value2=[6, 6, 6, 6], 
 field=[项目6, 项目6, 项目6, 项目6], 
 sex=[女, 女, 女, 女]}

目前看来似乎一切正常。

三、bug现象

实际测试过程中发现,hive数据仓库中的字段由于各种原因并不一定都有值,从而导致保存的结果文件csv、parquet时字段值为空

1. 单元测试


import java.util.ArrayList;
import java.util.List;
import java.util.Map;
import java.util.stream.Collectors;

import org.junit.jupiter.api.BeforeAll;
import org.junit.jupiter.api.Test;

import com.alibaba.fastjson.JSONObject;

import lombok.extern.slf4j.Slf4j;

@Slf4j
public class GroupingByDataTest
{
    static List<String> result = new ArrayList<>();
    
    @BeforeAll
    public static void init()
    {
        result.add("{\"student_name\":\"学生1\",\"student_no\":\"0204001\",\"field\":\"项目1\",                 \"sex\":\"男\"}");
        result.add("{\"student_name\":\"学生2\",\"student_no\":\"0204002\",\"field\":\"项目2\",\"value2\":\"2\"               }");
        result.add("{\"student_name\":\"学生3\",                           \"field\":\"项目3\",\"value2\":\"3\",\"sex\":\"女\"}");
        result.add("{                           \"student_no\":\"0204004\",\"field\":\"项目4\",\"value2\":\"4\",\"sex\":\"男\"}");
        result.add("{\"student_name\":\"学生5\",\"student_no\":\"0204005\",\"field\":\"项目5\",\"value2\":\"5\",\"sex\":\"女\"}");
        result.add("{\"student_no\":\"0204006\",\"student_name\":\"学生6\",\"field\":\"项目6\",\"value2\":\"6\",\"sex\":\"女\"}");
    }
    
    
    @Test
    public void test002()
    {
        Map<Object, List<Object>> r = result.stream()
            .map(s -> JSONObject.parseObject(s).entrySet()) // map
            .flatMap(m -> m.stream()) // flatMap
            .collect(Collectors.groupingBy(mp -> mp.getKey(), Collectors.mapping(x -> x.getValue(), Collectors.toList())));
        log.info("{}", r);
    }
}

2.运行结果

 com.fly.lambda.GroupingByDataTest - {
 student_name=[学生1, 学生2, 学生3, 学生5, 学生6], 
 student_no=[0204001, 0204002, 0204004, 0204005, 0204006], 
 value2=[2, 3, 4, 5, 6], 
 field=[项目1, 项目2, 项目3, 项目4, 项目5, 项目6], 
 sex=[男, 女, 男, 女, 女]}

期望的结果为

 com.fly.lambda.GroupingByDataTest - before : {
 student_name=[学生1, 学生2, 学生3, null, 学生5, 学生6], 
 student_no=[0204001, 0204002, null, 0204004, 0204005, 0204006], 
 value2=[null, 2, 3, 4, 5, 6], 
 field=[项目1, 项目2, 项目3, 项目4, 项目5, 项目6], 
 sex=[男, null, 女, 男, 女, 女]}

三、解决思路

解决这个问题有2个思路

1. 思路一

从数据来源解决,也就是 hiveSQL读取数据使用 coalsce 函数进行空值处理,实际去解决的过程中发现2个问题。

  1. )强制业务用户编辑hiveSQL时显式调用(用户体验太差,增加使用难度
  2. )不强制业务用户编辑hiveSQL时显式调用,后台接受到SQL后自动添加coalsce 函数(后台业务逻辑复杂,eg: 使用了条件语句、多表关联查询、字段命名特殊、添加 as 别名等各种情况,不一而足,几乎没法妥善处理

2. 思路二

hiveSQL读取数据、数据写入csv或parquet文件正常进行,不用特殊处理, 修改步骤3

分为2步骤,步骤1,遍历获取全部的key去重,步骤2,自动对缺失数据的key补充空值

核心代码如下:


    @Test
    public void test003()
        throws IOException
    {
        // 取keys
        List<String> keys = result.stream().map(s -> JSONObject.parseObject(s).entrySet()).flatMap(m -> m.stream()).map(r -> r.getKey()).distinct().collect(Collectors.toList());
        keys.stream().forEach(log::info);
        
        Map<String, List<Object>> r = result.stream()
            .map(s -> parse(s, keys))
            .flatMap(m -> m.stream()) // flatMap
            .collect(Collectors.groupingBy(mp -> mp.getKey(), Collectors.mapping(x -> x.getValue(), Collectors.toList())));
        log.info("before : {}", r);
        log.info("sorted : {}", new TreeMap<>(r));
    }
    
    /**
     * 设置value, 根据需要补充空值
     */
    private Set<Entry<String, Object>> parse(String s, List<String> keys)
    {
        JSONObject jsonObject = JSONObject.parseObject(s);
        keys.stream().forEach(key -> {
            if (!jsonObject.containsKey(key))
            {
                jsonObject.put(key, null);
            }
        });
        return jsonObject.entrySet();
    }

运行结果

2024-01-14 13:57:53.211 [main] INFO  com.fly.lambda.GroupingByDataTest - student_name
2024-01-14 13:57:53.217 [main] INFO  com.fly.lambda.GroupingByDataTest - student_no
2024-01-14 13:57:53.217 [main] INFO  com.fly.lambda.GroupingByDataTest - field
2024-01-14 13:57:53.217 [main] INFO  com.fly.lambda.GroupingByDataTest - sex
2024-01-14 13:57:53.217 [main] INFO  com.fly.lambda.GroupingByDataTest - value2
2024-01-14 13:57:53.232 [main] INFO  com.fly.lambda.GroupingByDataTest - before : {student_name=[学生1, 学生2, 学生3, null, 学生5, 学生6], student_no=[0204001, 0204002, null, 0204004, 0204005, 0204006], value2=[null, 2, 3, 4, 5, 6], field=[项目1, 项目2, 项目3, 项目4, 项目5, 项目6], sex=[男, null, 女, 男, 女, 女]}
2024-01-14 13:57:53.237 [main] INFO  com.fly.lambda.GroupingByDataTest - sorted : {field=[项目1, 项目2, 项目3, 项目4, 项目5, 项目6], sex=[男, null, 女, 男, 女, 女], student_name=[学生1, 学生2, 学生3, null, 学生5, 学生6], student_no=[0204001, 0204002, null, 0204004, 0204005, 0204006], value2=[null, 2, 3, 4, 5, 6]}

可以说,花比较小的成本,以比较少的代码变动,相对稳妥的解决了问题。


有任何问题和建议,都可以向我提问讨论,大家一起进步,谢谢!

-over-文章来源地址https://www.toymoban.com/news/detail-803528.html

到了这里,关于记csv、parquet数据预览一个bug的解决的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • vue 预览 有token验证的 doc、docx、pdf、xlsx、csv、图片 并下载

    预览 doc我也不会 下载

    2024年02月09日
    浏览(44)
  • 成功解决Impala中修改parquet表的字段类型问题

    最近有个小伙伴在开发中遇到了 Impala 中修改 Parquet 表的字段类型问题,于是开启了问题解决之路。 这个小伙伴在 Impala 中对 Hive 的表进行了删除、修改字段类型等操作,等这些操作后去 Impala 去查询该表的时候,出现了如下的问题: 问题1: 问题2:

    2024年02月16日
    浏览(48)
  • python采集数据保存csv, 文件内容乱码了怎么解决?

    如果你的 Python 程序采集到的数据在保存成 CSV 格式的文件时出现了乱码,那么可尝试以下解决方法: 1. 在打开 CSV 文件时指定编码方式 你可以使用 Python 中的 open() 函数打开 CSV 文件,并在 open() 函数中指定文件编码方式为 CSV 文件原始编码方式。如果 CSV 文件原始编码方式为

    2024年02月16日
    浏览(44)
  • 关于python from .. import .. 以及 pycharm对于source root bug的一个通用解决方案

    先说问题         python里默认from .. import .. 这个写法的from会查找当前文件夹下但 不包含当前文件夹 的路径,也就是说 如果from ..的这里写入的是当前文件夹 是会报错的,因为无法找到当前文件夹。 尝试的坑            pycharm的source root。这个是真的坑啊。加了source ro

    2024年02月11日
    浏览(39)
  • 避坑宝典|win11升级最新预览体验版bug梳理

    如果看到这篇文章你的系统还没升级,不妨先看看已升级Win11的用户反馈和我本人遇到的坑,少走弯路,减少NG时间。 一、亲测win11升级的前世今生。 本次测试升级途径: 加入“windows预览体验计划”,通过dev通道升级; 本次测试升级过程: 加入“用户预览体验计划”后,

    2024年02月10日
    浏览(53)
  • 数据的存储方式(Parquet、ORC)

    目前的数据存储方式分为行式和列式。 按行存储   常见的关系型数据库,如Oracle、DB2、MySQL、SQL SERVER都是行式存储的, 在我们查询的条件需要得到大多数列的时候, 相对列式格式,查询效率更高。基础逻辑存储单元是行数据,在存储介质中是以连续存储的形式存在的。

    2024年02月09日
    浏览(44)
  • python导出数据为parquet格式

    import duckdb import pandas as pd from sqlalchemy import create_engine # 定义连接到您的 MySQL 或 PostgreSQL 数据库的参数 db_type = \\\'mysql\\\'  # 或 \\\'postgresql\\\' user = \\\'your_username\\\' password = \\\'your_password\\\' host = \\\'your_host\\\' port = \\\'your_port\\\' database = \\\'your_database\\\' table_name = \\\'your_table\\\' # 创建 SQLAlchemy 引擎 if db_type == \\\'mys

    2024年01月25日
    浏览(48)
  • 微信小程序开发scroll-view在预览或真机调试仅显示第一个元素解决方案

    现象如下: 在编译时显示正常: 在预览或真机调试时仅显示第一个元素:   解决方案:将app.json文件中renderer类型由skyline改为webview   更多微信小程序内容欢迎关注我! 有帮助的话欢迎打赏!

    2024年01月25日
    浏览(36)
  • 大数据_Hadoop_Parquet数据格式详解

    之前有面试官问到了parquet的数据格式,下面对这种格式做一个详细的解读。 参考链接 : 列存储格式Parquet浅析 - 简书 Parquet 文件结构与优势_parquet文件_KK架构的博客-CSDN博客 Parquet文件格式解析_parquet.block.size_david\\\'fantasy的博客-CSDN博客 行组(Row Group)  按照行将数据物理上划分为

    2024年02月14日
    浏览(42)
  • 记录一个IDEA中使用GIT的严重BUG,导致测试分支合并到主分支,以及代码恢复解决方案

    在做项目时遇到了一个问题,就是不知道什么操作,无缘无故把test分支代码合并到了master,导致花了好长时间去恢复master分支的代码,所以研究了一下,到底是什么原因导致的这个问题 PS: 后来分析出来根本原因,确定这确实是IDEA的一个BUG,在下面会有详细描述 当我们在test分支时,

    2023年04月14日
    浏览(70)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包