哈夫曼编码&文件压缩和解压

这篇具有很好参考价值的文章主要介绍了哈夫曼编码&文件压缩和解压。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

哈夫曼编码&文件压缩和解压

哈夫曼编码

基本介绍

  1. 赫夫曼编码也翻译为 哈夫曼编码(Huffman Coding),又称霍夫曼编码,是一种编码方式, 属于一种程序算法
  2. 赫夫曼编码是赫哈夫曼树在电讯通信中的经典的应用之一。
  3. 赫夫曼编码广泛地用于数据文件压缩。其压缩率通常在20%~90%之间
  4. 赫夫曼码是可变字长编码(VLC)的一种。Huffman于1952年提出一种编码方法,称之为最佳编码

原理解析

  1. 通信领域中信息的处理方式1-定长编码
    将"i like like like java do you like a java"压缩再解压 // 共40个字符(包括空格)
    而对应的ASCII 码表它的编号为105 32 108 105 107 101 32 108 105 107 101 32 108 105 107 101 32 106 97 118 97 32 100 111 32 121 111 117 32 108 105 107 101 32 97 32 106 97 118 97 //对应Ascii码
    将它编码后每个字符对应的二进制01101001 00100000 01101100 01101001 01101011 01100101 00100000 01101100 01101001 01101011 01100101 00100000 01101100 01101001 01101011 01100101 00100000 01101010 01100001 01110110 01100001 00100000 01100100 01101111 00100000 01111001 01101111 01110101 00100000 01101100 01101001 01101011 01100101 00100000 01100001 00100000 01101010 01100001 01110110 01100001 //对应的二进制
    按照二进制来传递信息,总的长度是 359 (包括空格)

  2. 通信领域中信息的处理方式2-变长编码
    i like like like java do you like a java // 共40个字符(包括空格)
    d:1 y:1 u:1 j:2 v:2 o:2 l:4 k:4 e:4 i:5 a:5 :9 // 各个字符对应的个数
    0= , 1=a, 10=i, 11=e, 100=k, 101=l, 110=o, 111=v, 1000=j, 1001=u, 1010=y, 1011=d 说明:按照各个字符出现的次数进行编码,原则是出现次数越多的,则编码越小,比如 空格出现了9 次, 编码为0 ,其它依次类推.
    按照上面给各个字符规定的编码,则我们在传输 “i like like like java do you like a java” 数据时,编码就是 10010110100…
    字符的编码都不能是其他字符编码的前缀,符合此要求的编码叫做前缀编码, 即不能匹配到重复的编码(这个在赫夫曼编码中,我们还要进行举例说明, 不捉急)

  3. 通信领域中信息的处理方式3-赫夫曼编码
    i like like like java do you like a java // 共40个字符(包括空格)
    d:1 y:1 u:1 j:2 v:2 o:2 l:4 k:4 e:4 i:5 a:5 :9 // 各个字符对应的个数
    按照上面字符出现的次数构建一颗赫夫曼树, 次数作为权值.(图后)

哈夫曼编码&文件压缩和解压

例如:

//根据赫夫曼树,给各个字符
//规定编码 , 向左的路径为0
//向右的路径为1 , 编码如下:
o: 1000 u: 10010 d: 100110 y: 100111 i: 101
a : 110 k: 1110 e: 1111 j: 0000 v: 0001
l: 001 : 01

按照上面的赫夫曼编码,我们的"i like like like java do you like a java" 字符串对应的编码为 (注意这里我们使用的无损压缩)
1010100110111101111010011011110111101001101111011110100001100001110011001111000011001111000100100100110111101111011100100001100001110
长度为 : 133
说明:
原来长度是 359 , 压缩了 (359-133) / 359 = 62.9%
此编码满足前缀编码, 即字符的编码都不能是其他字符编码的前缀。不会造成匹配的多义性.

注意, 这个赫夫曼树根据排序方法不同,也可能不太一样,这样对应的赫夫曼编码也不完全一样,但是wpl 是一样的,都是最小的, 比如: 如果我们让每次生成的新的二叉树总是排在权值相同的二叉树的最后一个,则生成的二叉树为:

哈夫曼编码&文件压缩和解压

最佳实践-数据压缩(创建赫夫曼树)

将给出的一段文本,比如 “i like like like java do you like a java” , 根据前面的讲的赫夫曼编码原理,对其进行数据压缩处理 ,形式如 “1010100110111101111010011011110111101001101111011110100001100001110011001111000011001111000100100100110111101111011100100001100001110”
步骤1:根据赫夫曼编码压缩数据的原理,需要创建 “i like like like java do you like a java” 对应的赫夫曼树.

  1. 先将这些字符串转化为byte数组
  2. 再将这些数组放到Map里面统计每个字符出现的次数
  3. 再将Map里面的元素转化成节点,方便生成对应的哈夫曼树
  4. 将节点数组转化成对应的哈夫曼树
  5. 这些从根节点到叶子节点的路径就是我们所求的哈夫曼编码,将这些编码存储到Map中
  6. 再扫描原始字符串,将他们按照哈夫曼编码表中的编码对应转换成相应的二进制
  7. 到这里转换完的二进制本质还是字符串,我们要将这些字符串转换成一个字节一个字节的二进制
  8. 将字符串转换成byte数组存放,这样就得到对应的哈夫曼编码后的(压缩)二进制
  9. 最后输出即可

步骤2:解码过程,就是编码的一个逆向操作

  1. 先将二进制字数组化成字符串
  2. 将一开始的Map中的键和值位置调换,值变为键,键变为值
  3. 扫描字符串,如果出现了相应的编号就将相应编号对应的值存放到byte数组集合中
  4. 再将得到的byte数组集合转换为字符串就完成了解压的操作

代码实现

节点类

package com.datestructures.tree.huffmancode;
//节点类
//为了让Node 对象支持排序Collections集合排序
//让Node 实现Comparable<Node>接口

public class Node implements Comparable<Node> {
    Byte data;//存放数据本身  'a'=>97  'b'=>98 ' '=32
    int weight;//节点权值 表示节点出席的次数
    Node left;//指向左子节点
    Node right;//指向右子节点

    public Node(Byte data, int weight) {
        this.data = data;
        this.weight = weight;
    }

    //前序遍历
    public void preOrder() {
            System.out.println(this);
        if (this.left != null) {
            this.left.preOrder();
        }
        if (this.right != null) {
            this.right.preOrder();
            ;
        }
    }

    @Override
    public String toString() {
        return "Node{" +
                "data=" + data +
                ", weight=" + weight +
                '}';
    }

    @Override
    public int compareTo(Node o) {
        //从小到大排序
        return this.weight - o.weight;
    }
}

先将这些字符串转化为对应的Byte数组

String content = "i like like like java do you like a java";
byte[] contentBytes = content.getBytes();//将字符串转成字节数组

将这些数组放到Map里面统计每个字符出现的次数

再将Map里面的元素转化成节点,方便生成对应的哈夫曼树

 /**
     * 将byte数组转成节点集合
     *
     * @param bytes 接收字节数组
     * @return 返回的就是List  形式[Node[date=97,weight=5],Node[date=32,weight=9]......]
     */
    private static List<Node> getNodes(byte[] bytes) {
        //1创建一个ArrayList
        ArrayList<Node> nodes = new ArrayList<>();
        //遍历bytes 统计每个byte出现的次数  用map较好   map[key,value]
        Map<Byte, Integer> counts = new HashMap<>();
        for (byte b : bytes) {
            Integer count = counts.get(b);
            if (count == null) {//Map中没有这个字符
                counts.put(b, 1);
            } else {
                counts.put(b, count + 1);
            }
        }
        //把每个键值对转成Node对象  保存到nodes集合中
        //遍历map
        for (Map.Entry<Byte, Integer> entry : counts.entrySet()) {
            nodes.add(new Node(entry.getKey(), entry.getValue()));
        }
        return nodes;
    }

再将这些节点转化成对应的哈夫曼树

//通过List创建对应的哈夫曼树
    private static Node createHuffmanTree(List<Node> nodes) {
        while (nodes.size() > 1) {
            //排序,从小到大
            Collections.sort(nodes);
            //取出第一课最小的二叉树
            Node leftNode = nodes.get(0);
            //取出第二课小的二叉树
            Node rightNode = nodes.get(1);
            //创建一棵新的二叉树,它的根节点没有data,只有权值
            Node parent = new Node(null, leftNode.weight + rightNode.weight);
            parent.left = leftNode;
            parent.right = rightNode;
            //将已经处理过的两颗二叉树移除
            nodes.remove(leftNode);
            nodes.remove(rightNode);
            //将新的二叉树加入到nodes
            nodes.add(parent);
        }
        //nodes最后的节点就是哈夫曼树的根节点
        return nodes.get(0);
    }

这些从根节点到叶子节点的路径就是我们所求的哈夫曼编码,将这些编码存储到Map中

//生成的哈夫曼树对应的哈夫曼编码
    //思路
    //1.将哈夫曼编码表存放在Map<Byte,string>  形式 32=>01  97=>100  100=>1100 等等
    static Map<Byte, String> huffmanCodes = new HashMap<>();
    //2.在生成哈夫曼编码表时,需要去拼接路径,定义一个StringBuilder 存储某个叶子结点的路径
    static StringBuilder stringBuilder = new StringBuilder();

    //为了调用方便  重载getCodes
    private static Map<Byte, String> getCodes(Node root) {
        if (root == null) {
            return null;
        }
        //处理root左子树
        getCodes(root.left, "0", stringBuilder);
        getCodes(root.right, "1", stringBuilder);
        return huffmanCodes;
    }

    /**
     * 功能:将传入的node节点的所有叶子结点的哈夫曼编码得到并放入到huffmanCodes集合中
     *
     * @param node          传入节点 默认根节点
     * @param code          路径:左子节点是0 右子节点是1
     * @param stringBuilder 用于拼接路径
     */
    private static void getCodes(Node node, String code, StringBuilder stringBuilder) {
        StringBuilder stringBuilder2 = new StringBuilder(stringBuilder);
        //将code加入到stringBuilder2
        stringBuilder2.append(code);
        if (node != null) {//如果node==null不处理
            //判断当前node是叶子结点还是非叶子节点
            if (node.data == null) {//非叶子节点
                //递归处理
                //向左递归
                getCodes(node.left, "0", stringBuilder2);
                //向右递归
                getCodes(node.right, "1", stringBuilder2);
            } else {//说明是一个叶子结点
                //就表示找到某个叶子结点的最后
                huffmanCodes.put(node.data, stringBuilder2.toString());

            }

        }
    }

再扫描原始字符串,将他们按照哈夫曼编码表中的编码对应转换成相应的二进制

到这里转换完的二进制本质还是字符串,我们要将这些字符串转换成一个字节一个字节的二进制

将字符串转换成byte数组存放,这样就得到对应的哈夫曼编码后的(压缩)二进制

//将字符串对应的byte[]数组,通过生成的哈夫曼编码表,返回一个哈夫曼编码  压缩后的byte[]
    /**
     * @param bytes        这是原始的字符串对应的byte[]
     * @param huffmanCodes 生成的哈夫曼编码map
     * @return 返回哈夫曼编码处理后的byte[]
     * 举例:
     * String content = "i like like like java do you like a java" => byte[] contentBytes = content.getBytes();
     * 返回的是这个字符串对应的byte[] huffmanCodeBytes  ,即8位对应一个byte,放入到hufffmanCodeBytes
     * huffmanCodeBytes[0] = 10101000(补码)=>byte [推导 10101000=> 10101000-1=>10100111(反码)=>11011000(原码)=>-88]
     * huffmanCodeBYtes[1] = -88
     */
    private static byte[] zip(byte[] bytes, Map<Byte, String> huffmanCodes) {
        //1.先利用哈夫曼编码表将bytes转成哈夫曼编码后的字符串
        StringBuilder stringBuilder = new StringBuilder();
        //遍历bytes数组  得到哈夫曼编码后的字符串
        for (byte b : bytes) {
            stringBuilder.append(huffmanCodes.get(b));
        }
        System.out.println("原始压缩二进制码" + stringBuilder);
        //2.将字符串转成byte数组
        //统计返回 byte[] huffmanCodeBytes 长度
        // 统计返回字节大小
        int len = (stringBuilder.length() + 7) / 8;
        //创建存储压缩后的bytes[]
        byte[] huffmanCodeBytes = new byte[len];
        int index = 0;//记录是第几个byte
        for (int i = 0; i < stringBuilder.length(); i += 8) {//每8位对应一个byte,所以步长+8
            String strByte;
            if (i + 8 > stringBuilder.length()) {//不够8位
                strByte = stringBuilder.substring(i);
            } else {
                strByte = stringBuilder.substring(i, i + 8);
            }
            //将strByte转成一个byte,放入到huffmanCodeBytes
            huffmanCodeBytes[index++] = (byte) Integer.parseInt(strByte, 2);
        }
        return huffmanCodeBytes;
    }

步骤2代码实现

//完成数据解压
    /*
    1.将huffmanCodeBytes [-88, -65, -56, -65, -56, -65, -55, 77, -57, 6, -24, -14, -117, -4, -60, -90, 28]重新转成哈夫曼编码对应的二进制字符串
    2.对照哈夫曼编码转成对应的字符串
     */
    //编写一个方法  完成对压缩数据的解码

    /**
     * @param huffmanCodes 原先使用的哈夫曼编码表
     * @param huffmanBytes 经过哈夫曼编码得到的字节数组
     * @return 返回原来字符串对应的数组
     */
    private static byte[] decode(Map<Byte, String> huffmanCodes, byte[] huffmanBytes) {
        //1.先得到huffmanBytes  对应的二进制字符串  形式 1010100010111...
        StringBuilder stringBuilder = new StringBuilder();
        //2.将byte[] 转成二进制的字符串
        for (int i = 0; i < huffmanBytes.length; i++) {
            //判断是不是最后一个字节
            boolean flag = (i == huffmanBytes.length - 1);
            stringBuilder.append(byteToBitString(!flag, huffmanBytes[i]));
        }
        //把字符串按照指定的哈夫曼编码进行解码
        //把哈夫曼编码表进行调换  因为反向查询  压缩 a -> 100  解码 100 -> a
        Map<String, Byte> map = new HashMap<>();
        for (Map.Entry<Byte, String> entry : huffmanCodes.entrySet()) {
            map.put(entry.getValue(), entry.getKey());
        }
        //创建一个集合  存放byte
        List<Byte> list = new ArrayList<>();
        // i可以理解成索引 一直扫描stringBuilder
        for (int i = 0; i < stringBuilder.length();) {
            int count = 1;//扫描得到对应编码 计数器
            boolean flag = true;
            Byte b = null;
            while (flag) {
                // 递增的取出key  取出一个'1'  '0';
                String key = stringBuilder.substring(i, i + count);//i不动 让count移动  直到匹配到一个字符
                b = map.get(key);
                if (b != null) {
                    flag = false;
                } else {//说明没有匹配到
                    count++;
                }
            }
            list.add(b);//将字符放到集合中
            i += count;//让i 直接移动到count+i
        }
        //当for循环结束后list存放了所有的字符
        //把list中的数组放到byte[] 并返回
        byte[] b = new byte[list.size()];
        for (int i = 0; i < b.length; i++) {
            b[i] = list.get(i);
        }
        return b;
    }

文件的压缩

步骤

  1. 先将文件读取到程序中
  2. 然后进行压缩
  3. 再将压缩文件写入到磁盘中

代码实现

/**
     * 编写方法,将一个文件进行压缩
     * @param srcFile 传入的希望压缩的文件的全路径
     * @param dstFile 压缩后将文件放到哪个目录
     */
    public static void zipFile(String srcFile,String dstFile){
        //创建输出流
        OutputStream os =null;
        ObjectOutputStream oos = null;
        //创建文件的输入流
        FileInputStream is = null;
        try {
            //创建文件的输入流
            is = new FileInputStream(srcFile);
            //创建一个和源文件大小一样的byte[]
            byte[] b = new byte[is.available()];
            //读取文件
            is.read(b);
            //直接对源文件压缩
            byte[] huffmanBytes = huffmanZip(b);
            //创建文件的输出流 存放压缩的文件
            os = new FileOutputStream(dstFile);
            //创建一个和文件输出流关联的ObjectOutputStream
            oos = new ObjectOutputStream(os);
            //把哈夫曼编码后的字节数组写入压缩文件
            oos.writeObject(huffmanBytes);
            //这里我们以对象流的方式写入huffman编码  是为了以后恢复原文件时使用
            //注意一定要把哈夫曼编码写入到压缩文件中  否则恢复不了
            oos.writeObject(huffmanCodes);
        } catch (Exception e) {
            System.out.println(e.getMessage());
        }finally {
            try {
                is.close();
                oos.close();
                os.close();
            }catch (Exception e){
                System.out.println(e.getMessage());
            }
        }
    }

文件的解压

步骤

  1. 先将压缩文件读取到文件中
  2. 再进行解码
  3. 再将解码文件写到磁盘中

代码实现

/**
     * 编写一个方法,完成对压缩文件的解压
     * @param zipFile 准备解压的文件
     * @param dstFile 将文件解压到哪个路径
     */
    public  static void unZipFile(String zipFile,String dstFile){
        //定义文件的输入流
        InputStream is = null;
        //定义与输入流相关的对象输入流
        ObjectInputStream ois = null;
        //定义一个文件的输出流
        OutputStream os = null;
        try {
            //创建文件的输入流
            is = new FileInputStream(zipFile);
            //创建一个和is关联的对象输入流
            ois = new ObjectInputStream(is);
            //读取bytes数组 huffmanBytes
            byte[] huffmanBytes = (byte[])ois.readObject();
            //读取哈夫曼编码表
            Map<Byte,String> huffmanCodes = (Map<Byte,String>)ois.readObject();
            //解码
            byte[] bytes = decode(huffmanCodes,huffmanBytes);
            //将bytes写入到目标文件
            os = new FileOutputStream(dstFile);
            //写出数据到文件中
            os.write(bytes);
        }catch (Exception e){
            System.out.println(e.getMessage());
        }finally {
            try {
                ois.close();
                os.close();
                is.close();
            } catch (Exception e) {
                System.out.println(e.getMessage());
            }
        }
    }

完整代码

节点类

package com.datestructures.tree.huffmancode;
//节点类
//为了让Node 对象支持排序Collections集合排序
//让Node 实现Comparable<Node>接口

public class Node implements Comparable<Node> {
    Byte data;//存放数据本身  'a'=>97  'b'=>98 ' '=32
    int weight;//节点权值 表示节点出席的次数
    Node left;//指向左子节点
    Node right;//指向右子节点

    public Node(Byte data, int weight) {
        this.data = data;
        this.weight = weight;
    }

    //前序遍历
    public void preOrder() {
            System.out.println(this);
        if (this.left != null) {
            this.left.preOrder();
        }
        if (this.right != null) {
            this.right.preOrder();
            ;
        }
    }

    @Override
    public String toString() {
        return "Node{" +
                "data=" + data +
                ", weight=" + weight +
                '}';
    }

    @Override
    public int compareTo(Node o) {
        //从小到大排序
        return this.weight - o.weight;
    }
}

哈夫曼编码类文章来源地址https://www.toymoban.com/news/detail-435806.html

package com.datestructures.tree.huffmancode;

import java.io.*;
import java.util.*;

public class HuffmanCode {
    public static void main(String[] args) {
        /*String content = "i like like like java do you like a java";
        byte[] contentBytes = content.getBytes();//将字符串转成字节数组
        System.out.println(contentBytes.length);//40
        byte[] huffmanCodeBytes = huffmanZip(contentBytes);
        System.out.println("压缩后的结果" + Arrays.toString(huffmanCodeBytes));*/
        /*分布过程
        List<Node> nodes = getNodes(contentBytes);//将字节数组转成节点集合
        System.out.println(nodes);
        //测试一把  创建的二叉树
        System.out.println("哈夫曼树");
        Node root = createHuffmanTree(nodes);
        System.out.println("前序遍历一下");
        preOrder(root);
        //测试一把  是否生成了哈夫曼编码
        Map<Byte,String> huffmanCodes = getCodes(root);
        System.out.println(huffmanCodes);
        //测试 哈夫曼编码过后的byte[]
        byte[] huffmanCodeBytes = zip(contentBytes,huffmanCodes);
        System.out.println(Arrays.toString(huffmanCodeBytes));
        */

        //如何将数据进行解压  解码
        //测试一把byteToBinString方法
        //System.out.println(byteToBitString(false,(byte)-1));
        //byte[] sourceByre = decode(huffmanCodes, huffmanCodeBytes);
        //System.out.println("原来的字符串"+new String(sourceByre));
        //测试压缩文件
        /*String srcFile = "E:\\ideaproject\\algo\\.idea\\yasuoceshi\\fqw.png";
        String dstFile = "E:\\ideaproject\\algo\\.idea\\yasuoceshi\\ljn.zip";
        zipFile(srcFile,dstFile);
        System.out.println("压缩ok");*/
        //测试解压文件
        String zipFile = "E:\\ideaproject\\algo\\.idea\\yasuoceshi\\ljn.zip";
        String dstFile = "E:\\ideaproject\\algo\\.idea\\yasuoceshi\\fqw1.png";
        unZipFile(zipFile,dstFile);
        System.out.println("解压成功");
    }
    /**
     * 编写方法,将一个文件进行压缩
     * @param srcFile 传入的希望压缩的文件的全路径
     * @param dstFile 压缩后将文件放到哪个目录
     */
    public static void zipFile(String srcFile,String dstFile){
        //创建输出流
        OutputStream os =null;
        ObjectOutputStream oos = null;
        //创建文件的输入流
        FileInputStream is = null;
        try {
            //创建文件的输入流
            is = new FileInputStream(srcFile);
            //创建一个和源文件大小一样的byte[]
            byte[] b = new byte[is.available()];
            //读取文件
            is.read(b);
            //直接对源文件压缩
            byte[] huffmanBytes = huffmanZip(b);
            //创建文件的输出流 存放压缩的文件
            os = new FileOutputStream(dstFile);
            //创建一个和文件输出流关联的ObjectOutputStream
            oos = new ObjectOutputStream(os);
            //把哈夫曼编码后的字节数组写入压缩文件
            oos.writeObject(huffmanBytes);
            //这里我们以对象流的方式写入huffman编码  是为了以后恢复原文件时使用
            //注意一定要把哈夫曼编码写入到压缩文件中  否则恢复不了
            oos.writeObject(huffmanCodes);
        } catch (Exception e) {
            System.out.println(e.getMessage());
        }finally {
            try {
                is.close();
                oos.close();
                os.close();
            }catch (Exception e){
                System.out.println(e.getMessage());
            }
        }
    }
    /**
     * 编写一个方法,完成对压缩文件的解压
     * @param zipFile 准备解压的文件
     * @param dstFile 将文件解压到哪个路径
     */
    public  static void unZipFile(String zipFile,String dstFile){
        //定义文件的输入流
        InputStream is = null;
        //定义与输入流相关的对象输入流
        ObjectInputStream ois = null;
        //定义一个文件的输出流
        OutputStream os = null;
        try {
            //创建文件的输入流
            is = new FileInputStream(zipFile);
            //创建一个和is关联的对象输入流
            ois = new ObjectInputStream(is);
            //读取bytes数组 huffmanBytes
            byte[] huffmanBytes = (byte[])ois.readObject();
            //读取哈夫曼编码表
            Map<Byte,String> huffmanCodes = (Map<Byte,String>)ois.readObject();
            //解码
            byte[] bytes = decode(huffmanCodes,huffmanBytes);
            //将bytes写入到目标文件
            os = new FileOutputStream(dstFile);
            //写出数据到文件中
            os.write(bytes);
        }catch (Exception e){
            System.out.println(e.getMessage());
        }finally {
            try {
                ois.close();
                os.close();
                is.close();
            } catch (Exception e) {
                System.out.println(e.getMessage());
            }
        }
    }

    //完成数据解压
    /*
    1.将huffmanCodeBytes [-88, -65, -56, -65, -56, -65, -55, 77, -57, 6, -24, -14, -117, -4, -60, -90, 28]重新转成哈夫曼编码对应的二进制字符串
    2.对照哈夫曼编码转成对应的字符串
     */
    //编写一个方法  完成对压缩数据的解码

    /**
     * @param huffmanCodes 原先使用的哈夫曼编码表
     * @param huffmanBytes 经过哈夫曼编码得到的字节数组
     * @return 返回原来字符串对应的数组
     */
    private static byte[] decode(Map<Byte, String> huffmanCodes, byte[] huffmanBytes) {
        //1.先得到huffmanBytes  对应的二进制字符串  形式 1010100010111...
        StringBuilder stringBuilder = new StringBuilder();
        //2.将byte[] 转成二进制的字符串
        for (int i = 0; i < huffmanBytes.length; i++) {
            //判断是不是最后一个字节
            boolean flag = (i == huffmanBytes.length - 1);
            stringBuilder.append(byteToBitString(!flag, huffmanBytes[i]));
        }
        //把字符串按照指定的哈夫曼编码进行解码
        //把哈夫曼编码表进行调换  因为反向查询  压缩 a -> 100  解码 100 -> a
        Map<String, Byte> map = new HashMap<>();
        for (Map.Entry<Byte, String> entry : huffmanCodes.entrySet()) {
            map.put(entry.getValue(), entry.getKey());
        }
        //创建一个集合  存放byte
        List<Byte> list = new ArrayList<>();
        // i可以理解成索引 一直扫描stringBuilder
        for (int i = 0; i < stringBuilder.length();) {
            int count = 1;//扫描得到对应编码 计数器
            boolean flag = true;
            Byte b = null;
            while (flag) {
                // 递增的取出key  取出一个'1'  '0';
                String key = stringBuilder.substring(i, i + count);//i不动 让count移动  直到匹配到一个字符
                b = map.get(key);
                if (b != null) {
                    flag = false;
                } else {//说明没有匹配到
                    count++;
                }
            }
            list.add(b);//将字符放到集合中
            i += count;//让i 直接移动到count+i
        }
        //当for循环结束后list存放了所有的字符
        //把list中的数组放到byte[] 并返回
        byte[] b = new byte[list.size()];
        for (int i = 0; i < b.length; i++) {
            b[i] = list.get(i);
        }
        return b;
    }

    /**
     * 将一个byte 转成对应的二进制字符串
     *
     * @param b
     * @param flag 标识是否需要补高位  如果是true 则需要补高位  如果是false  则不需要补   如果是最后一个字节  则不需要补高位
     *             因为转成字节码的时候也没有补8位 而是直接加到当时转成的字符串
     * @return 对应的二进制字符串(按补码返回)
     */
    private static String byteToBitString(boolean flag, byte b) {
        //使用一个变量保存b
        int temp = b;//将b转成int
        //如果是正数  还存在一个补高位  返回的是补码  正数补码为它本身
        if (flag) {
            temp |= 256;
            ;//按位与  256  1 0000 0000 如果是1  0000 0001 =>按位与 | => 1 0000 0001
        }
        String str = Integer.toBinaryString(temp);//返回的是temp对应的二进制补码
        if (flag) {
            return str.substring(str.length() - 8);//返回二进制后8位
        } else {
            return str;
        }
    }

    /**
     * 使用一个方法,将前面的方法封装起来  便于我们的调用
     *
     * @param contentBytes 原始的字符串对应的数组
     * @return 返回的是经过哈夫曼编码处理后的字节数组  压缩后的数组
     */
    private static byte[] huffmanZip(byte[] contentBytes) {
        List<Node> nodes = getNodes(contentBytes);//将字节数组转成节
        //根据nodes创建哈夫曼树
        Node root = createHuffmanTree(nodes);
        //根据哈夫曼树生成对应的哈夫曼编码
        Map<Byte, String> huffmanCodes = getCodes(root);
        //根据哈夫曼编码得到压缩后的哈夫曼编码字节数组
        byte[] huffmanCodeBytes = zip(contentBytes, huffmanCodes);
        return huffmanCodeBytes;
    }
    //将字符串对应的byte[]数组,通过生成的哈夫曼编码表,返回一个哈夫曼编码  压缩后的byte[]
    /**
     * @param bytes        这是原始的字符串对应的byte[]
     * @param huffmanCodes 生成的哈夫曼编码map
     * @return 返回哈夫曼编码处理后的byte[]
     * 举例:
     * String content = "i like like like java do you like a java" => byte[] contentBytes = content.getBytes();
     * 返回的是这个字符串对应的byte[] huffmanCodeBytes  ,即8位对应一个byte,放入到hufffmanCodeBytes
     * huffmanCodeBytes[0] = 10101000(补码)=>byte [推导 10101000=> 10101000-1=>10100111(反码)=>11011000(原码)=>-88]
     * huffmanCodeBYtes[1] = -88
     */
    private static byte[] zip(byte[] bytes, Map<Byte, String> huffmanCodes) {
        //1.先利用哈夫曼编码表将bytes转成哈夫曼编码后的字符串
        StringBuilder stringBuilder = new StringBuilder();
        //遍历bytes数组  得到哈夫曼编码后的字符串
        for (byte b : bytes) {
            stringBuilder.append(huffmanCodes.get(b));
        }
        //System.out.println("原始压缩二进制码" + stringBuilder);
        //2.将字符串转成byte数组
        //统计返回 byte[] huffmanCodeBytes 长度
        // 统计返回字节大小
        int len = (stringBuilder.length() + 7) / 8;
        //创建存储压缩后的bytes[]
        byte[] huffmanCodeBytes = new byte[len];
        int index = 0;//记录是第几个byte
        for (int i = 0; i < stringBuilder.length(); i += 8) {//每8位对应一个byte,所以步长+8
            String strByte;
            if (i + 8 > stringBuilder.length()) {//不够8位
                strByte = stringBuilder.substring(i);
            } else {
                strByte = stringBuilder.substring(i, i + 8);
            }
            //将strByte转成一个byte,放入到huffmanCodeBytes
            huffmanCodeBytes[index++] = (byte) Integer.parseInt(strByte, 2);
        }
        return huffmanCodeBytes;
    }


    //生成的哈夫曼树对应的哈夫曼编码
    //思路
    //1.将哈夫曼编码表存放在Map<Byte,string>  形式 32=>01  97=>100  100=>1100 等等
    static Map<Byte, String> huffmanCodes = new HashMap<>();
    //2.在生成哈夫曼编码表时,需要去拼接路径,定义一个StringBuilder 存储某个叶子结点的路径
    static StringBuilder stringBuilder = new StringBuilder();

    //为了调用方便  重载getCodes
    private static Map<Byte, String> getCodes(Node root) {
        if (root == null) {
            return null;
        }
        //处理root左子树
        getCodes(root.left, "0", stringBuilder);
        getCodes(root.right, "1", stringBuilder);
        return huffmanCodes;
    }

    /**
     * 功能:将传入的node节点的所有叶子结点的哈夫曼编码得到并放入到huffmanCodes集合中
     *
     * @param node          传入节点 默认根节点
     * @param code          路径:左子节点是0 右子节点是1
     * @param stringBuilder 用于拼接路径
     */
    private static void getCodes(Node node, String code, StringBuilder stringBuilder) {
        StringBuilder stringBuilder2 = new StringBuilder(stringBuilder);
        //将code加入到stringBuilder2
        stringBuilder2.append(code);
        if (node != null) {//如果node==null不处理
            //判断当前node是叶子结点还是非叶子节点
            if (node.data == null) {//非叶子节点
                //递归处理
                //向左递归
                getCodes(node.left, "0", stringBuilder2);
                //向右递归
                getCodes(node.right, "1", stringBuilder2);
            } else {//说明是一个叶子结点
                //就表示找到某个叶子结点的最后
                huffmanCodes.put(node.data, stringBuilder2.toString());

            }

        }
    }

    //前序遍历的方法
    private static void preOrder(Node root) {
        if (root != null) {
            root.preOrder();
        } else {
            System.out.println("空树,不能遍历");
        }
    }

    /**
     * 将byte数组转成节点集合
     *
     * @param bytes 接收字节数组
     * @return 返回的就是List  形式[Node[date=97,weight=5],Node[date=32,weight=9]......]
     */
    private static List<Node> getNodes(byte[] bytes) {
        //1创建一个ArrayList
        ArrayList<Node> nodes = new ArrayList<>();
        //遍历bytes 统计每个byte出现的次数  用map较好   map[key,value]
        Map<Byte, Integer> counts = new HashMap<>();
        for (byte b : bytes) {
            Integer count = counts.get(b);
            if (count == null) {//Map中没有这个字符
                counts.put(b, 1);
            } else {
                counts.put(b, count + 1);
            }
        }
        //把每个键值对转成Node对象  保存到nodes集合中
        //遍历map
        for (Map.Entry<Byte, Integer> entry : counts.entrySet()) {
            nodes.add(new Node(entry.getKey(), entry.getValue()));
        }
        return nodes;
    }

    //通过List创建对应的哈夫曼树
    private static Node createHuffmanTree(List<Node> nodes) {
        while (nodes.size() > 1) {
            //排序,从小到大
            Collections.sort(nodes);
            //取出第一课最小的二叉树
            Node leftNode = nodes.get(0);
            //取出第二课小的二叉树
            Node rightNode = nodes.get(1);
            //创建一棵新的二叉树,它的根节点没有data,只有权值
            Node parent = new Node(null, leftNode.weight + rightNode.weight);
            parent.left = leftNode;
            parent.right = rightNode;
            //将已经处理过的两颗二叉树移除
            nodes.remove(leftNode);
            nodes.remove(rightNode);
            //将新的二叉树加入到nodes
            nodes.add(parent);
        }
        //nodes最后的节点就是哈夫曼树的根节点
        return nodes.get(0);
    }

}

到了这里,关于哈夫曼编码&文件压缩和解压的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 哈夫曼树与哈夫曼编码

    哈夫曼树:结点中赋予一个某种意义的值,称为结点的权值,从根结点开始,到目标结点经过的边数,称为路径长度,路径长度乘以权值,称为带权路径长度; 例如:根结点代表着快递集散点,一个叶子结点权值是5,在业务逻辑中代表着重量是5斤的货物📦,路径长度是3,

    2024年02月05日
    浏览(45)
  • 哈夫曼树,哈夫曼编码及解码详解

    🌍新人小白的博客 ⌛️希望大家多多关注 🌱一起加油,共同成长 🎃以后会经常更新哒~🙈 ⭐️个人主页: 收藏加关注,永远不迷路~⭐️ 一: 顺序表的操作,你真的学会了吗? 二: 顺序栈的基本操作 三: 循环队列的基本操作,你学会了吗? 四: 单链表的操作(超详细

    2024年02月05日
    浏览(45)
  • 哈夫曼树详解及其应用(哈夫曼编码)

    一,哈夫曼树的基本概念 路径: 从树中一个结点到另一个结点之间的 分支 构成这两个结点间的路径 结点的路径长度 :两结点之间路径上的 分支数 树的路径长度: 从 树根 到每一个结点的 路径长度之和 . 记作:TL 权(weight): 将树中结点赋给一个有着某种含义的数值

    2024年02月04日
    浏览(48)
  • 哈夫曼树、哈夫曼编码和字典树

    目录 哈夫曼树 树的带权路径长度(wpl) 哈夫曼编码 代码实现哈夫曼树 封装哈夫曼树的节点 构建哈夫曼树 字典树 执行流程 代码实现字典树 封装字典树的节点 构建字典树         哈夫曼树(Huffman Tree)是一种带权路径长度最短的二叉树。哈夫曼树常常用于数据压缩,其压

    2023年04月09日
    浏览(49)
  • 数据结构——哈夫曼树与哈夫曼编码

    1.1 基本概念 路径 :指从根结点到该结点的分支序列。 路径长度 :指根结点到该结点所经过的分支数目。 结点的带权路径长度 :从树根到某一结点的路径长度与该结点的权的乘积。 树的带权路径长度(WPL) :树中从根到所有叶子结点的各个带权路径长度之和。 哈夫曼树 是由

    2024年02月05日
    浏览(43)
  • 数据结构之哈夫曼树与哈夫曼编码

    编码是信息处理的基础(重新表示信息)。 普通的编码是等长编码,例如7位的ASCIL编码,对出现频率不同的字符都使用相同的编码长度。 但其在传输和存储等情况下编码效率不高 。 可使用不等长编码,来压缩编码:高频字符编码长度更短,低频字符编码长度更长。   [例

    2023年04月15日
    浏览(61)
  • 数据结构之哈夫曼树和哈夫曼编码

    切入正题之前,我们先了解几个概念: 路径:从树的一个结点到另一个结点分支所构成的路线 路径长度:路径上的分支数目 树的路径长度:从根结点出发到每个结点的路径长度之和 带权路径长度:该结点到根结点的路径长度乘以该结点的权值 树的带权路径长度:树中所有

    2024年02月11日
    浏览(43)
  • 哈夫曼树及哈夫曼编码(考试常考版)

    哈夫曼树的基本概念 哈夫曼树的定义是对一组具有确定权值的叶子节点,选出最小带权路径长度的二叉树为哈夫曼树(WPL最小),也称最优二叉树 哈夫曼算法的实现 注意:哈夫曼树在构造时选择两个最小的权值点,默认小的在左边大的在右边,但实际上并没有硬性规定,可以

    2024年02月11日
    浏览(55)
  • 数据结构课程实验五:哈夫曼树与哈夫曼编码

    实验日期:2022-12-20   目录 一、实验目的 1、掌握哈夫曼树的建立 2、掌握哈夫曼编码方式 二、实验内容

    2024年02月05日
    浏览(47)
  • 【数据结构与算法】-哈夫曼树(Huffman Tree)与哈夫曼编码

    超详细讲解哈夫曼树(Huffman Tree)以及哈夫曼编码的构造原理、方法,并用代码实现。 路径 :从树中一个结点到另一个结点之间的 分支 构成这两个结点间的路径。 结点的路径长度 :两结点间路径上的 分支数 。 树的路径长度: 从树根到每一个结点的路径长度之和。记作: TL  权

    2024年02月06日
    浏览(51)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包