Java使用Opencv进行大图找小图并使用其找图功能进行bilibili视频下载案例

本文将介绍Opencv在windows下的安装，并使用Java操作Opencv进行行大图找小图测试，最后通过应用大图找小图功能来实现bilibili的视频下载。

一、Opencv大图找小图说明

以下来自chatGpt3.5模型的回答：

Opencv是一款开源的计算机视觉库，可以用于图像处理、目标检测、人脸识别等领域。在Opencv中，可以使用模板匹配算法来实现大图找小图的功能。
模板匹配算法是一种基于像素级别的匹配算法，它的基本思想是在大图中寻找与小图相似的区域。具体实现过程如下：

读取大图和小图，并将它们转换为灰度图像。
定义一个滑动窗口，在大图中滑动，并将窗口中的像素与小图进行比较。
计算窗口中像素与小图像素的差异，得到一个匹配度。
将匹配度保存到一个矩阵中，矩阵的大小与大图相同。
在矩阵中找到最大匹配度的位置，即为小图在大图中的位置。
Opencv提供了多种模板匹配算法，包括平方差匹配、归一化平方差匹配、相关匹配和归一化相关匹配等。不同的算法适用于不同的场景，需要根据实际情况选择合适的算法。

总之，Opencv提供了强大的图像处理功能，可以实现大图找小图等多种应用。

二、Opencv的window安装

1.下载windows下的安装包

官网的路径是：https://opencv.org/
我下载的是4.2.0，下载地址（官网）为：https://udomain.dl.sourceforge.net/project/opencvlibrary/4.2.0/opencv-4.2.0-vc14_vc15.exe
或者链接(非官网，速度快些)：https://nchc.dl.sourceforge.net/project/opencvlibrary/4.2.0/opencv-4.2.0-vc14_vc15.exe

2.安装

双击opencv-4.2.0-vc14_vc15.exe安装即可，我这里安装到D:\ProgramFiles\opencv
安装后的目录如：

3.Java中Opencv加载测试

引入opencv-420.jar包：
新建一个Java的maven工程，然后将安装目录下的build\java\opencv-420.jar复制到工程的lib目录

pom.xml中采用本地引入方式如下：

		<!-- opencv start -->
		<dependency>
			<groupId>cn.gzsendi</groupId>
			<artifactId>opencv-420</artifactId>
			<version>0.0.1</version>
			<scope>system</scope>
			<systemPath>${pom.basedir}/lib/opencv-420.jar</systemPath>
		</dependency>
		<!-- opencv end -->

将build\java\x64\opencv_java420.dll放在java工程的resoure目录下

代码测试加载Opencv是否正常

package cn.lihua;
import java.net.URL;
import org.opencv.core.Mat;
import org.opencv.highgui.HighGui;
import org.opencv.imgcodecs.Imgcodecs;

public class OpencvTest {
		public static void main(String[] args) throws InterruptedException {
		// 加载动态库，放在资源目录下，推荐
        URL url = ClassLoader.getSystemResource("opencv_java420.dll");
        //另一种加载的方式，放在环境变量中，需要配置
		//System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
        System.load(url.getPath());
        Mat source = Imgcodecs.imread("images/source.jpg");
        HighGui.imshow("测试", source);
		HighGui.waitKey();
	}
}

执行代码后，如果能打开图像，则opencv环境正常。

三、Java中通过Opencv进行模板匹配大图找小图

Java中进行大图找小图主要如下步骤：
1.导入Opencv库
2.加载图像
3.进行模板匹配
4.获取匹配结果
5.绘制匹配结果
6.显示结果
对应的代码如下：

package cn.lihua.modules.test;

import java.net.URL;
import org.opencv.core.Core;
import org.opencv.core.Mat;
import org.opencv.core.Point;
import org.opencv.core.Scalar;
import org.opencv.highgui.HighGui;
import org.opencv.imgcodecs.Imgcodecs;
import org.opencv.imgproc.Imgproc;

public class TemplateMatchingTest {
	
	public static void main(String[] args) {
		String sourceImg = "images/source.bmp";
		String smallImg = "images/smallImg.bmp";
		new TemplateMatchingTest().templateMatching(sourceImg, smallImg);
	}
	
	public void templateMatching(String sourceImg,String smallImg) {
			
		// 1.导入Opencv库
		URL url = ClassLoader.getSystemResource("opencv_java420.dll");
		System.load(url.getPath());

		// 2.加载图像
		Mat src = Imgcodecs.imread(sourceImg);// 待匹配图片
		Mat template = Imgcodecs.imread(smallImg);// 获取匹配模板
		
		// 3.进行模板匹配
		// 创建一个输出图像
		Mat outputImage = new Mat(src.rows(), src.cols(), src.type());
		Imgproc.matchTemplate(src, template, outputImage, Imgproc.TM_CCOEFF_NORMED);

		// 4.获取匹配结果,查找最大匹配值
		Core.MinMaxLocResult result = Core.minMaxLoc(outputImage);
		Point matchLoc = result.maxLoc;
		double similarity = result.maxVal; //匹配度
		int x = (int) matchLoc.x; //小图大大图中的x坐标
		int y = (int) matchLoc.y; //小图大大图中的y坐标
		System.out.println(x + "," + y + " similarity: " + similarity);
		//将查找到的结果标上框框
		Imgproc.rectangle(src,new Point(x,y),new Point(x+template.cols(),y+template.rows()),
				new Scalar( 0, 0, 255),2,Imgproc.LINE_AA);
     
	     //5.显示结果
		HighGui.imshow("模板匹配", src);
		HighGui.waitKey();
		
	}

}

source.bmp

smallImg.bmp

模板匹配后：

四、进行多图查找

三步骤中的查询是将匹配上的最佳的子图返回，有时可能子图中会有多个，也希望能把所有的都返回，可以在查询到第一个后，不断的递归裁剪并继续匹配，最终返回所有的，示例代码如下：

package cn.lihua.modules.test;

import java.net.URL;

import org.opencv.core.Core;
import org.opencv.core.Mat;
import org.opencv.core.Point;
import org.opencv.core.Scalar;
import org.opencv.highgui.HighGui;
import org.opencv.imgcodecs.Imgcodecs;
import org.opencv.imgproc.Imgproc;

/**
 * 返回多个位置的例子
 * @author liujh
 *
 */
public class TemplateMatchingMultiResultExample {
	
	public static void main(String[] args) {
		String sourceImg = "images/big1.bmp";
		String smallImg = "images/small1.bmp";
		new TemplateMatchingMultiResultExample().templateMultiMatching(sourceImg, smallImg);
	}

	public void templateMultiMatching(String sourceImg,String smallImg) {
		
		// 1.导入Opencv库
		URL url = ClassLoader.getSystemResource("opencv_java420.dll");
		System.load(url.getPath());

		// 2.加载图像
		Mat largeImage = Imgcodecs.imread(sourceImg);//待匹配图片
		Mat smallImage = Imgcodecs.imread(smallImg);// 获取匹配模板1
		
		// 创建输出图像
        Mat outputImage = new Mat(largeImage.rows(), largeImage.cols(), largeImage.type());
        
        // 进行模板匹配
        Imgproc.matchTemplate(largeImage, smallImage, outputImage, Imgproc.TM_CCOEFF_NORMED);
        
        // 设置匹配阈值
        double threshold = 0.8;
        
        // 循环遍历所有匹配结果
        while (true) {
            // 查找最大匹配值
            Core.MinMaxLocResult result = Core.minMaxLoc(outputImage);
            Point matchLoc = result.maxLoc;
            double maxVal = result.maxVal;
            
            // 如果匹配值小于阈值，则退出循环
            if (maxVal < threshold) {
                break;
            }
            
            System.out.println(matchLoc.x + "," + matchLoc.y + " similarity: " + maxVal);
            
            // 在大图中标出匹配位置
            Imgproc.rectangle(largeImage, matchLoc, new Point(matchLoc.x + smallImage.cols(),
                    matchLoc.y + smallImage.rows()), new Scalar(0, 0, 255), 2);
            
            // 将匹配位置的值设置为0，以便下一次匹配
            Imgproc.rectangle(outputImage, matchLoc, new Point(matchLoc.x + smallImage.cols(),
                    matchLoc.y + smallImage.rows()), new Scalar(0, 0, 0), -1);
        }
		
		HighGui.imshow("模板匹配", largeImage);
		HighGui.waitKey();
		
	}
}

big.bmp

small.bmp

匹配结果：

五：案例下载bilibili视频

经过上面的测试后，我们具备了通过大图找小图的能力，接下来我们通过实践一下，写程序将bilibili网站的视频下载下来。

思路：
1.bilibili网站默认没有下载视频的插件，首先安装下载插件
2.手上尝试下载视频，找出下载视载可以自动化操作的步骤
3.通过大图找小图功能，并结合Java的Robot类实现自动化找到下载视频需要的对应图标和位置，然后模拟点击，达到自动下载的效果。

1.bilibili网站安装下载视频插件

上https://bilibilihelper.com/网站进行插件下载

得到bilibili-helper-u-2.5.23.8.zip离线插件包

chrome浏览器地址栏输入chrome://extensions/，开发模式勾上，拖动bilibili-helper-u-2.5.23.8.zip至浏览器进行安装

安装成功后，点一个视频看（一定需要点击播放视频）右上角会出现下载插件的小图标

2.业务流程分析

下载一个视频的步骤如下，可以看出来步骤是这样：
点击要下载的视频链接，点右上角的插件图标，在弹出的窗口中点击1080P高清图标，再点一下图标会出现点击下载，再点一下点击下载即可

所有视频链接的下载规律是：
前面P1、P2、P3、P4视频要点击的位置需要定位，第5个视频开始后面的视频要点击的位置都是和第5个视频一样，通过这个规律，我们可以将P1-P4视频的点击位置，通过大图找小图功能来定位，P5和后面的视频就直接用绝对位置定位进行点击，（其实都可以用绝对定位，但主要想演示就用一下Opencv的大图找小图功能）

这样经过分析后，整个视频下载的业务逻辑如下

1.将P1-P4的视频的链接截好小图，右上角插件图示、1080高清、点击下载等图标截好小图，供后面程序进行匹配使用
2.P1-P4的视频下载，通过大图找小图进行定位，通过Java的Robot类进行模拟点击实现视频下载
3.P5及以后的视频，通过直接绝对定位到屏幕位置点击进行视屏下载
4.视频最后的几个也简单通过绝对定位下载，和P5视频的位置不相同，也需要处理一下,我们通过绝对定位处理（此案例主要是为了练习opencv大图找小图，所有的下载其实都能通过绝对定位位置下载）

下图为最后几集的点击，可以看到不再是和P5视屏一样的位置，需要每次向下移动一行的距离

3.代码实现

3.0 先截需要的几个图

注：程序启动前最好在你的电脑上重新截图

3.1代码片段

定义OpencvService接口用来实现大图找小图

package cn.lihua.modules.bilibili.service;

import java.util.List;

import cn.lihua.modules.bilibili.model.FindImgDto;

public interface OpencvService {

	/**
	 * 大图找小图
	 * @param bigImg
	 * @param smallImg
	 * @return
	 */
	FindImgDto templateMatching(String bigImg,String smallImg);
	
	/**
	 * 大图找小图
	 * @param bigImg
	 * @param smallImg
	 * @param thresholdValue 匹配度
	 * @return
	 */
	FindImgDto templateMatching(String bigImg,String smallImg,Double thresholdValue);
	
	/**
	 * 大图找小图，返回多个
	 * @param bigImg
	 * @param smallImg
	 * @param thresholdValue 匹配度
	 * @return
	 */
	List<FindImgDto> templateMultiMatching(String bigImg,String smallImg,Double thresholdValue);
	
	List<FindImgDto> templateMultiMatching(String bigImg,String smallImg);

}

定义BilibiliVideoDownService进行视频的下载

/**
 * 下载Bilibili视频
 * @author jxlhl
 */
public interface BilibiliVideoDownService {
	
	public void exportStart() throws Exception;

}

Robot类用于模拟移动和点击鼠标

		try {
			robot = new Robot();//核心机器人类，键盘或鼠标事件的重放执行。
		} catch (AWTException e) {
			logger.error("error",e);
		}

全屏截图，用于每次大图找小图时使用

	/**
	 * 全屏截图
	 */
	private void createScreenCapture() {

		int width = (int) Toolkit.getDefaultToolkit().getScreenSize().getWidth();
		int height = (int) Toolkit.getDefaultToolkit().getScreenSize().getHeight();
		try {
			BufferedImage screenShotImage = robot.createScreenCapture(new Rectangle(0, 0, width, height));
			File sourceImg = new File("images/fullScreen.jpg");
			ImageIO.write(screenShotImage, "jpg", sourceImg);
		} catch (Exception e) {
			logger.error("error",e);
		}

	}

鼠标移动与点击的代码

	/*
	 * 移到指定的位置并左键点击
	 * 
	 */
	private void mouseMoveAndClick(int clientX, int clientY) throws InterruptedException{
		mouseMove(clientX, clientY);
		robot.delay(1000);//随即休眠0-2秒
		mouseClick();
	}
	
	/**
	 * 点击鼠标左键
	 * @throws InterruptedException 
	 */
	private void mouseClick() throws InterruptedException{
		robot.mousePress(InputEvent.BUTTON1_MASK);//左键
		robot.delay(100);
		robot.mouseRelease(InputEvent.BUTTON1_MASK);//左键
	}

	/**
	 * 移动鼠标到指定的坐标
	 */
	private void mouseMove(int clientX, int clientY){
		//不太明白这里为什么这样写，但这一行代码结合缩放比例可以稍微解决定位不准确的问题。
		robot.mouseMove(-1, -1);
		//我的电脑是200%,因此除以2
		String screenPercent = "200";
		double rate = Integer.parseInt(screenPercent)/100d;
		//增加一点点的随机数，防检测
		robot.mouseMove((int)(clientX/rate) , (int)(clientY/rate));
	}

下载某一个视频的逻辑代码

	/**
	 * 下载第{pageNumber}个视频
	 * @param pageNumber
	 * @param totalCount
	 * @throws Exception
	 */
	private void downLoad(int pageNumber,int totalCount) throws Exception{
		
		Thread.sleep(3000l);
		
		logger.info("开始下载第{}个视频，剩余{}个",pageNumber,(totalCount-pageNumber));
		
		//截图全屏，然后写入images/fullScreen.jpg
		createScreenCapture();
		//进行大图找小图测试
		FindImgDto findImgDto = null;
		
		//前面的4个视频，通过大图找小图定位位置
		if(pageNumber<=4){
			findImgDto = opencvService.templateMatching(fullScreen,"images/template/P"+pageNumber+".bmp");
			logger.info(JsonUtil.toJSONString(findImgDto));
			//找到的坐标点击时，x坐标向右靠100，可以点击得更中心些
			mouseMoveAndClick(findImgDto.getClientX() + 100 , findImgDto.getClientY());
			
		}else{
			
			if(pageNumber <= 195){
				//第5-第195个视频都点击和第5个视频所在的位置即可，1768,1011(你需要换成你的电脑上对应的位置)
				mouseMoveAndClick(1768,1011);
			}else{
				
				//最后5个视频特殊处理，直接定位进行点击
				//第196个视频
				if(pageNumber == 196){
					mouseMoveAndClick(1768,1080);//(你需要换成你的电脑上对应的位置)
				}
				//第197个视频
				if(pageNumber == 197){
					mouseMoveAndClick(1768,1150);//(你需要换成你的电脑上对应的位置)
				}
				if(pageNumber == 198){
					mouseMoveAndClick(1768,1220);//(你需要换成你的电脑上对应的位置)
				}
				if(pageNumber == 199){
					mouseMoveAndClick(1768,1280);//(你需要换成你的电脑上对应的位置)
				}
				if(pageNumber == 200){
					mouseMoveAndClick(1768,1340);//(你需要换成你的电脑上对应的位置)
				}
				
			}
			
		}
		
		//不断等待查找右上角的下载插件图标
		findImgDto = new FindImgDto();
		while(!findImgDto.isIfFind()){
			Thread.sleep(3000l);
			createScreenCapture();
			findImgDto = opencvService.templateMatching(fullScreen,click1);
			mouseMoveAndClick(findImgDto.getClientX() , findImgDto.getClientY());
		}
		
		//不断等待查找1080高清图标
		findImgDto = new FindImgDto();
		while(!findImgDto.isIfFind()){
			Thread.sleep(3000l);
			createScreenCapture();
			findImgDto = opencvService.templateMatching(fullScreen,click2);
			mouseMoveAndClick(findImgDto.getClientX() , findImgDto.getClientY());
			robot.delay(100);
			mouseMove(findImgDto.getClientX()+300, findImgDto.getClientY());
		}
		
		//不断等待查找点击下载图标
		findImgDto = new FindImgDto();
		while(!findImgDto.isIfFind()){
			Thread.sleep(3000l);
			createScreenCapture();
			findImgDto = opencvService.templateMatching(fullScreen,click3);
			mouseMoveAndClick(findImgDto.getClientX() , findImgDto.getClientY());
			robot.delay(100);
			mouseMove(findImgDto.getClientX()+300, findImgDto.getClientY());
		}
		
		//点击下载图标后，需要再点一下右上角的插件图标复原
		findImgDto = new FindImgDto();
		while(!findImgDto.isIfFind()){
			Thread.sleep(3000l);
			createScreenCapture();
			findImgDto = opencvService.templateMatching(fullScreen,click1);
			mouseMoveAndClick(findImgDto.getClientX() , findImgDto.getClientY());
			robot.delay(100);
		}
		
	}

下载所有视频的逻辑代码

	public void exportStart() throws Exception {
		
		//0.下载Bilibili视频自动化操作
		logger.info("BilibiliVideoDownService Start....");
		
		//休息5秒等待程序启动了切换到下载网站页面
		Thread.sleep(5000l);
		
		//需要下载的视频数量
		int totalCount = 200;
		try {
			
			//遍历下载每一个视频
			for(int i =1 ;i<=totalCount;i++){
				downLoad(i,totalCount);
			}
			
			//阻塞判断是否下载完成
			ifFinishedDownload();

			logger.info("all completed."); 
			
		} catch (Exception e) {
			logger.error("errror",e);
		} finally {
			
		}
		
		logger.info("BilibiliVideoDownService success..");
		
	}

3.2 程序效果截图

3.3 源码下载

github: https://github.com/jxlhljh/opencvBilibiliDownloadTest.git
gitee: https://gitee.com/jxlhljh/opencvBilibiliDownloadTest.git文章来源地址https://www.toymoban.com/news/detail-593024.html

到了这里，关于Java使用Opencv进行大图找小图并使用其找图功能进行bilibili视频下载案例的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！