使用node爬取视频网站里《龙珠》m3u8视频

这篇具有很好参考价值的文章主要介绍了使用node爬取视频网站里《龙珠》m3u8视频。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1. 找到视频播放网站

百度一下 龙珠视频播放  精挑细选一个可以播放的网站。
 如:我在网上随便找了一个播放网站,可以直接在线播放   https://www.xxx.com/play/39999-1-7.html

这里不具体写视频地址了,大家可以自行搜索 

2.分析网页DOM结构 找出视频资源地址

使用node爬取视频网站里《龙珠》m3u8视频,音视频,node.js,爬虫,vue.js,前端

可以看到 整块播放内容在 td#playleft 下的 iframe 引入。

验证一下:把 https://xxx/yun/?url=https://XXX/20221016/npV6fcC2/index.m3u8 地址在浏览器内直接访问 发现可以正常播放视频

使用node爬取视频网站里《龙珠》m3u8视频,音视频,node.js,爬虫,vue.js,前端

那这串地址就是我们所需要的视频文件资源路径。那我们接下来就需要想办法根据这个路径把视频保存到本地。

3.批量获取视频播放地址

        虽然通过第二步的操作 我们可以拿到了第一话的视频资源地址,但是是手动完成的。需要想办法能批量的拿到第一部153话的所有资源地址。

        想拿到所有视频的视频资源地址的前提是拿到所有视频的播放地址。所以我们要先想办法拿到每一集的播放地址。

        点击播放第1话 第2话 第3话 ,可以看到 浏览器URL 分别是

        第1话  /play/39999-1-1.html 

        第2话 /play/39999-1-2.html  

        第3话/play/39999-1-3.html 


分析视频网站的地址不难看出 规律, 递增n就可以获取到每一话的在线播放地址

let n = 1
let urlArr = []
while(n < 154){
    urlArr.push('/play/39999-1-' +n+'.html' ) 
    n++
}
console.log(urlArr )
4.批量获取视频资源地址

        通过第三步我们已经拿到了 每一话的播放地址,那就要想办法拿到 每一个播放地址下的td#playleft 下的 iframe 的 src。

1.第一次尝试

        直接获取 /play/39999-1-1.html 的页面结构,尝试从返回的dom中找到 td#playleft 下的 iframe。但是并没有找到相关的DOM,推测应该是动态添加的 节点,第一次尝试失败

var request = require('request');

request(`https://www.xxx.com/play/39999-1-1.html`, function (err, res, body) {
  console.log(err, res, body);
});

使用node爬取视频网站里《龙珠》m3u8视频,音视频,node.js,爬虫,vue.js,前端

2.第二次尝试

        既然直接拿不到那就等页面加载完成再去拿,所以第二种方案就是 在本地项目中 通过 iframe引入 

https://www.xxx.com/play/39999-1-1.html     等 iframe onload之后再去获取iframe.contentDocument 下的 

<body>
  <iframe id="iframe" src="https://www.xxx.com/dragon/39999-1-1.html" onload="loadPage()" frameborder="0"></iframe>
</body>

<script>
function loadPage(e){
    let iframe = document.getElementsByTagName('iframe')[0]
    var iframeDocument = iframe.contentDocument || iframe.contentWindow.document;
    console.log(iframeDocument )
}
</script>

但是呢 并没有拿到 ,

使用node爬取视频网站里《龙珠》m3u8视频,音视频,node.js,爬虫,vue.js,前端

虽然拿到了ifram的dom,但是呢 拿不到 contentDocument。

这是为什么呢?

新机呲挖一呲冒黑套呲  真相只有一个

iframe src 的跨域问题,  

方案二失败 

3.第三次尝试

        第三次的尝试是和第二次思路一样的,所以主要任务是解决 iframe的跨域问题,

<iframe id="iframe" src="/dragon/39999-1-1.html" onload="loadPage()" frameborder="0"></iframe>

    代理一下吧

    # 龙珠
	server {
        listen       9001;
       
		location / {
            root   E:/dragonBall;
            index  index.html index.htm;
			try_files $uri $uri/ @router;
        }
		location /dragon {
            proxy_pass https://www.xxx.com/play;
        }
		location /_guard {
            proxy_pass https://www.xxx.com;
        }
		location /template {
            proxy_pass https://www.xxx.com;
        }
		location /static {
            proxy_pass https://www.xxx.com;
        }
		 
    }

至此 终于拿到了 在线播放页面的全部DOM数据

使用node爬取视频网站里《龙珠》m3u8视频,音视频,node.js,爬虫,vue.js,前端

那么简单的处理下数据 就可以拿到每一话的 视频资源地址了

(这里直接循环了,也可以直接使用第3步获取的视频播放地址,逻辑是一致的)

<script>
  let num = 1
  let arr = []
  function loadPage(e){
    arr = localStorage.getItem('streamUrl')
    if(arr){
      arr = JSON.parse(arr)
    }else{
      arr = []
    }
    if(num > 154) return 
    let iframe = document.getElementsByTagName('iframe')[0]
    var iframeDocument = iframe.contentDocument || iframe.contentWindow.document;

    var iframeElement = iframeDocument.getElementById('playleft').getElementsByTagName('iframe')[0];
    let streamUrl = iframeElement.attributes.src.value.split('?url=')[1]
    
    console.log('这是第'+ num +"话:"+streamUrl)
    arr.push({
      index:num,
      url:streamUrl
    })
    num ++
    localStorage.setItem('streamUrl',JSON.stringify(arr))
    iframe.src = "/dragon/39999-1-"+num+".html"

  }
</script>

使用node爬取视频网站里《龙珠》m3u8视频,音视频,node.js,爬虫,vue.js,前端

5.根据m3u8的资源地址下载视频

首先封装一个下载视频的函数

function downloadMedia (opt, callback) {
  // 测试视频,如果链接失效的话就自己找一个
  let url = opt.url ;
  let output = opt.output || 'video';
  
  let filename = opt.index + '.mp4';
  let title = opt.title || '测试视频';
  
  if (!fs.existsSync(output)) {
    fs.mkdirSync(output, {
      recursive: true,
    });
  }

  (async function() {
    try {
      console.log("准备下载...");

      await converter
        .setInputFile(url)
        .setOutputFile(path.join(output, filename))
        .start();

      console.log("下载完成!");

      if ( typeof callback === 'function' ) callback(opt.index);
    } catch (error) {
      console.log(error)
      throw new Error("哎呀,出错啦! 检查一下参数传对了没喔。", error);
    }
  })(); 

}

然后 再遍历一下我们拿到的视频资源地址 ,轮询调用一下 下载方法 就可以了


let arr = [
    {
        "index": 1,
        "url": "https://xxx/20221016/npV6fcC2/index.m3u8"
    },
    ...
    {
        "index": 153,
        "url": "https://xxx/20221016/6AaX2hCl/index.m3u8"
    }
]

let callback = function(index){
    let indexName = arr[index - 1].index
    if(indexName.length === 1){
        indexName = '00' + indexName
    } 
    if(indexName.length === 2){
        indexName = '0' + indexName
    }
    downloadMedia({url:arr[indexName].url,index:arr[indexName].index},callback)
}

downloadMedia({url:arr[0].url,index:'001'},callback)

我现在设置的是一次下载1个文件,也可以修改下同时下载多个,注意别把 视频网站搞崩了。

使用node爬取视频网站里《龙珠》m3u8视频,音视频,node.js,爬虫,vue.js,前端

总结:

        主要问题还是获取到资源地址。处理好资源地址的问题,就可以轮询下载了。

附:

gitee源码

仓库 - wangbanglei (wangbangleilei) - Gitee.com

注:仅供学习使用文章来源地址https://www.toymoban.com/news/detail-851813.html

到了这里,关于使用node爬取视频网站里《龙珠》m3u8视频的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • M3U8在线视频下载(解决DMM等网站下载的视频是dcv格式)

    1.Edge(或chrome浏览器) 2.N_m3u8DL-CLI 1.首先需要你购买的正版视频文件支持视频播放,然后在准备播放界面按F12调出控制台选择网络,之后再点击播放,这时候会弹出新的窗口用于播放,在新的窗口再次按F12调出控制台,这时候会单独打开一个控制台窗口。 2.搜索m3u8找到一个chu

    2024年02月03日
    浏览(118)
  • 视频爬虫:解析m3u8文件 python m3u8库,m3u8文件中.ts视频流的解密下载

    这里需要引用的库是: from Crypto.Cipher import AES 有坑哈, python3.0 之后直接安装crypto你会发现不管怎么着都会报错。 经过查找资料找到了原因,原来是20年之后crypto已经被pycryptohome替换掉啦, 如果之前安装过crypyo 活pycrypto需要先卸载 然后再安装 pycryptohome 就可以啦 首先我们需

    2024年02月14日
    浏览(62)
  • vue项目中使用m3u8格式播放大视频

    网站中播放大视频时经常卡顿,无法顺利播放,在查找解决方案时发现很多文章建议使用m3u8流媒体播放代替MP4播放,做了下测试,现总结记录下测试过程中遇到的问题与解决办法。 1.使用ffmpeg做视频转换 1)下载ffmpeg  FFmpeg github 2)在环境变量path中加入配置,以便在控制台使

    2024年02月09日
    浏览(51)
  • 使用ffmpeg将视频转成HLS(m3u8)格式

      HLS (HTTP Live Streaming)是苹果推出的视频流协议,HLS格式的视频包含一个m3u8文本文件,以及众多的.ts的视频片段,而m3u8文本文件的作用就是将这些ts片段索引起来。 因为HLS协议是将视频切分成很多小的ts片段,这些小片段很适合放到cdn上,有很多视频文章都使用了hls格式传

    2024年02月13日
    浏览(44)
  • 抓取m3u8视频

    视频url:https://www.9meiju.cc/mohuankehuan/shandianxiadibaji/1-1.html 打开网址分析当前视频是由多个片段组成还是单独一个视频 如果是一个单独视频,则找到网址,直接下载即可,如果为多个片段的视频,则需要找到片段的文件进行处理,本案例以m3u8为例 找到m3u8文件后进行下载,下载

    2024年02月11日
    浏览(45)
  • uniapp的H5项目使用videojs播放m3u8类型视频

    uniapp项目,运行在手机浏览器端,需要播放m3u8类型视频。在网上找了好久教程,记录一下实现过程。 参考了:uni-app npm方式引入video.js教程 支持H5播放m3u8、mp4等格式视频文件_npm video.js_wang_9909的博客-CSDN博客 以及videojs官网。 1、安装videojs 2、在main.js中加以下三行代码 3、页面

    2024年02月07日
    浏览(39)
  • vue使用video.js实现播放m3u8格式的视频

    我使用的video.js版本如下: 在components下新建一个VideoPlayer文件夹 index如下:  直接把地址传给sourceUrl即可

    2024年02月12日
    浏览(43)
  • 在vue中使用dplayer播放hls m3u8格式视频

    Dplayer 官方文档地址 Dplayer官方地址 虽然在vue中有vue-dplayer但却没有对hls进行很好的支持 所以建议还是使用Dplayer 在组件中引入 播放m3u8格式的视频需要框选部分 – 建议查看官方文档MSE支持 切换视频 切换视频需要用到 switchVideo() api 方便大家复制 部分片段

    2024年02月13日
    浏览(33)
  • 在AWS Lambda中使用FFmpeg处理m3u8视频流

    在直播里领域,我们经常需要对视频流进行处理。FFmpeg则是该领域中处理的利器。这篇文章,我们将以视频流截图为例,讲解如何在AWS Lambda中对m3u8视频流进行截图。因为Lambda是无服务架构,其本地存储是不可靠的,于是最后我们需要将截图文件上传S3桶。 这块的方案可以见

    2024年02月03日
    浏览(57)
  • m3u8视频流,视频切片处理

    随着客户的增加,mp4文件播放的弊端也日益凸显。 mp4缺点 1):mp4的关键帧元素往往很大,需要加载很长时间才能开始播放。 2):当用户打开一个视频播放的时候,浏览器会持续请求下载mp4文件直到下载完成,就算是用户暂停视频播放浏览器也会持续这种下载状态,给服务器硬

    2024年02月02日
    浏览(58)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包