Golang爬虫技术

相关文章

• Golang 网络爬虫框架gocolly

  Golang 是一门非常适合编写网络爬虫的语言，它有着高效的并发处理能力和丰富的网络编程库。下面是一个简单的 Golang 网络爬虫示例： 这个爬虫的功能是获取指定网站的标题。代码中使用了 Go 的标准库 net/http 和 regexp 来进行网络请求和正则表达式匹配。当然，这只是一个简

  2024年02月04日

  浏览(26)

• 记一个网站的爬虫,并思考爬虫与反爬虫(golang)

  最近在分析一个显示盗版小说的网站,其反爬虫思路绝对值得记上一笔. 该网站的地址为 : https://www.bravonovel.life .是一个展示英文小说的网站. 开始,发现这个网站没有登录权限.打开就能看到内容,查看网页源代码.没有内容加密.所以内容都明文的显示在网页中.(自信的以为,简单

  2024年02月15日

  浏览(40)

• golang爬虫使用splash进行JS渲染服务

  发现之前写的 shein 爬虫突然失效了。页面返回提示: Enable JavaScript and cookies to continue 尝试更换代理IP, 请求头，都没用。根据提示来看，确实被反爬了。应该启用 JS渲染 。 考虑到Go语言常用的 chromedp 浏览器爬虫，效率较低。想起以前使用python的 scrapy 爬虫框架时，结合 Splash

  2024年01月19日

  浏览(59)

• 【Golang】Golang进阶系列教程--Go 语言 map 如何顺序读取？

  Go 语言中的 map 是一种非常强大的数据结构，它允许我们快速地存储和检索键值对。 然而，当我们遍历 map 时，会有一个有趣的现象，那就是输出的键值对顺序是不确定的。 先看一段代码示例： 当我们多执行几次这段代码时，就会发现，输出的顺序是不同的。 首先，Go 语言

  2024年02月14日

  浏览(69)
• 

  【Golang】Golang进阶系列教程--Go 语言数组和切片的区别

  在 Go 语言中，数组和切片看起来很像，但其实它们又有很多的不同之处，这篇文章就来说说它们到底有哪些不同。 数组和切片是两个常用的数据结构。它们都可以用于存储一组相同类型的元素，但在底层实现和使用方式上存在一些重要的区别。 Go 中数组的长度是不可改变的

  2024年02月15日

  浏览(61)
• 

  【Golang】Golang进阶系列教程--Go 语言切片是如何扩容的？

  在 Go 语言中，有一个很常用的数据结构，那就是切片（Slice）。 切片是一个拥有相同类型元素的可变长度的序列，它是基于数组类型做的一层封装。它非常灵活，支持自动扩容。 切片是一种引用类型，它有三个属性：指针，长度和容量。 底层源码定义如下： 指针： 指向

  2024年02月14日

  浏览(70)

• Golang：Go语言结构

  在我们开始学习 Go 编程语言的基础构建模块前，让我们先来了解 Go 语言最简单程序的结构。 Go 语言的基础组成有以下几个部分： 包声明 引入包 函数 变量 语句 表达式 注释 接下来让我们来看下简单的代码，该代码输出了\\\"Hello World!\\\": 让我们来看下以上程序的各个部分： 第一

  2024年02月10日

  浏览(59)
• 

  【Golang】Golang进阶系列教程--为什么 Go 语言 struct 要使用 tags

  在 Go 语言中，struct 是一种常见的数据类型，它可以用来表示复杂的数据结构。在 struct 中，我们可以定义多个字段，每个字段可以有不同的类型和名称。 除了这些基本信息之外，Go 还提供了 struct tags，它可以用来指定 struct 中每个字段的元信息。 在本文中，我们将探讨为什

  2024年02月15日

  浏览(80)
• 

  golang开发工程师-第一步：golang入门基础教学

  人生格言：好记性不如烂笔头！ 建议：看这篇文章，前提是必须会java，javascript等一门语言。你可以把golang语言看做是缝合怪；集c，java，javascript等语言优点于一身。如果你没有任何编程语言傍身，本人还是建议你去哔站看视频，就不要在这里浪费时间了~~~ 优势一：golang代码

  2024年02月04日

  浏览(42)
• 

  猜谜游戏、彩云词典爬虫、SOCKS5代理的 Go(Golang) 小实践，附带全代码解释

  猜谜游戏在编程语言实践都已经和 HelloWord 程序成为必不可少的新手实践环节，毕竟，它能够让我们基本熟悉 for 循环、变量定义、打印、if else 语句等等的使用，当我们基本熟悉该语言基础之后，就要学会其优势方面的程序实践，比如 Golang 所具备的爬虫及其并发优势。我们

  2024年02月05日

  浏览(31)