我用爬虫写了一个小程序-Toy模板网

这篇具有很好参考价值的文章主要介绍了我用爬虫写了一个小程序。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

一天我在微信小程序上面发现有很多表情包或者壁纸一类的小程序，我就在想我可不可以做一个类似的小程序呢？

最开始的时候想法比较简单，就是写一个接口然后上传表情包或者壁纸(到处是下载，哈哈哈)。

然后根据分类以及标题进行搜索已达到其效果；但是让我没想不到的是上传了上千张图片以后发现内存占用太多了。(主要是舍不得买内存，用的是机械内存)，这让我很是苦恼直到有一天我发现一个网站的域名和图片地址不一致。

域名和图片地址不一致很有可能就是该图片不是此网站的。

当我了解到这儿的时候，我觉得发现了新大陆一样，开始学习怎么用node去爬取数据，最开始学习的时候就是通过解析页面html拿到相关的一些数据即可，然后有一天我发现一个更简单的方式：

找到数据的接口(可能是隐藏的)直接请求该接口即可获取数据；一般个人网站的话基本上都不会隐藏接口，只有很大的公司这种可能才会这样做吧！不过个人网站大部分是做了md5加密；这种如果在不知道秘钥的情况下也是比较难搞的(就只能去爬页面)，这也是个人网站用的最多的。

大家想要去学习爬虫，可以多去一些网站上看看；分析分析怎么爬虫。

不管是接口还是html；很多网站为了防止别人爬数据，会在标签类名上做文章(就是很多类名是一致的)，这样就是为给爬数据增加难度。

在做抖图表情包GIF的时候，问我想到了两种方式。

1、先将数据爬取下来保存到数据库，爬取的数据一般有：图片名称、图片分类、图片链接等，当用户需要的时候就直接在我的数据库搜索使用即可，只是说图片链接还是其他网站的(主要是图片太大了，不想下载)

2、这种就是用户在请求数据的时候，我马上去拉取第三方网站(也就是用户需要的图片数据，去第三方网站拉取)，然后返回给用户；相当于做了一个转发。这样的话我数据库都省了。

目前我使用的方法就是第二种，毕竟没啥人用。所以无关紧要啦！

但是我推荐还是第一种，因为第一种的效率更高以及不容易被风控；第二种是建立在同一个ip的情况下，不断的拉取；人少还好；多了就容易被网站检测到(同一个ip多次访问，会被误认为你在攻击网站)。

推荐方法：

大家可以用electron加上sqlite3搭建一个爬虫软件，然后将数据保存在本地数据库；隔一段时间就去拉取一次(更新数据)；然后将本地数据库把你网站的数据库替换一下，这样就更新了。

如果可以的话，也是可以将图片下载下来，然后将其保存到你自己的网站进行访问，不过这种的话就需要你在保存sqlite3的时候处理好图片的访问链接

如果大家不知道怎么爬虫的话，可以访问该文章用node爬到了表情包，超级简单

如果大家感兴趣可以看看该小程序

我用爬虫写了一个小程序,爬虫,小程序

往期文章

css登录按钮炫酷效果
css是你永远学不会的语言
electron 中使用本地数据库
electron 中 webview的使用
前端使用electron+vue3+ts搭建一个桌面端应用且可以热更新文章来源地址https://www.toymoban.com/news/detail-724608.html

到了这里，关于我用爬虫写了一个小程序的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！