【论文爬虫】自动将论文详细信息直送notion并自动下载（含源码）-Toy模板网

这篇具有很好参考价值的文章主要介绍了【论文爬虫】自动将论文详细信息直送notion并自动下载（含源码）。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

输入论文标题，本爬虫将自动在semanticscholar.com和arxiv.com搜索该文章，自动获取其日期、作者、url、摘要等信息，并自动发送到你提前设置好的notion数据库里，同时自动从arxiv下载论文，然后将论文的保存地址在notion页面的address属性中展示。

爬虫创建的notion页面展示

源码：https://github.com/WongYuetYee/PaperClipper

喜欢的点一个星星，有空会更新详细教程。
以下文章比较繁琐，是写给零基础读者看的，如果对python很熟悉，请直接查看源码的readme，节省你的时间。

0. Python及相关包的安装

Step-0.0 安装python

本爬虫基于python，如果电脑没有安装过python，可以在Microsoft Store里搜索python下载一下，如图所示：
【论文爬虫】自动将论文详细信息直送notion并自动下载（含源码）,notion,爬虫,notion,python
安装结束后打开命令提示行（win+R输入cmd），输入python，如出现以下内容，即安装成功。

Step-0.1 安装requests包

打开命令提示行（win+R输入cmd），输入pip3 install requests，安装时的显示如下。
【论文爬虫】自动将论文详细信息直送notion并自动下载（含源码）,notion,爬虫,notion,python
安装完成后输入python，再输入import requests，如没有报错，显示如下，则表示成功安装：

1. Notion数据库的设置

Step-1.0 新建一个database页面

在Notion中新建一个database页面，下文中将默认该页面标题为Reference。
打开我的模板页面并Duplicate到自己的数据库里，或者根据下面的表格手动设置相应的属性。如果只是想更改属性的名字，把代码里相应的属性名字做替换更改即可。后续有空的时候我会更新自定义属性的教程。
下面是目前支持爬取的属性，请务必保持自己页面含有下面的所有属性，否则会影响爬虫使用。

属性名字	属性类别
Name	Title
URL	URL
TLDR	Text
Form	Select
Published	Date
DOI	Text
ArXiv	Text
组织/团队/作者	Text
开源代码	Text
Location	Text
Confirm	Checkbox

创建以后，在右上角点击Share，并点击Copy link，获取到一串形似以下字符串的链接：

https://www.notion.so/huangyer/d6d2651588e4473e970d53183d585870?v=cc500e0f66364db9841c96d6aa17d473&pvs=4

其中的加粗部分（即最后一个斜线之后、问号之前），就是你的这个数据库的id，请复制并保存下来。
【论文爬虫】自动将论文详细信息直送notion并自动下载（含源码）,notion,爬虫,notion,python

Step-1.1 创建一个新的integration

在https://www.notion.com/my-integrations中，选择+New integration，按喜好取名，如果有需要，可以上传图片选择自己喜爱的logo作为该integration的图标，点击Submit后，在Internal Integration Secret栏下点击show，并copy获取该integration的token，记录下来。

后期如果忘记可以再次进入此页面找到token，token意外泄漏也可以通过Refresh更换一个新的token。

【论文爬虫】自动将论文详细信息直送notion并自动下载（含源码）,notion,爬虫,notion,python

Step-1.2 将integration连接到database

在Step-0新建的database页面中，点击右上角的三个点按钮，找到最下方的Add Connection，找到并选择Step-1中创建的integration，并Confirm。
【论文爬虫】自动将论文详细信息直送notion并自动下载（含源码）,notion,爬虫,notion,python

2. 脚本的更改（如果使用Quicker方法，此步可跳过）

Step-2.0 下载源代码

在https://github.com/WongYuetYee/PaperClipper页面里下载ToNotion.py文件。
也可以新建一个txt文件，复制代码进去，再将该文件重命名为ToNotion.py。

Step-2.1 更改源代码

打开ToNotion.py(win+Q搜索IDLE，打开该程序，点击File->open，选择你下载或新建的代码文件)。
【论文爬虫】自动将论文详细信息直送notion并自动下载（含源码）,notion,爬虫,notion,python
打开代码后，点击Edit->Replace替换更改代码的两处（你也可以手动搜索并替换）。
你需要将 $YOUR_DATABASE_ID$ 更换成你在Step-1.0中复制保存下来的数据库id，
再将 $YOUR_INTEGRATION_TOKEN$ 更换成你在Step-1.1中复制保存下来的integration的token，
完成后保存代码即可。
【论文爬虫】自动将论文详细信息直送notion并自动下载（含源码）,notion,爬虫,notion,python