skip to content
久木笔记

使用谷歌colab爬取节点

/ 3 min read

能够自动爬取全网分享的订阅地址及代理节点,也能够自动注册/续期、订阅转换、节点存活检查等

作者项目地址【点击直达】

谷歌账号注册教程【点击直达】

详细视频教程【点击直达】

谷歌colab【点击直达】

  1. 在新建的笔记本中,运行以下命令以克隆项目仓库:
!git clone https://github.com/wzdnzd/aggregator.git
  1. 安装依赖项:

进入克隆的项目目录:

%cd aggregator
  1. 安装项目所需的 Python 依赖项:
!pip install -r requirements.txt
  1. 运行项目:

在 Colab 中,使用以下命令运行 process.py 脚本:

!python -u subscribe/collect.py -s

这一步需要的时间比较长,大概要是来分钟,当出现这三个文件夹就说明完成:

  1. 此时就可以查看节点文件:

!cat 加上面的文件夹(例子:!cat /content/aggregator/data/clash.yaml)

!cat

注意**!cat**后要有空格

或者可以直接下载需要的节点文件:

from google.colab import files files.download(‘/content/aggregator/data/clash.yaml’)

把括号中的** /content/aggregator/data/clash.yaml **换成上面生成的文件夹


墙内运行方法:

Github Action使用方法:(原始地址:https://linux.do/t/topic/96234) 不建议使用,此方法容易封Github账号。。。

流程如下:

  1. fork作者的代码仓库:https://github.com/wzdnzd/aggregator

  2. 启用Actions

  3. 禁用不必要的workflow,比如Checkin和Process(在Actions中)

  4. 创建gist并获取到username/gist_id(记得保存,稍后要用),打开【点击直达】,随便创建一个,内容随便填

  5. 回到 https://github.com/settings/tokens?type=beta 点击Generate new token按钮创建 PAT。名字随便填,过期时间选得久一点,重要的是在Account permissions里授予Gists的读写权限,创建好后复制生成的token稍后用

  6. 手动运行测试是否能够正常执行并成功推送到gist

  7. 添加订阅到你的翻墙软件里,添加不了的可以先订阅转换一下


本文转载自科技共享