Dart - 爬取Android Studio历史版本信息

前言

整理Android Studio历史版本信息时发现有点多，于是想一劳永逸写一个简单的爬虫抓取一下数据并生成我想要的格式，又刚好还没用Dart写过爬虫，所以尝试用Dart开发一个。

开发环境

• Dart: 2.19.6

开发过程

1. 遵循robots协议

准备爬取的地址：https://developer.android.com/studio/archive。
robots.txt文件地址：https://developer.android.com/robots.txt，文件内容：

User-Agent: *
Disallow: /assets/css/
Disallow: /assets/images/
Disallow: /assets/js/
Disallow: /guide/samples/
Disallow: /images/
Disallow: /partners/
Disallow: /sdk/OLD_RELEASENOTES
Disallow: /sdk/RELEASENOTES
Disallow: /sdk/older_releases
Disallow: /shareables/
Allow: /images/social/
Allow: /images/cards/distribute/stories/

User-agent: Google-DevRel
Allow: /

Sitemap: https://developer.android.com/sitemap.xml

由robots.txt文件内容可知，并没有禁止我们抓取/studio/archive路径页面。如果不清楚robots协议中规则的含义，请看Google 如何解读 robots.txt 规范。

2. 页面结构分析

通过浏览器的开发工具获取/studio/archive路径页面源码，页面结构如下：

关键源码：

<iframe src="https://developer.android.com/frame/studio/archive_c7422450e31f348e868f1f64f6e846d8cd0410f9d9227a1b6b3c4d4432813f8f.frame"
        class="framebox inherit-locale scroll"
        allow="clipboard-write https://android-dot-devsite-v2-prod.appspot.com"
        allowfullscreen is-upgraded>
</iframe>

通过iframe标签加载历史版本信息页面，当然这个/frame/studio/archive_xxx.frame路径也还不是最终的路径，最终会被重定向到：

https://android-dot-devsite-v2-prod.appspot.com/studio/archive_c7422450e31f348e868f1f64f6e846d8cd0410f9d9227a1b6b3c4d4432813f8f.frame

获取/frame/studio/archive_xxx.frame路径页面源码，页面结构如下：

devsite-expandable标签源码：

<devsite-expandable is-upgraded="" id="expandable-1">
    <p class="expand-control" aria-controls="expandable-1" aria-expanded="false" tabindex="0"
       role="button">Android Studio Giraffe | 2022.3.1 Beta 1
        <span>April 20, 2023</span>
    </p>
    <div class="downloads">
        Installers
        Chrome OS: <a
            href="https://redirector.gvt1.com/edgedl/android/studio/install/2022.3.1.12/android-studio-2022.3.1.12-cros.deb">android-studio-2022.3.1.12-cros.deb</a>
        (928.9 MB)
        Mac (Apple Silicon): <a
            href="https://redirector.gvt1.com/edgedl/android/studio/install/2022.3.1.12/android-studio-2022.3.1.12-mac_arm.dmg">android-studio-2022.3.1.12-mac_arm.dmg</a>
        (1.2 GB)
        Mac (Intel): <a
            href="https://redirector.gvt1.com/edgedl/android/studio/install/2022.3.1.12/android-studio-2022.3.1.12-mac.dmg">android-studio-2022.3.1.12-mac.dmg</a>
        (1.2 GB)
        Windows (64-bit): <a
            href="https://redirector.gvt1.com/edgedl/android/studio/install/2022.3.1.12/android-studio-2022.3.1.12-windows.exe">android-studio-2022.3.1.12-windows.exe</a>
        (1.1 GB)

        SHA-256 checksums
        1960acdb21f2327bf13ea2c830ab6ae42e6ca1074edd4a072eaf37ae61eea220
        android-studio-2022.3.1.12-cros.deb
        b71be41ab6f1e07bb06167876e82bb8a92e109b9d0e719622e72f0beeabfc593
        android-studio-2022.3.1.12-mac_arm.dmg
        80b70dc2cb9c64f47b706195be210615dfacf8f0d7da6f3cfe3566c9e7ed0a8e
        android-studio-2022.3.1.12-mac.dmg
        bb32d89edeb20124041aec8ae4bee1b1889be8dcfec595846bd67f75b2fa1a52
        android-studio-2022.3.1.12-windows.exe

        Zip files
        Linux: <a
            href="https://redirector.gvt1.com/edgedl/android/studio/ide-zips/2022.3.1.12/android-studio-2022.3.1.12-linux.tar.gz">android-studio-2022.3.1.12-linux.tar.gz</a>
        (1.2 GB)
        Mac (Apple Silicon): <a
            href="https://redirector.gvt1.com/edgedl/android/studio/ide-zips/2022.3.1.12/android-studio-2022.3.1.12-mac_arm.zip">android-studio-2022.3.1.12-mac_arm.zip</a>
        (1.2 GB)
        Mac (Intel): <a
            href="https://redirector.gvt1.com/edgedl/android/studio/ide-zips/2022.3.1.12/android-studio-2022.3.1.12-mac.zip">android-studio-2022.3.1.12-mac.zip</a>
        (1.2 GB)
        Windows (64-bit): <a
            href="https://redirector.gvt1.com/edgedl/android/studio/ide-zips/2022.3.1.12/android-studio-2022.3.1.12-windows.zip">android-studio-2022.3.1.12-windows.zip</a>
        (1.1 GB)

        SHA-256 checksums
        5b2e6289fb1c2f52a8ed9227c7fb80bf2272338712e8b7d3616c5d25b664ea9a
        android-studio-2022.3.1.12-linux.tar.gz
        a89e9a0e7c915ccfd3254e9f7c3f86fd6c94232501b5dee536de9fa191abcb98
        android-studio-2022.3.1.12-mac_arm.zip
        09f3a5b1204cff143d985f6fdab82d83e957428c31c9fac3d698b2ecf655c1bf
        android-studio-2022.3.1.12-mac.zip
        b27af90f27cf0be1f3eb1e3b9393234168944b663ca510d7ec4804535e760aca
        android-studio-2022.3.1.12-windows.zip
    </div>
</devsite-expandable>

从页面结构可知，每一个devsite-expandable标签都是一个版本，其中p标签包含版本名称和发布日期，div标签包含下载信息。

3. Dart项目创建

电脑上安装的Flutter SDK自带有Dart SDK，所以不再需要额外安装Dart SDK。如果电脑上没有，请参考官方文档Get the Dart SDK安装SDK。

• 通过Android Studio创建（需要安装Dart插件）

选择创建命令行/控制台应用（Console Application）即可。如果遇到错误：

Error: the folder specified as the Dart SDK home does not exist.

请检查Dart SDK路径是否正确。

• 通过命令行创建

dart create 项目名称

创建命令的更多使用方法可以通过执行dart create -h命令查看：

Create a new Dart project.

Usage: dart create [arguments] <directory>
-h, --help                       Print this usage information.
-t, --template                   The project template to use.

          [console] (default)    A command-line application.
          [package]              A package containing shared Dart libraries.
          [server-shelf]         A server app using package:shelf.
          [web]                  A web app that uses only core Dart libraries.

    --[no-]pub                   Whether to run 'pub get' after the project has
                                 been created.
                                 (defaults to on)
    --force                      Force project generation, even if the target
                                 directory already exists.

4. Dart项目运行与调试

如果是通过IDE（Android Studio等）开发Dart项目，运行和调试很简单就不再赘述。

• 通过命令行运行Dart项目

cd Dart项目路径
dart run

dart run命令会默认执行项目内bin目录下的dart文件。

• 通过命令行调试Dart项目

cd Dart项目路径
dart run --pause-isolates-on-start --observe

执行输出：

The Dart VM service is listening on http://127.0.0.1:8181/zjUsxx99OtA=/
The Dart DevTools debugger and profiler is available at: http://127.0.0.1:8181/zjUsxx99OtA=/devtools/#/?uri=ws%3A%2F%2F127.0.0.1%3A8181%2FzjUsxx99OtA%3D%2Fws
Building package executable... 
Built spider:spider.
...

命令行的作用只是运行项目并开启调试，实际是通过在浏览器打开输出结果中的链接进行调试。关键链接：

http://127.0.0.1:8181/zjUsxx99OtA=/devtools/#/?uri=ws%3A%2F%2F127.0.0.1%3A8181%2FzjUsxx99OtA%3D%2Fws

浏览器调试页面：

参考文档：

• Using DevTools with a command-line app

5. 第三库依赖

• 网络请求

Flutter开发中用习惯了dio库，所以这里也继续使用，当然用其他库也行。

• HTML解析

采用Dart官方的html库。

目前只需要依赖这两个库，在Dart项目的pubspec.yaml文件中加上依赖配置：

dependencies:
  dio: ^5.1.1
  html: ^0.15.2

6. 项目完整源码

• bin/spider.dart源码：

import 'package:spider/spider.dart' as spider;

void main(List<String> arguments) {
  spider.startTask();
}

• lib/spider.dart源码：

import 'package:dio/dio.dart';
import 'package:html/dom.dart';
import 'package:html/parser.dart';

import './model/platform.dart';
import './model/version.dart';

const String androidStudioArchiveUrl =
    'https://developer.android.com/studio/archive';
final Dio dio = Dio();

/// 开始任务
void startTask() {
  loadHtml(androidStudioArchiveUrl).then((value) {
    parseHtml(parse(value));
  });
}

/// 加载网页
Future<dynamic> loadHtml(String url) async => (await dio.get(url)).data;

/// 解析网页
void parseHtml(Document document) {
  // 找到iframe标签
  var elements = document.getElementsByTagName('iframe');
  if (elements.isNotEmpty) {
    var iframe = elements.first;
    var src = iframe.attributes['src'];
    if (src != null && src.isNotEmpty) {
      // 加载版本列表网页
      loadHtml(src).then((value) {
        parseVersionList(parse(value));
      });
    }
  }
}

/// 解析版本列表
void parseVersionList(Document document) {
  var elements = document.getElementsByClassName('all-downloads');
  if (elements.isNotEmpty) {
    var versions = <Version>[];
    var div = elements.first;
    for (var child in div.children) {
      var version = getVersionInfo(child);
      if (version != null) {
        versions.add(version);
        version.platforms = getDownloadInfo(child);
      }
    }
    // 过滤非稳定版本（Canary/Beta/RC）并返回最新10个版本
    versions = versions
        .where((element) =>
            !element.name.contains(RegExp(r'(Canary)|(Beta)|(RC)')))
        .take(10)
        .toList(growable: false);
    var output = buildOutput(versions);
    print(output);
  }
}

/// 获取版本信息
Version? getVersionInfo(Element element) {
  var versionElements = element.getElementsByClassName('expand-control');
  if (versionElements.isNotEmpty) {
    var versionInfo = versionElements.first.text.split('\n');
    if (versionInfo.length > 1) {
      return Version(versionInfo[0], versionInfo[1]);
    }
  }
  return null;
}

/// 获取下载信息
List<Platform> getDownloadInfo(Element element) {
  var platforms = <Platform>[];
  var downloadElements = element.getElementsByClassName('downloads');
  if (downloadElements.isNotEmpty) {
    var downloadInfo = downloadElements.first.innerHtml.split('\n\n');
    for (var i = 0; i < downloadInfo.length; ++i) {
      var lines = downloadInfo[i].split('\n');
      for (var line in lines) {
        if (downloadInfo[i].contains('SHA-256 checksums')) {
          // 解析checksums
          if (line.contains('android-studio')) {
            var info = line.split(' ');
            if (info.length > 1) {
              var checksums = info[0];
              var fileName = info[1];
              for (var platform in platforms) {
                if (platform.installerUrl?.contains(fileName) == true) {
                  platform.installerChecksums = checksums;
                  break;
                } else if (platform.zipFileUrl?.contains(fileName) == true) {
                  platform.zipFileChecksums = checksums;
                  break;
                }
              }
            }
          }
        } else {
          // 解析安装包和压缩文件
          if (line.contains('<a href=')) {
            var info = line.split(': ');
            if (info.length > 1) {
              Platform? platform;
              for (var plat in platforms) {
                if (plat.name == info[0]) {
                  platform = plat;
                  break;
                }
              }
              if (platform == null) {
                platform = Platform(info[0]);
                platforms.add(platform);
              }
              if (downloadInfo[i].contains('Installers')) {
                platform.installerUrl = info[1];
              } else {
                platform.zipFileUrl = info[1];
              }
            }
          }
        }
      }
    }
  }
  return platforms;
}

/// 构建输出
String buildOutput(List<Version> versions) {
  // 创建表格
  Element table = Element.tag('table');
  // 创建表头
  table.children.add(
    Element.tag('tr')
      ..children.addAll([
        Element.tag('th')..text = '版本名称',
        Element.tag('th')..text = '发布日期',
        Element.tag('th')..text = '适用平台',
        Element.tag('th')..text = '安装包',
        Element.tag('th')..text = '压缩文件'
      ]),
  );
  // 创建表格数据
  for (var version in versions) {
    var length = version.platforms.length;
    List<List<Element>> elements =
        List.generate(length, (index) => <Element>[], growable: false);
    for (var i = 0; i < version.platforms.length; ++i) {
      var platform = version.platforms[i];
      if (i == 0) {
        elements[i].addAll([
          Element.tag('td')
            ..text = version.name
            ..attributes.addAll({'rowspan': '$length'}),
          Element.tag('td')
            ..text = version.releaseDate
            ..attributes.addAll({'rowspan': '$length'})
        ]);
      }
      elements[i].add(Element.tag('td')..text = platform.name);
      if (platform.installerUrl != null) {
        elements[i].add(Element.tag('td')
          ..text =
              '${platform.installerUrl}<br/>SHA-256 checksums:<br/>${platform.installerChecksums}');
      } else {
        elements[i].add(Element.tag('td')..text = '/');
      }
      if (platform.zipFileUrl != null) {
        elements[i].add(Element.tag('td')
          ..text =
              '${platform.zipFileUrl}<br/>SHA-256 checksums:<br/>${platform.zipFileChecksums}');
      } else {
        elements[i].add(Element.tag('td')..text = '/');
      }
    }
    for (var element in elements) {
      table.children.add(Element.tag('tr')..children.addAll(element));
    }
  }
  return table.outerHtml.replaceAll('&lt;', '<').replaceAll('&gt;', '>');
}

• lib/model/version.dart源码：

import './platform.dart';

class Version {
  String name;
  String releaseDate;
  List<Platform> platforms;

  Version(this.name, this.releaseDate) : platforms = <Platform>[];
}

• lib/model/platform.dart源码：

class Platform {
  String name;
  String? installerUrl;
  String? installerChecksums;
  String? zipFileUrl;
  String? zipFileChecksums;

  Platform(this.name);
}

运行结果

最后

如果这篇文章对你有所帮助，请不要吝啬你的点赞👍加星🌟，谢谢～文章来源地址https://www.toymoban.com/news/detail-436532.html

到了这里，关于Dart - 爬取Android Studio历史版本信息的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！