.NET使用AngleSharp抓取网站信息,超简单-技术圈

前言

最近小编接到一个抓取全国地区的任务，在Github找到了一个开源工具AngleSharp。AngleSharp 是一个强大的 .NET 库，它为我们提供了一种方便且灵活的方式来处理 HTML 和 XML 文档。在这篇文章中，我们将使用 AngleSharp 来抓取全国地区的信息。

准备工作

首先，我们用Visual Studio 新建一个控制台程序，并安装 AngleSharp。可以通过 NuGet 包管理器控制台或 Visual Studio 的包管理器来安装 AngleSharp：

      

        Install-Package AngleSharp

编写抓取代码

接下来，我们将编写一个简单的 C# 程序，使用 AngleSharp 抓取地区网站信息。我们找到民政局全国区域的网站，循环分级提取地区的信息。示例代码如下：

      

        using AngleSharp;

      

      

        using AngleSharp.Html.Dom;

      

      

        

          


      

      

        

          //民政局网站地区网址

        

      

      

        var url = "http://www.stats.gov.cn/sj/tjbz/tjyqhdmhcxhfdm/2022/index.html";

      

      

        var context = BrowsingContext.New(Configuration.Default.WithDefaultLoader());

      

      

        

          


      

      

        

          // 异步打开指定的URL，并获取返回的文档对象

        

      

      

        var dom = context.OpenAsync(url).Result;

      

      

        

          


      

      

        

          // 使用 CSS 选择器选择表格中的所有省级行的超链接元素

        

      

      

        var itemList = dom.QuerySelectorAll("table.provincetable tr.provincetr td a");

      

      

        

          


      

      

        

          // 遍历每个超链接元素

        

      

      

        foreach (IHtmlAnchorElement item in itemList)

      

      

        {

      

      

            // 输出地区的文本内容

      

      

            Console.WriteLine("地区：" + item.TextContent);

      

      

        

          


      

      

            // 输出下级链接的地址，便于继续循环下级。

      

      

            Console.WriteLine("下级链接：" + item.Href);

      

      

        }

打印出来的效果如下：

上面代码AngleSharp成功抓取了所要的地区。它的优点是可以用CSS选择器来获取元素，减少了代码的使用量及整洁度。

结语

AngleSharp抓取网页只是其中的一项，它提供了一个强大而灵活的工具集，使开发人员能够以 .NET 平台为基础构建各种 Web 相关应用。通过使用 AngleSharp，开发人员可以轻松地处理 Web 内容，从而更高效地开发和维护其应用程序。

git地址：github.com/AngleSharp/AngleSharp

关注公众号↑↑↑：DotNet开发跳槽❀