C#(csharp)用CefSharp开发实现一个浏览器，抓取网站任意资源-技术圈

前言：

不少网站会保护自己，防止别人下载图片。

因此下载器，先后改了好几次，不断技术升级。

早期用WebClient 下载 HTML 分析 URL 下载。

后来为了下载手机网站的图片，用上了 User-Agent 特性，模拟手机浏览器。

之前遇到一个复杂些的网站M ，页面用 JS 加载生成。无法直接获得HTML。

用Chrome一番分析后，发现其图片地址有固定格式。文件名是 3位数数字，从1开始累加。

因此只要在浏览器取到第一个图，后面的图片URL 生成下也得到了。批量下载搞定。

前段时间网站M 升级。图片展示使用 HTML5 canavs 显示，而且图片路径也加随机字符。难以生成了。

对于Chrome来说依然没有遮挡效果。依然可以取到 URL，可以手工保存图片，然而无法批量下载了。

问题来了：

无法取到 HTML分析出图片路径，而且路径名称随机。那么如何批量下载图片？

既然图片展示到我们面前，数据必然也已经到了我们这边，就看我们这么取得了。

解决办法：

WebClient不行，于是想到了 Winform 的 WebBrowser 实现浏览器，能显示必然能取到数据。

WebBrowser对于大部分网站还是可以的。然而对于 HTML5的或者新特性的网站就有些不方便了。有时候不能正常显示网站。例如，网站M.

它依赖操作系统的 IE浏览器，而且默认是系统里老版本的 IE。可能是 IE7 吧。

一番资料查找发现CefSharp。这个是Chrome 的另一个开源项目， C# 调用。可以在Winform，Wpf 等中嵌入浏览器。

CefSharp在网上有一些资料，不多。为了弄明白CefSharp里取得图片URL，图片数据。花了一番功夫，查资料，看源码。

倾情大放送，来一大波代码：

开发环境：VS2015 framework 4.5.2 x86模式 CefSharp 63.0.30

winform:

有了上面的代码，便可以获取到目标网站的任意资源了。

END

一些推荐

【开源Blazor控件库】点击浏览
【开源B/S项目】WTM
【开源WPF控件库】点击浏览
【开源WPF项目】点击浏览
【开源Xamarin项目】全球优秀Xamarin.Forms项目收集
【开源Winform控件库】HZHControls、SunnyUI
【开源Winform项目】SiMay远程控制管理系统
【开源Qt控件库】QWidgetDemo、Material风格的Qt控件
【开源Qt项目】点击浏览
【更多分享】点击浏览

资源分享

回复数字【01】：获取DotNet技术资料
回复数字【02】：获取Java技术资料
回复数字【03】：获取Android技术资料
回复数字【04】：获取C++技术资料
回复数字【05】：获取Qt技术资料
回复数字【06】：获取React资源
添加号主微信号【dotnet9】：备注【入群】加入与大佬们的技术交流

❝
时间如流水，只能流去不流回。

公众号：Dotnet9

号主微信号：dotnet9

文本转自公众号：新阁Net社群

原文地址：https://mp.weixin.qq.com/s/724zSH1_ZwY3BhY2pywoIw

编辑：沙漠之尽头的狼

日期：2020-12-04

微信公众号：Dotnet9

-好东西要转发，设为"星标"★抢先看-

点击阅读原文，关注Dotnet9更多好文。