这个浏览器,想必只有开发者才会用吧?
共 5270字，需浏览 11分钟
· 2024-04-10
将 Python客栈 设为“星标⭐”
第一时间收到最新资讯在数字世界的深处，隐藏着一种不为普通人所知的浏览器形态——无头浏览器。对于大多数用户而言，浏览器的存在就是为了浏览网页、获取信息，而对于开发者来说，浏览器则是他们手中的魔法工具，可以用来测试代码、抓取数据，甚至控制网页。那么，无头浏览器究竟是什么？它又是如何满足开发者的需求呢？本文就来一起探索这个看似神秘的浏览器。
无头浏览器是什么？
无头浏览器是一种没有图形用户界面（GUI）的网络浏览器。它可以在后台运行，并通过编程接口进行控制和操作，而不需要显示界面。通常，传统的浏览器如 Chrome、Firefox 和 Safari 都具有图形用户界面，但这些浏览器也提供了无头模式的选项。
无头浏览器提供了对浏览器引擎的完全控制，可以执行网页的加载、渲染和交互操作，并提供了对 DOM 的访问和操作。通过编程接口，开发人员可以使用无头浏览器来模拟用户行为，填写表单、点击按钮、触发事件等，以便进行自动化测试或数据采集等。
无头浏览器的优势在于它可以在后台运行，无需显示浏览器窗口，这样可以节省系统资源，并且可以在服务器上进行批量处理和并发操作。常见的无头浏览器包括 Puppeteer、Selenium WebDriver（使用Headless模式）、PhantomJS 等。其中：
-
PhantomJS，又被称为“无头浏览器之父”，已经停止维护。
-
Puppeteer 是 Google Chrome 团队开发的一款 Node 库，它提供了一个高级API，用于通过 Node.js控制Chrome或Chromium。Puppeteer 提供了很多有用的功能，如打开页面、生成PDF、等待页面加载、处理 JavaScript 异步操作等。
虽然无头浏览器具有许多优势，但也有一些限制需要注意：
-
用户交互模拟有限：由于无头浏览器不渲染图形界面，它们可能无法完全模拟用户的鼠标移动、滚动或复杂的触摸手势等交互。这可能会导致在测试依赖这些交互的网页应用程序的某些方面时出现困难。
-
浏览器特定行为：无头浏览器可能无法完全模仿您要测试的目标浏览器的特定行为。这可能导致误报或漏报，并且可能需要在实际浏览器中进行额外的测试以确保兼容性。
-
响应式设计测试不足：在测试响应式网页设计时，无头浏览器可能无法准确模拟不同设备或屏幕尺寸的行为。因此，仍然需要在真实设备上测试应用，以确保在各个平台上提供一致的用户体验。
-
验证码和机器人保护挑战：许多网站使用验证码或其他机器人保护机制来防止机器人或爬虫的自动访问。无头浏览器可能难以绕过这些保护措施，使得执行某些任务（如网页抓取）变得困难。
到这里，相信你对无头浏览器已经有了一定的了解，下面就来通过 Puppeteer 来看看无头浏览器的使用案例吧。
Puppeteer 是什么？
Puppeteer 是一个基于 Chrome DevTools 协议的 Node.js 库，提供了对无头 Chrome 或 Chrome 浏览器的控制。它广泛应用于开发领域，以下是一些 Puppeteer 在开发中的应用场景的例资：
-
自动化测试：可以模拟用户在浏览器中的行为，如点击按钮、填写表单、触发事件等，因此在自动化测试中非常有用。
-
网页截图和PDF生成：可以加载网页并生成截图或PDF文件。这在需要生成页面快照、生成报告或进行网页内容的可视化检查时非常有用。
-
网页爬虫和数据采集：可以模拟用户在浏览器中的行为，因此可以用于构建网络爬虫和数据采集工具。
-
性能分析和优化：可以用于测量和分析网页的性能指标，如加载时间、资源使用情况等。
-
UI交互测试：可以使用Puppeteer模拟用户与网页的交互，检查UI元素的可见性、位置和样式等，以确保页面在不同场景下的正确显示和交互。
Puppeteer API 可用于截取屏幕截图、创建 PDF、导航页面以及从页面获取信息等。
Puppeteer 怎么用？
下面来使用 Puppeteer 进行屏幕截图、创建PDF、自动化操作。
首先，在终端中执行以下命令来安装 puppeteer：
npm i puppeteer
屏幕截图
接下来，创建一个 JavaScript 文件，将其命名为 puppeteer.js，在其中添加以下代码：
const puppeteer = require('puppeteer');
(async () => {
const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto('https://www.yuque.com/cuggz');
await page.screenshot({path: '前端充电宝.png'});
browser.close();
}
)
(
)
;
这段代码很简单，大概流程如下：
-
引入Puppeteer库：第一行引入了 Puppeteer
-
启动浏览器：通过调用
puppeteer.launch()方法来启动一个无头浏览器实例。这将返回一个Browser对象，代表了一个浏览器实例。 -
创建页面：通过调用
browser.newPage()方法来创建一个新的页面。这将返回一个Page对象，代表了一个网页。 -
打开网页：使用
page.goto()方法打开指定的URL，浏览器将加载该网页。 -
截图：使用
page.screenshot()方法对当前页面进行截图，并将截图保存到指定的路径。 -
关闭浏览器：通过调用
browser.close()方法来关闭浏览器实例，释放资源。
可以通过设置 fullPage: true 来实现全屏幕截图：
await page.screenshot({ path: 'cuggz.png', fullPage: true})
这样，屏幕截图就完成了。
生成 PDF
接下来使用 Puppeteer 将页面生成一个 PDF。先创建一个 puppeteerpdf.js文件，在文件中添加以下代码：
const puppeteer = require('puppeteer');
(async () => {
const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto('https://www.yuque.com/cuggz', {waitUntil: 'networkidle'});
await page.pdf({path: '前端充电宝.pdf', format: 'A4'});
browser.close();
}
)
(
)
;
这段代码和上面的例子差不多。这里的 waitUntil: 'networkidle' 表示仅当网络活动保持“空闲”状态至少达到 networkIdleTimeout 毫秒（默认为 1000 毫秒）时，才认为站点导航已完成，然后才会执行 PDF 生成操作。
自动化操作
下面来使用 Puppeteer 进行页面导航、自动化表单提交和键盘输入，并显示表单提交结果。
const puppeteer = require('puppeteer');
(async() => {
const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto('https://google.com', {waitUntil: 'networkidle'});
// 在搜索栏中输入查询
await page.type('前端充电宝');
await page.click('input[type="submit"]');
// 等待结果显示
await page.waitForSelector('h3 a');
// 从页面中提取结果
const links = await page.evaluate(() => {
const anchors = Array.from(document.querySelectorAll('h3 a'));
return anchors.map(anchor => anchor.textContent);
});
console.log(links.join('\n'));
browser.close();
}
)
(
)
;
这里使用 page.type() 函数定义要键入的查询，并使用 page.click() 函数模拟单击。page.waitForSelector() 函数用于等待选择器检查是否加载了所需的内容。
page.evaluate() 函数允许在页面上下文中运行脚本。上面的函数从 Google 搜索结果中获取所有链接并将它们存储在一个数组中。
往期推荐
5、这个Python库把Requests和Selenium按在地上摩擦！
点击关注公众号，阅读更多精彩内容
