如何使用Selenium WebDriver查找错误的链接?
今日互动话题
今年的圣诞节你想怎么过?
当您在网站上遇到404 /页面未找到/无效超链接时,会想到什么想法?啊!当您遇到损坏的超链接时,您会感到烦恼,这是为什么您应继续专注于消除Web产品(或网站)中损坏的链接的唯一原因。您可以使用Selenium WebDriver来利用自动化进行錯誤的链接测试,而无需进行人工检查。
当特定链接断开并且访问者登陆页面时,它将影响该页面的功能并导致不良的用户体验。无效链接可能会损害您产品的信誉,因为它“可能”使您的访问者感到对体验的关注程度最低。
如果您的Web产品包含许多页面(或链接),导致404错误(或找不到页面),则搜索引擎(例如Google)上的产品排名也将受到严重影响。删除无效链接是SEO(搜索引擎优化)活动的组成部分之一。
在Selenium WebDriver教程系列的这一部分中,我们将深入研究如何使用Selenium WebDriver查找断开的链接。我将演示了使用Selenium Python进行的断开链接测试。
Web测试中的断开链接简介
简单来说,网站(或Web应用程序)中的损坏链接(或无效链接)是指无法访问且无法按预期工作的链接。链接可能由于服务器问题而暂时断开,或者在后端配置不正确。
除了导致404错误的页面外,断开链接的其他主要示例是格式错误的URL,指向已移动或删除的内容(例如,文档,pdf,图像等)的链接。
链接断开的主要原因
以下是发生链接断开(死链接或链接腐烂)的一些常见原因:
用户输入的网址不正确或拼写错误。
网站中具有URL重定向或内部重定向的结构更改(即永久链接)未正确配置。
链接到已移动或删除的内容,如视频,文档等。如果内容被移动,则“内部链接”应重定向到指定的链接。
网站维护导致网站暂时停机,导致该网站暂时无法访问。
页面顶部的HTML标记损坏,JavaScript错误,错误的HTML / CSS自定义,嵌入式元素损坏等都可能导致链接断开。
地理位置限制会阻止从某些IP地址(如果将其列入黑名单)或世界上特定国家/地区访问网站。使用Selenium进行地理位置测试有助于确保为访问站点的位置(或国家/地区)量身定制体验。
为什么要检查断开的链接?
链接断开对于访问您网站的访问者来说是个很大的麻烦。这是您应检查网站上损坏的链接的一些主要原因:
链接断开可能会损害用户体验。
对于SEO(搜索引擎优化)来说,删除断开(或失效)的链接至关重要,因为这可能会影响网站在搜索引擎(例如Google)上的排名。
可以使用网页上的Selenium WebDriver完成断开的链接测试,然后可以使用该Selenium WebDriver删除站点的断开的链接。
链接断开和HTTP状态代码
当用户访问网站时,浏览器会将请求发送到该网站的服务器。服务器使用称为“ HTTP状态代码”的三位数代码来响应浏览器的请求。
HTTP状态代码是服务器对Web浏览器发送的请求的响应。这些HTTP状态代码被认为等效于浏览器(从中发送URL请求)与服务器之间的对话。
尽管将不同的HTTP状态代码用于不同的目的,但是大多数代码对于诊断站点中的问题,最大程度地减少站点停机时间,无效链接的数量等很有用。每三位状态码的第一位以数字1〜5开头。状态代码表示为1xx,2xx ..,5xx,用于指示该特定范围内的状态代码。由于这些范围中的每一个都包含不同类别的服务器响应,因此我们将讨论范围限于为断开的链接提供的HTTP状态代码。
以下是常见的状态代码类,可用于检测Selenium断开的链接:
HTTP状态码的类别 | 描述 |
---|---|
1xx | 服务器仍在考虑请求。 |
2xx | 浏览器发送的请求已成功完成,服务器已将预期的响应发送到浏览器。 |
3xx | 这表明正在执行重定向。例如,301重定向通常用于在网站上实施永久重定向。 |
4xx | 这表明特定页面(或完整站点)无法访问。 |
5xx | 这表明即使浏览器发送了有效的请求,服务器也无法完成请求。 |
在检测到断开的链接时显示的HTTP状态代码
以下是网络服务器在遇到断开的链接时显示的一些常见HTTP状态代码:
HTTP状态码 | 描述 |
---|---|
400(错误请求) | 服务器无法处理请求,因为提到的URL不正确。 |
400(错误请求-错误主机) | 这表明主机名无效,由于该主机名无法处理请求。 |
400(错误请求-错误URL) | 这表明服务器无法处理请求,因为输入的URL格式不正确(例如,缺少括号,斜杠等)。 |
400(错误请求-超时) | 这表明HTTP请求已超时。 |
400(错误请求-空) | 服务器返回的响应为空,没有内容,也没有响应代码。 |
400(错误请求-重置) | 这表明服务器无法处理该请求,因为它正忙于处理其他请求或站点所有者对其进行了错误配置。 |
403(禁止) | 真正的请求已发送到服务器,但由于需要授权,因此拒绝履行该请求。 |
404页面不存在) | 资源(或页面)在服务器上不可用。 |
408(请求超时) | 服务器已超时等待请求。客户端(即浏览器)可以在服务器准备等待的时间内发送相同的请求。 |
410(已去) | HTTP状态代码比404(找不到页面)更永久。410表示该页面已消失。 该页面在服务器上不可用,也未设置任何转发(或重定向)机制。指向410页的链接将访问者发送到无效资源。 |
503服务不可用) | 这表明服务器暂时超载,因此服务器无法处理请求。这也可能意味着正在服务器上进行维护,从而指示搜索引擎有关站点的临时停机时间。 |
如何使用Selenium WebDriver查找断开的链接?
不论Selenium WebDriver使用哪种语言,使用Selenium进行断开链接测试的指导原则都保持不变。以下是使用Selenium WebDriver测试断开的链接的步骤:
为每个链接发送一个HTTP请求。
验证为响应上一步中发送的请求而收到的相应响应代码。
根据服务器发送的响应代码验证链接是否断开。
对页面上存在的每个链接重复步骤(2-4)。
在本Selenium WebDriver教程中,我们将演示如何使用Selenium WebDriver在Python,Java,C#和PHP中执行断开的链接测试。测试是在(Chrome 85.0 + Windows 10)组合上进行的,执行是在LambdaTest提供的基于云的Selenium Grid上进行的。
要开始使用LambdaTest,请在平台上创建一个帐户,并注意LambdaTest的个人资料部分中提供的用户名和访问密钥。浏览器功能是使用LambdaTest功能生成器生成的。
这是用于使用Selenium查找网站上断开链接的测试方案:
测试场景
转到软件测试test面试小程序后台,即Chrome 85.0上的https://www.test-1.com/
收集页面上存在的所有链接
发送每个链接的HTTP请求
在终端上打印链接是否断开
重要的是要注意,使用Selenium测试断开的链接所花费的时间取决于“被测网页”上存在的链接数量。页面上的链接数量越多,将花费更多的时间来查找断开的链接。例如,LambdaTest有大量的链接(〜150 +);因此,查找断开的链接的过程可能需要一些时间(大约几分钟)。
使用Selenium python的错误链接测试
import requests
import urllib3
import pytest
from requests.exceptions import MissingSchema, InvalidSchema, InvalidURL
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.keys import Keys
capabilities = {
"build" : "[Python] 使用Selenium在网页上查找错误的链接",
"name" : "[Python] 使用Selenium在网页上查找错误的链接",
"platform" : "Windows 10",
"browserName" : "Chrome",
"version" : "85.0"
}
user_name = "user-name"
app_key = "access-key"
broken_links = 0
valid_links = 0
# options = webdriver.ChromeOptions()
# options.add_argument("start-maximized")
# options.add_argument('disable-infobars')
# driver=webdriver.Chrome(options=options)
urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)
remote_url = "http://" + user_name + ":" + app_key + "@test-1.top/login/"
driver = webdriver.Remote(command_executor = remote_url, desired_capabilities = capabilities)
driver.maximize_window()
driver.get('https://www.test-1.top/login/')
# links = driver.find_elements_by_css_selector("a")
links = driver.find_elements(By.CSS_SELECTOR, "a")
for link in links:
try:
request = requests.head(link.get_attribute('href'), data ={'key':'value'})
print("Status of " + link.get_attribute('href') + " is " + str(request.status_code))
if (request.status_code == 404):
broken_links = (broken_links + 1)
else:
valid_links = (valid_links + 1)
except requests.exceptions.MissingSchema:
print("Encountered MissingSchema Exception")
except requests.exceptions.InvalidSchema:
print("Encountered InvalidSchema Exception")
except:
print("Encountered Some other execption")
print("Detection of broken links completed with " + str(broken_links) + " broken links and " + str(valid_links) + " valid links")
代码遍历
1.导入模块
除了为Selenium WebDriver导入Python模块之外,我们还导入了请求模块。请求模块使您可以发送各种HTTP请求。它也可以用于在URL中传递参数,发送自定义标头等。
import requests
import urllib3
from requests.exceptions import MissingSchema, InvalidSchema, InvalidURL
2.收集页面上存在的链接
通过CSS选择器“ a”属性找到Web元素,可以找到被测URL上存在的链接(即cnds博客)。
links = driver.find_elements(By.CSS_SELECTOR, "a")
由于我们希望元素是可迭代的,因此我们使用find_elements方法(而不是find_element方法)。
3.遍历URL以进行验证
请求模块的head方法用于将HEAD请求发送到指定的URL。该get_attribute方法的每一个环节上用于获取“ HREF ”锚标记的属性。
该头方法在仅场景主要用于STATUS_CODE是必需的或HTTP标头,和该文件的内容(或URL)是不需要的。head方法返回request.Response对象,该对象还包含HTTP状态代码(即request.status_code)。
for link in links:
try:
request = requests.head(link.get_attribute('href'), data ={'key':'value'})
print("Status of " + link.get_attribute('href') + " is " + str(request.status_code))
重复执行同一组操作,直到用完页面上所有的“链接”。
4.通过状态码验证链接
如果在步骤(3)中发送的HTTP请求的HTTP响应代码为404(即,找不到页面),则表示该链接是断开的链接。对于未断开的链接,HTTP状态代码为200。
if (request.status_code == 404):
broken_links = (broken_links + 1)
else:
valid_links = (valid_links + 1)
5.跳过无关的请求
当head方法应用于不包含“ href”属性的链接(例如mailto,电话等)时,将导致异常(即MissingSchema,InvalidSchema)。
except requests.exceptions.MissingSchema:
print("Encountered MissingSchema Exception")
except requests.exceptions.InvalidSchema:
print("Encountered InvalidSchema Exception")
except:
print("Encountered Some other execption")
这些异常被捕获,并且在终端上打印相同的内容。
执行
我在这里使用PyUnit(或unittest),它是Python中的默认测试框架,用于使用Selenium进行的断开链接测试。在终端上运行以下命令:
python Broken_Links.py
结论
錯誤的链接(也称为无效链接或烂链接)可能会妨碍用户体验,如果它们存在于网站上。链接断开也会影响搜索引擎的排名。因此,对于与网站开发和测试有关的活动,应定期进行断开的链接测试。
往期推荐