推荐七个Python效率工具!

Python网络爬虫与数据挖掘

共 5145字,需浏览 11分钟

 ·

2023-07-15 22:15

为了提高效率,我们在平时工作中常会用到一些Python的效率工具,Python作为比较老的编程语言,它可 以实现日常工作的各种自动化。为了更便利的开发项目,这里给大家推荐几个Python的效率工具。


c4667181577d4034236560d0087217f6.webp

1、Pandas-用于数据分析

Pandas是一个强大的分析结构化数据的工具集;它的使用基础是Numpy(提供高性能的矩阵运算);用于数据挖掘和数据分析,同时也提供数据清洗功能。

    
# 1、安装包 
$ pip install pandas 
# 2、进入python的交互式界面 
$ python -i 
# 3、使用Pandas>>> import pandas as pd>>> df = pd.DataFrame() >>> print(df) 
# 4、输出结果 
Empty DataFrame 
Columns: [] 
Index: [] 

2、Selenium-自动化测试

Selenium是一个用于Web应用程序测试的工具,可以从终端用户的角度来测试应用程序。通过在不同浏览器中运行测试,更容易发现浏览器的不兼容性。并且它适用许多浏览器。

a8eb926b6d1e4481600309deba0993bb.webp

可以通过打开浏览器并访问Google的主页做一个简单的测试:

    
from selenium import webdriver 
   import time 

   browser = webdriver.Chrome(executable_path ="C:\Program Files (x86)\Google\Chrome\chromedriver.exe"

   website_URL ="https://www.google.co.in/" 
   brower.get(website_URL) 

   refreshrate = int(3) #每3秒刷新一次Google主页。   
   # 它会一直运行,直到你停掉编译器。 
   while True: 
       time.sleep(refreshrate) 
       browser.refresh() 

3、 Flask——微型Web框架

Flask是一个轻量级的可定制框架,使用Python语言编写,较其他同类型框架更为灵活、轻便、安全且容易上手。Flask是目前十分流行的web框架。开发者可以使用Python语言快速实现一个网站或Web服务。

45633e8bd5833a9b802244e656eb36c0.webp

    
from flask import Flask 
app = Flask(__name__) 

@app.route('/'
def hello_world(): 
    return 'Hello, World!' 

4、 Scrapy——页面爬取

Scrapy能够为你提供强大支持,使你能够精确地从网站中爬取信息。是非常实用。

f86948973d7d533ad5df948c3063376e.webp

现在基本上大部分开发者都会利用爬虫工具来实现爬取工作的自动化。所以编写爬虫编码时就可以用到这个Scrapy。

启动Scrapy Shell也是十分的简单:

    
scrapy shell 

我们可以试着提取百度主页上搜索按钮的值,首先要找到按钮使用的类,一个inspect element显示该类为“ bt1”。

具体执行以下操作:

    
response = fetch("https://baidu.com"
    response.css(".bt1::text").extract_first() 
    ==> "Search" 

5、 Requests——做API调用

Requests是一个功能强大的HTTP库。有了它可以轻松地发送请求。无需手动向网址添加查询字符串。除此之外还有许多功能,比如authorization处理、JSON / XML解析、session处理等。

7f448821f35f2ae4d608d630fb9623d9.webp

官方例子:

    
>>> r = requests.get('https://api.github.com/user', auth=('user''pass')) 
>>> r.status_code 
200 
>>> r.headers['content-type'
'application/json; charset=utf8' 
>>> r.encoding 
'utf-8' 
>>> r.text 
'{"type":"User"...' 
>>> r.json() 
{'private_gists': 419, 'total_private_repos': 77, ...} 

6、Faker-用于创建假数据

Faker是一个Python包,为您生成假数据。无论是需要引导数据库、创建好看的 XML 文档、填写您的持久性来强调测试它,还是从生产服务中获取的同名数据,Faker 都适合您

71e9c04da9a95ba13aaf564866c14173.webp

有了它,你可以非常快速地生成假的names、addresses、descriptions等!以下脚本为例,我创建一个联系人条目,包含了姓名、地址和一些描述文本:

安装:

    
pip install Faker 

from faker import Faker 
fake = Faker() 
fake.name() 
fake.address() 
fake.text() 

7、 Pillow-进行图像处理

Python图像处理工具——Pillow有相当强大的图像处理功能。当平时需要做图像处理时就可以用到,毕竟作为开发人员,应该选择功能更强大的图片处理工具。

6de65d20548e86b651159cdc397ce1b3.webp

简单示例:

    
from PIL import Image, ImageFilter 
   try: 
       original = Image.open("Lenna.png"
       blurred = original.filter(ImageFilter.BLUR) 
       original.show() 
       blurred.show() 
       blurred.save("blurred.png"
   except: 
       print "Unable to load image" 

有效的工具可以帮助我们更快捷地完成工作任务,所以就给大家分享几个认为好用的工具,也希望这7个Python的效率工具能够帮助到你。

原文链接: http://dwz-9.cn/1mhV_

    
        
              

- EOF -

                

回复关键字“ 简明python ”,立即获取入门必备书籍 简明python教程》 电子版

回复 关键字 爬虫 ”,立即获取 爬虫学习资料


429a855256a1a4ec78636140ebf75b5f.webp 点击关注 【python入门与进阶】 ,阅读更多精彩内容 👇👇👇


推荐


浏览 70
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报