最全总结 | 聊聊 Python 数据处理全家桶(Redis篇)

AirPython

共 8334字,需浏览 17分钟

 ·

2020-09-23 14:14


点击上方“AirPython”,选择“加为星标

第一时间关注 Python 技术干货!


1. 前言

前面两篇文章聊到了 Python 处理 Mysql、Sqlite 数据库常用方式,本篇文章继续说另外一种比较常用的数据存储方式:Redis

Redis:Remote Dictionary Server,即:远程字典服务,Redis 底层使用 C 语言编写,是一款开源的、基于内存的 NoSql 数据库

由于 Redis 性能远超其他数据库,并且支持集群、分布式及主从同步等优势,所以经常用于 缓存数据、高速读写 等场景

本篇文章就聊聊 Python 操作 Redis 正确的姿势

2. 准备

我们以在云服务器 Centos 7.8 安装 Redis-Server 为例

首先,安装在云服务器上 Redis 数据库

# 下载epel仓库
yum install epel-release

# 安装redis
yum install redis

然后,通过 vim 命令修改 Redis 配置文件,打开远程连接,设置连接密码

配置文件目录:/etc/redis.conf

  • bind 更改为 0.0.0.0,容许外网访问

  • requirepass 设置一个访问密码

# vim /etc/redis.conf
# 1、bing从127.0.0.1修改为:0.0.0.0,开放远程连接
bind 0.0.0.0 

# 2、设置密码
requirepass 123456 

需要指出的是,为了保证云服务器数据安全,Redis 开放远程访问的时候,一定要加强密码

接着,启动 Redis 服务,开启防火墙和端口,配置云服务器安全组

默认情况下,Redis 服务使用的端口号是 6379

另外,需要在云服务器安全组进行配置,保证 Redis 数据库能正常连接

# 启动Redis服务,默认redis端口号是6379
systemctl start redis 

# 打开防火墙
systemctl start firewalld.service

# 开放6379端口
firewall-cmd --zone=public --add-port=6379/tcp --permanent   

# 配置立即生效
firewall-cmd --reload   

完成以上操作,我们就可以通过 Redis-CLI 或 Redis 客户端工具进行连接了

最后,要使用 Python 操作 Redis,我们需要使用 pip 安装一个依赖

# 安装依赖,便于操作redis
pip3 install redis  

3. 实战

在操作 Redis 中的数据之前,我们需要利用 Host、端口号、密码实例化一个 Redis 连接对象

from redis import Redis

class RedisF(object):

    def __init__(self):
        # 实例化Redis对象
        # decode_responses=True,如果不加则写入的为字节类型
        # host:远程连接地址
        # port:Redis端口号
        # password:Redis授权密码
        self.redis_obj = Redis(host='139.199.**.**',port=6379,password='123456',decode_responses=True,charset='UTF-8', encoding='UTF-8')

接下来我们以操作字符串、列表、set 集合、zset 集合、哈希表、事务为例,讲讲 Python 操作这些数据的方法

1、字符串操作

操作字符串有两种方式,操作方法分别是:set()mset()

其中:set() 一次只能保存一个值,参数意义如下

  • name:key,代表键

  • value:value,待保存的值

  • ex:过期时间,以秒为单位,如果不设置,则永久不过期;否则,过期则删除

  • px:过期时间,以毫秒为单位

  • nx/xx:set 操作是否执行与 name 键是否存在有关

获取值和删除值的操作方法分别为:get(Key)、 delete(Key or Keys

# set():单字符串操作
# 添加一个值,并设置超时时间为120s
 self.redis_obj.set('name''airpython', ex=120)

# get():获取这个值
print(self.redis_obj.get('name'))

# delete():删除一个值或多个值
self.redis_obj.delete('name')
print(self.redis_obj.get('name'))

对于多值数据的设置,只需要调用 mset() 方法,将待插入的数据以键值对组成一个字典作为参数即可

同理,Redis 提供了 mget() 方法,可以一次获取多个键的值

# mset():设置多个值
self.redis_obj.mset({"foo""foo1""zoo""zoo1"})

# mget():获取多个值
result = self.redis_obj.mget("foo""zoo")
print(result)

2、列表操作

Redis 提供了很多方法用于操作列表,其中比较常见的如下:

  • lpush/rpush:将一个值或多个值插入到列表头部或尾部,其中,lpush 代表头部插入;rpush 代表尾部插入数据

  • lset:通过索引,将值插入到列表对应的位置

  • linsert:在列表元素前面或后面插入数据

  • lindex:通过索引获取列表中的某一个元素,其中,0 代表第一个元素;-1 代表最后一个元素

  • lrange:通过制定起始位置和结束位置,从列表中获取指定区域的值

  • llen:获取列表的长度,如果 Key 对应的列表不存在,返回 0

  • lpop:移除并返回列表中的第一个元素

  • rpop:移除并返回列表中的最后一个元素

实例代码如下:

def manage_list(self):
    """
    操作列表
    :return:
    """

    # 1、新增一个列表,并左边插入一个数据
    # 注意:可以一次加入多个元素,也可以一个个元素的加入
    self.redis_obj.lpush('company''阿里''腾讯''百度')

    # 2、移除第一个元素
    self.redis_obj.lpop("company")

    # 3、右边插入数据
    self.redis_obj.rpush('company''字节跳动''小米')

    # 4、移除最后一个元素
    self.redis_obj.rpop("company")

    # 5、获取列表的长度
    self.redis_obj.llen("company")

    # 6、通过索引,获取列表中的某一个元素(第二个元素)
    print('列表中第二个元素是:', self.redis_obj.lindex("company"1))

    # 7、根据范围,查看列表中所有的值
    print(self.redis_obj.lrange('company'0-1))

3、操作 Set 

Set 是一个无序的元素集合,集合中的元素不能重复,Redis 同样提供了很多方法,便于操作 Set 集合

其中,比较常用的方法如下:

  • sadd:添加元素到集合中,已经存在集合中的元素将被忽略,如果集合不存在,则新建一个集合

  • scard:返回集合元素的数量

  • smembers:返回集合中所有元素

  • srem:移除集合中一个或多个元素,如果元素不存在则忽略

  • sinter:返回两个集合的交集,结果依然是一个集合

  • sunion:返回两个集合的并集

  • sdiff:以第一个集合参数为标准,返回两个集合的差集

  • sunionstore:计算两个集合的并集,保存到一个新的集合中

  • sismember:判断集合中是否存在某个元素

  • spop:随机删除集合中的一个元素,并返回

具体实例代码如下:

def manage_set(self):
    """
    操作set集合
    :return:
    "
""
    self.redis_obj.delete("fruit")

    # 1、sadd:新增元素到集合中
    # 添加一个元素:香蕉
    self.redis_obj.sadd('fruit''香蕉')

    # 再添加两个元素
    self.redis_obj.sadd('fruit''苹果''桔子')

    # 2、集合元素的数量
    print('集合元素数量:'self.redis_obj.scard('fruit'))

    # 3、移除一个元素
    self.redis_obj.srem("fruit""桔子")

    # 再定义一个集合
    self.redis_obj.sadd("fruit_other""香蕉""葡萄""柚子")

    # 4、获取两个集合的交集
    result = self.redis_obj.sinter("fruit""fruit_other")
    print(type(result))
    print('交集为:', result)

    # 5、获取两个集合的并集
    result = self.redis_obj.sunion("fruit""fruit_other")
    print(type(result))
    print('并集为:', result)

    # 6、差集,以第一个集合为标准
    result = self.redis_obj.sdiff("fruit""fruit_other")
    print(type(result))
    print('差集为:', result)

    # 7、合并保存到新的集合中
    self.redis_obj.sunionstore("fruit_new""fruit""fruit_other")
    print('新的集合为:'self.redis_obj.smembers('fruit_new'))

    # 8、判断元素是否存在集合中
    result = self.redis_obj.sismember("fruit""苹果")
    print('苹果是否存在于集合中', result)

    # 9、随机从集合中删除一个元素,然后返回
    result = self.redis_obj.spop("fruit")
    print('删除的元素是:', result)

    # 3、集合中所有元素
    result = self.redis_obj.smembers('fruit')

    print("最后fruit集合包含的元素是:", result)

4、操作 zset 集合

zset 集合相比普通 set 集合,是有序的,zset 集合中的元素包含:值和分数,其中分数用于排序

其中,比较常用的方法如下:

  • zadd:往集合中新增元素,如果集合不存在,则新建一个集合,然后再插入数据

  • zrange:通过起始点和结束点,返回集合中的元素值(不包含分数);如果设置withscores=True,则返回结果会带上分数

  • zscore:获取某一个元素对应的分数

  • zcard:获取集合中元素个数

  • zrank:获取元素在集合中的索引

  • zrem:删除集合中的元素

  • zcount:通过最小值和最大值,判断分数在这个范围内的元素个数

实践代码如下:

def manage_zset(self):
    """
    操作zset集合
    :return:
    "
""
    self.redis_obj.delete("fruit")

    # 往集合中新增元素:zadd()
    # 三个元素分别是:"banana", 1/"apple", 2/"pear", 3
    self.redis_obj.zadd("fruit""banana"1"apple"2"pear"3)

    # 查看集合中所有元素(不带分数)
    result = self.redis_obj.zrange("fruit"0-1)
    # ['banana', 'apple', 'pear']
    print('集合中的元素(不带分数)有:', result)

    # 查看集合中所有元素(带分数)
    result = self.redis_obj.zrange("fruit"0-1, withscores=True)
    # [('banana', 1.0), ('apple', 2.0), ('pear', 3.0)]
    print('集合中的元素(带分数)有:', result)

    # 获取集合中某一个元素的分数
    result = self.redis_obj.zscore("fruit""apple")
    print("apple对应的分数为:", result)

    # 通过最小值和最大值,判断分数在这个范围内的元素个数
    result = self.redis_obj.zcount("fruit"12)
    print("集合中分数大于1,小于2的元素个数有:", result)

    # 获取集合中元素个数
    count = self.redis_obj.zcard("fruit")
    print('集合元素格式:', count)

    # 获取元素的值获取索引号
    index = self.redis_obj.zrank("fruit""apple")
    print('apple元素的索引为:', index)

    # 删除集合中的元素:zrem
    self.redis_obj.zrem("fruit""apple")
    print('删除apple元素后,剩余元素为:'self.redis_obj.zrange("fruit"0-1))

4、操作哈希

哈希表中包含很多键值对,并且每一个键都是唯一的

Redis 操作哈希表,下面这些方法比较常用:

  • hset:往哈希表中添加一个键值对值

  • hmset:往哈希表中添加多个键值对值

  • hget:获取哈希表中单个键的值

  • hmget:获取哈希表中多个键的值列表

  • hgetall:获取哈希表中种所有的键值对

  • hkeys:获取哈希表中所有的键列表

  • hvals:获取哈表表中所有的值列表

  • hexists:判断哈希表中,某个键是否存在

  • hdel:删除哈希表中某一个键值对

  • hlen:返回哈希表中键值对个数

对应的操作代码如下:

def manage_hash(self):
    """
    操作哈希表
    哈希:一个键对应一个值,并且键不容许重复
    :return:
    "
""
    self.redis_obj.delete("website")

    # 1、新建一个key为website的哈希表
    # 往里面加入数据:baidu(field),www.baidu.com(value)
    self.redis_obj.hset('website''baidu''www.alibababaidu.com')
    self.redis_obj.hset('website''google''www.google.com')

    # 2、往哈希表中添加多个键值对
    self.redis_obj.hmset("website", {"tencent""www.qq.com""alibaba""www.taobao.com"})

    # 3、获取某一个键的值
    result = self.redis_obj.hget("website"'baidu')
    print("键为baidu的值为:", result)

    # 4、获取多个键的值
    result = self.redis_obj.hmget("website""baidu""alibaba")
    print("多个键的值为:", result)

    # 5、查看hash表中的所有值
    result = self.redis_obj.hgetall('website')
    print("哈希表中所有的键值对为:", result)

    # 6、哈希表中所有键列表
    # ['baidu', 'google', 'tencent', 'alibaba']
    result = self.redis_obj.hkeys("website")
    print("哈希表,所有的键(列表)为:", result)

    # 7、哈希表中所有的值列表
    # ['www.alibababaidu.com', 'www.google.com', 'www.qq.com', 'www.taobao.com']
    result = self.redis_obj.hvals("website")
    print("哈希表,所有的值(列表)为:", result)

    # 8、判断某一个键是否存在
    result = self.redis_obj.hexists("website""alibaba")
    print('alibaba这个键是否存在:', result)

    # 9、删除某一个键值对
    self.redis_obj.hdel("website"'baidu')
    print('删除baidu键值对后,哈希表的数据包含:'self.redis_obj.hgetall('website'))

    # 10、哈希表中键值对个数
    count = self.redis_obj.hlen("website")
    print('哈希表键值对一共有:', count)

5、操作事务管道

Redis 支持事务管道操作,能够将几个操作统一提交执行

操作步骤是:

  • 首先,定义一个事务管道

  • 然后通过事务对象去执行一系列操作

  • 提交事务操作,结束事务操作

下面通过一个简单的例子来说明:

def manage_steps(self):
    """
    执行事务操作
    :return:
    """

    # 1、定义一个事务管道
    self.pip = self.redis_obj.pipeline()

    # 定义一系列操作
    self.pip.set('age'18)

    # 增加一岁
    self.pip.incr('age')

    # 减少一岁
    self.pip.decr('age')

    # 执行上面定义3个步骤的事务操作
    self.pip.execute()

    # 判断
    print('通过上面一些列操作,年龄变成:', self.redis_obj.get('age'))

4.最后

本篇文章通过 Python 实现了对 Redis 常见数据的操作,受限于篇幅,没法对 Redis 中一些不常用的方法没法进行展开说明

我已经将文中全部源码上传到后台,关注公众号后回复「 dball 」即可获得全部源码

如果你觉得文章还不错,请大家 点赞、分享、留言 下,因为这将是我持续输出更多优质文章的最强动力!




推荐阅读


聊聊 Python 数据处理全家桶(Mysql 篇)

聊聊 Python 数据处理全家桶(Sqlite 篇)

Python 如何使用 HttpRunner 做接口自动化测试



浏览 28
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报