Python 反序列化漏洞

pickle 是 Python 的一个内置模块，用于序列化和反序列化数据。序列化是指将 Python 对象转换为字节流的过程，而反序列化则是将字节流还原为 Python 对象的过程。

pickle.dump 功能：将对象序列化并写入到一个文件对象中。 使用场景：用于将数据持久化到文件，适合需要长期存储的场景。

pickle.dump(obj, file, protocol=None)

# 序列化对象
data = {'name': 'Alice', 'age': 30, 'city': 'New York'}

# 将对象序列化到文件
with open('data.pkl', 'wb') as file:
    pickle.dump(data, file)

pickle.dumps 功能：将对象序列化为一个字节串。 使用场景：适用于需要在内存中处理数据或在网络上传输数据的场景。

pickle.dumps(obj, protocol=None)

import pickle

data = {'key': 'value'}

# 将数据序列化为字节串
serialized_data = pickle.dumps(data)
print(serialized_data)  # 输出类似于 b'\x80\x03}q\x00(X\x03...'

同时，还有 pickle.load 和 pickle.loads

import pickle

# 反序列化对象
with open('data.pkl', 'rb') as file:
    loaded_data = pickle.load(file)

print(loaded_data)  # 输出: {'name': 'Alice', 'age': 30, 'city': 'New York'}

基本数据类型的序列化后存储的内容格式：

# python 3.11
import pickle

# 整型
data_int = 42
serialized_int = pickle.dumps(data_int)
print(serialized_int) # 输出: b'\x80\x04K*.' (Python 3.x)

# 浮点型
data_float = 3.14
serialized_float = pickle.dumps(data_float)
print(serialized_float) # 输出: b'\x80\x04G@\t\x1e\xb8Q\xeb\x85\x1f' (Python 3.x)

# 字符串
data_str = "Hello, World!"
serialized_str = pickle.dumps(data_str)
print(serialized_str) # 输出: b'\x80\x04\x95\x0e\x00\x00\x00\x8c\rHello, World!\x94.' (Python 3.x)

# 布尔值
data_bool = True
serialized_bool = pickle.dumps(data_bool)
print(serialized_bool) # 输出: b'\x80\x04\x88.' (Python 3.x)

# None
data_none = None
serialized_none = pickle.dumps(data_none)
print(serialized_none) # 输出: b'\x80\x04N.' (Python 3.x)

# 列表
data_list = [1, 2, 3]
serialized_list = pickle.dumps(data_list)
print(serialized_list) # 输出: b'\x80\x04\x95\x07\x00\x00\x00]\x94(K\x01K\x02K\x03e.' (Python 3.x)

# 元组
data_tuple = (1, 2, 3)
serialized_tuple = pickle.dumps(data_tuple)
print(serialized_tuple) # 输出: b'\x80\x04\x95\x07\x00\x00\x00(K\x01K\x02K\x03t.' (Python 3.x)

# 字典
data_dict = {'a': 1, 'b': 2}
serialized_dict = pickle.dumps(data_dict)
print(serialized_dict) # 输出: b'\x80\x04\x95\x0e\x00\x00\x00}\x94(\x8c\x01a\x94K\x01\x8c\x01b\x94K\x02u.' (Python 3.x)

# 集合
data_set = {1, 2, 3}
serialized_set = pickle.dumps(data_set)
print(serialized_set) # 输出: b'\x80\x04\x95\x07\x00\x00\x00\x8c\x03set\x94(K\x01K\x02K\x03e.' (Python 3.x)

序列化后，pickle 数据的存储方式取决于使用的协议，pickle 模块 提供了多个协议：

• 协议 0：ASCII；兼容性最佳，但体积相对较大。
• 协议 1：旧版二进制格式；比协议 0 体积小。
• 协议 2：提供对较新特性的支持，使用于 Python 2.x。
• 协议 3：引入 Python 3，支持对 bytes 数据类型的序列化。
• 协议 4：支持更多数据类型，擅长序列化大型数据。
• 协议 5：是 Python 3.8 新增的，支持更大的数据量以及更高效的序列化。

特殊值

协议2

协议3

协议4：

import pickle

class test:
    def __init__(self):
        self.people = 'lituer'

a = test()
serialized = pickle.dumps(a, protocol=3)  # 指定PVM 协议版本
print(serialized)

unserialized = pickle.loads(serialized)  # 注意，loads 能够自动识别反序列化的版本
print(unserialized.people)

Python 官方提供了工具，叫 pickletools 它的作用主要是：

• 可读性较强的方式展示一个序列化对象（pickletools.dis）
• 对一个序列化结果进行优化（pickletools.optimize）

import pickle
import pickletools

a = test()
serialized = pickle.dumps(a, protocol=3)  # 指定PVM 协议版本
print(pickletools.dis(serialized))

__reduce__方法

__reduce__ 是 Python 中一个特殊的方法，用于自定义如何序列化（pickling）和反序列化（unpickling）对象。

参考资料

• https://tttang.com/archive/1885/
• https://www.digitalocean.com/community/tutorials/python-pickle-example
• https://medium.com/@harryfyx/writeup-uiuctf-2024-push-and-pickle-cf821c49194f
• https://infosecwriteups.com/vulnerabilities-in-python-serialization-pickle-d2385de642f6