【Python】Pandas groupby加速处理数据

def data_process(x):    # process    return ...
result = df.groupby('user_id').apply(data_process)

from joblib import Parallel, delayed
def data_process(x):    # process    return ...
def applyParallel(dfGrouped, func):    res = Parallel(n_jobs=4)(delayed(func)(group) for name, group in dfGrouped)    return pd.concat(res)
result = applyParallel(df.groupby('user_id'), data_process)

from pandarallel import pandarallelpandarallel.initialize(progress_bar=True)# 可选参数：# nb_workers：用于并行化的工作程序数。数值类型，如果未设置，则将使用所有可用的CPU。# progress_bar：如果设置为，则显示进度条True。（False默认为布尔）# verbose：详细级别（2默认为int ）#          0-不显示任何日志#          1-仅显示警告日志#          2-显示所有日志# use_memory_fs：（None默认为布尔）如果设置为None且内存文件系统可用，Pandarallel将使用它在主进程和工作进程之间传输数据。# 如果内存文件系统不可用，则Pandarallel将默认进行多处理数据传输（管道）。如果设置为True，则Pandarallel将使用内存文件系统在主进程和工作进程之间传输数据，SystemError如果内存文件系统不可用，则会引发。# 如果设置为False，则Pandarallel将使用多处理数据传输（管道）在主进程和工作进程之间传输数据。
def data_process(x):    # process    return ...
result = df.groupby('user_id').parallel_apply(data_process)