Pandas时间序列处理完全指南

时间序列数据处理是数据分析中非常重要的一个领域，pandas提供了强大而全面的时间序列处理功能。本文将深入介绍pandas中的时间序列处理能力，帮助读者掌握这一核心技能。

时间序列基础概念

pandas时间序列功能基于NumPy的datetime64和timedelta64数据类型构建，整合了多种Python库的时间处理能力，并新增了大量实用功能。pandas主要处理四种时间相关概念：

1. 日期时间(Datetimes) - 带时区支持的特定日期和时间，类似于Python标准库中的datetime.datetime
2. 时间差(Timedeltas) - 绝对时间持续时间，类似于datetime.timedelta
3. 时间段(Time spans) - 由时间点和关联频率定义的时间段
4. 日期偏移(Date offsets) - 遵循日历算法的相对时间持续时间

时间序列核心功能

1. 时间解析与转换

pandas可以轻松解析各种格式的时间字符串：

import pandas as pd
import numpy as np
import datetime

# 多种时间格式解析
dti = pd.to_datetime(['1/1/2018', np.datetime64('2018-01-01'),
                     datetime.datetime(2018, 1, 1)])

2. 生成固定频率时间序列

# 生成3小时间隔的时间序列
dti = pd.date_range('2018-01-01', periods=3, freq='H')

3. 时区处理

# 本地化为UTC时区
dti = dti.tz_localize('UTC')
# 转换为太平洋时区
dti.tz_convert('US/Pacific')

4. 时间重采样

idx = pd.date_range('2018-01-01', periods=5, freq='H')
ts = pd.Series(range(len(idx)), index=idx)
# 2小时频率重采样求均值
ts.resample('2H').mean()

5. 日期时间运算

friday = pd.Timestamp('2018-01-05')
# 加1天
saturday = friday + pd.Timedelta('1 day')
# 加1个工作日(周五到周一)
monday = friday + pd.offsets.BDay()

时间戳与时间段的区别

pandas提供了两种主要的时间表示方式：

1. 时间戳(Timestamp) - 表示特定时间点
2. 时间段(Period) - 表示时间范围

# 时间戳示例
pd.Timestamp('2012-05-01')

# 时间段示例(默认频率为月)
pd.Period('2011-01')

时间转换技巧

1. 字符串转时间戳

pd.to_datetime(['2005/11/23', '2010.12.31'])

2. 处理欧洲日期格式

pd.to_datetime(['04-01-2012 10:00'], dayfirst=True)

3. 从DataFrame多列组合时间

df = pd.DataFrame({
    'year': [2015, 2016],
    'month': [2, 3],
    'day': [4, 5]
})
pd.to_datetime(df)

4. 处理无效数据

# 忽略无效数据
pd.to_datetime(['2009/07/31', 'asd'], errors='ignore')
# 将无效数据转为NaT
pd.to_datetime(['2009/07/31', 'asd'], errors='coerce')

时间序列索引操作

时间序列索引(DatetimeIndex)提供了强大的功能：

rng = pd.date_range('2011-01-01', '2012-01-01', freq='BM')
ts = pd.Series(np.random.randn(len(rng)), index=rng)

# 部分字符串索引
ts['2011-10']

时间序列限制

由于pandas使用纳秒精度表示时间戳，64位整数表示的时间范围大约为584年：

pd.Timestamp.min  # 1677-09-21 00:12:43.145225
pd.Timestamp.max  # 2262-04-11 23:47:16.854775807

最佳实践建议

1. 尽量使用to_datetime()函数而非直接使用Timestamp构造函数，因为它提供了更多解析选项
2. 处理欧洲日期格式时要小心使用dayfirst参数
3. 对于大规模时间序列，指定format参数可以显著提高解析速度
4. 时间序列数据通常应该以时间作为索引
5. 注意时间戳的精度限制，特别是处理历史或未来很远的数据时

通过掌握pandas的这些时间序列处理功能，您可以高效地处理各种时间相关的数据分析任务。