经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置：技术经验 » 程序设计 » Python » 查看文章
【技术积累】Python中的Pandas库【二】
来源：cnblogs　　作者：天佑1　　时间：2023/6/7 10:11:33　　对本文有异议

如何在 Pandas 中进行文本的匹配和替换操作？

在 Pandas 中，使用 str 属性与正则表达式可以进行文本的匹配和替换操作。下面是一些常用的方法：

  • str.contains()：判断字符串中是否包含指定的文本。
  1. import pandas as pd
  3. df = pd.DataFrame({'text': ['apple', 'banana', 'orange']})
  4. df['contains_a'] = df['text'].str.contains('a')
  5. print(df)
  • str.replace()：替换字符串中指定的文本。
  1. df = pd.DataFrame({'text': ['apple', 'banana', 'orange']})
  2. df['new_text'] = df['text'].str.replace('a', 'e')
  3. print(df)
  • str.extract()：从字符串中提取满足指定正则表达式的部分。
  1. df = pd.DataFrame({'text': ['Name: John', 'Name: Michael', 'Name: David']})
  2. df['name'] = df['text'].str.extract('Name: (.*)')
  3. print(df)

如何在 Pandas 中进行时间序列数据的重采样和滚动统计？

时间序列数据重采样是指将数据从一个时间频率转换为另一个时间频率的过程，例如将每日数据转换为每周数据。滚动统计是指计算一段时间内的统计指标，例如计算每日收盘价的移动平均值。

在 Pandas 中，可以使用 resample() 函数进行时间序列数据的重采样，使用 rolling() 函数进行滚动统计。具体操作如下：

  1. 读取时间序列数据并将日期列设置为索引：
  2. 对数据进行重采样：
  3. 对数据进行滚动统计：
  1. import pandas as pd
  2. df = pd.read_csv('data.csv', index_col='date', parse_dates=True)
  3. # 将数据从每日转换为每周
  4. df_weekly = df.resample('W').mean()
  6. # 将数据从每日转换为每月
  7. df_monthly = df.resample('M').mean()
  8. # 计算收盘价的滚动平均值
  9. df['rolling_mean'] = df['close'].rolling(window=10).mean()
  11. # 计算收盘价的滚动标准差
  12. df['rolling_std'] = df['close'].rolling(window=10).std()

如何在 Pandas 中对数据进行随机抽样和生成随机数？

在 Pandas 中对数据进行随机抽样，可以使用 DataFrame 或 Series 对象的 sample() 方法，该方法可以设置抽样的数量、比例、是否有放回等参数，示例代码如下：

  1. import pandas as pd
  3. # 创建一个 DataFrame 对象
  4. df = pd.DataFrame({'A': [1,2,3,4,5], 'B': ['a','b','c','d','e']})
  6. # 对 DataFrame 进行随机抽样
  7. sample_df = df.sample(n=3, replace=True)  # 抽样数量为 3，有放回
  8. print(sample_df)

生成随机数，可以使用 numpy 库中的 random 模块，示例代码如下：

  1. import numpy as np
  3. # 生成一个 [0, 1) 之间的随机数
  4. rand_num = np.random.rand()
  5. print(rand_num)

除了生成单个随机数外，也可以生成多个随机数，例如：

  1. # 生成一个大小为 3x2 的随机矩阵
  2. rand_matrix = np.random.rand(3, 2)
  3. print(rand_matrix)

如何在 Pandas 中使用进阶的 DataFrame 和 Series 的操作方法，例如 stack、unstack、pivot、melt 等？

在 Pandas 中，可以通过以下方法使用进阶的 DataFrame 和 Series 操作方法：

  • stack：将列数据压缩为行数据，使得 DataFrame 的行数增加，列数减少。
  • unstack：将行数据展开成列数据，使得 DataFrame 的列数增加，行数减少。
  • pivot：将一列作为横轴，一列作为纵轴，另一列作为对应值，构造新的 DataFrame。
  • melt：将多列合并成一列。
  1. import pandas as pd
  3. # 构造数据
  4. df = pd.DataFrame({
  5.     'name': ['Alice', 'Bob'],
  6.     'salary2019': [5000, 6000],
  7.     'salary2020': [5500, 6800]
  8. })
  9. print(df)
  10. # 输出：
  11. #     name  salary2019  salary2020
  12. # 0  Alice        5000        5500
  13. # 1    Bob        6000        6800
  15. # stack
  16. stacked_df = df.set_index('name').stack().reset_index()
  17. print(stacked_df)
  18. # 输出：
  19. #     name      level_1     0
  20. # 0  Alice  salary2019  5000
  21. # 1  Alice  salary2020  5500
  22. # 2    Bob  salary2019  6000
  23. # 3    Bob  salary2020  6800
  25. # unstack
  26. unstacked_df = stacked_df.set_index(['name', 'level_1']).unstack()
  27. print(unstacked_df)
  28. # 输出：
  29. #              0
  30. # level_1 salary2019 salary2020
  31. # name
  32. # Alice         5000       5500
  33. # Bob           6000       6800
  1. import pandas as pd
  3. # 构造数据
  4. df = pd.DataFrame({
  5.     'name': ['Alice', 'Bob', 'Charlie'],
  6.     'year': [2019, 2019, 2020],
  7.     'salary': [5000, 6000, 7000]
  8. })
  9. print(df)
  10. # 输出：
  11. #       name  year  salary
  12. # 0    Alice  2019    5000
  13. # 1      Bob  2019    6000
  14. # 2  Charlie  2020    7000
  16. # pivot
  17. pivot_df = df.pivot(index='name', columns='year', values='salary')
  18. print(pivot_df)
  19. # 输出：
  20. # year       2019    2020
  21. # name
  22. # Alice      5000     NaN
  23. # Bob        6000     NaN
  24. # Charlie     NaN    7000
  1. import pandas as pd
  3. # 构造数据
  4. df = pd.DataFrame({
  5.     'name': ['Alice', 'Bob', 'Charlie'],
  6.     'salary2019': [5000, 6000, 7000],
  7.     'salary2020': [5500, 6800, 7500]
  8. })
  9. print(df)
  10. # 输出：
  11. #       name  salary2019  salary2020
  12. # 0    Alice        5000        5500
  13. # 1      Bob        6000        6800
  14. # 2  Charlie        7000        7500
  16. # melt
  17. melted_df = df.melt(id_vars=['name'], value_vars=['salary2019', 'salary2020'], var_name='year', value_name='salary')
  18. print(melted_df)
  19. # 输出：
  20. #       name        year  salary
  21. # 0    Alice  salary2019    5000
  22. # 1      Bob  salary2019    6000
  23. # 2  Charlie  salary2019    7000
  24. # 3    Alice  salary2020    5500
  25. # 4      Bob  salary2020    6800
  26. # 5  Charlie  salary2020    7500

如何在 Pandas 中使用 mask 和 where 函数对数据进行条件赋值操作？

在 Pandas 中，可以使用 mask 和 where 函数对数据进行条件赋值操作。

  • mask：根据条件，对符合条件的元素进行替换
  • where：根据条件，对不符合条件的元素进行替换

以下是对 Pandas 中的 DataFrame 进行条件赋值的示例代码：

  1. import pandas as pd
  3. # 创建 DataFrame
  4. df = pd.DataFrame({'A': [-1, 2, 3, -4], 'B': [5, 6, -7, 8]})
  6. # mask：将 df 中小于 0 的元素替换为 0
  7. df_mask = df.mask(df < 0, 0)
  8. print(df_mask)
  10. # where：将 df 中大于 0 的元素替换为 0
  11. df_where = df.where(df < 0, 0)
  12. print(df_where)

可以看到，使用 mask 函数将 df 中小于 0 的元素替换为 0，使用 where 函数将 df 中大于 0 的元素替换为 0。

如何在 Pandas 中使用 rolling 函数对数据进行滑动窗口统计操作？

  1. 将数据转换为 Pandas 的 Series 或 DataFrame 格式。
  2. 调用 rolling 函数，并设置窗口大小和统计函数。
  3. 对返回的对象进行操作，如筛选或绘图。

下面是一个简单的示例，演示如何使用 rolling 函数对数据进行滑动窗口统计操作：

  1. import pandas as pd
  3. # 创建数据
  4. data = pd.Series([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
  6. # 使用 rolling 函数进行统计
  7. result = data.rolling(window=3).sum()
  9. # 输出结果
  10. print(result)
  1. 0     NaN
  2. 1     NaN
  3. 2     3.0
  4. 3     6.0
  5. 4     9.0
  6. 5    12.0
  7. 6    15.0
  8. 7    18.0
  9. 8    21.0
  10. 9    24.0
  11. dtype: float64

如何在 Pandas 中进行数据的合并去重和拼接操作？

在 Pandas 中，数据的合并、去重和拼接操作可以通过以下几个方法实现：

  1. pd.concat()：将多个数据表按行或列拼接在一起，并且可以指定数据表之间的连接方式（inner或outer）和连接轴（axis=0或1）。

  2. pd.merge()：用于合并两个数据表，其中一个数据表作为基础表，另一个数据表作为待合并的表，可以指定基础表和待合并表中的共同列来进行合并，并且可以指定连接方式（inner、left、right或outer）。

  3. df.drop_duplicates()：用于去除数据表中的重复行，可以根据指定的列名来进行去重操作。

  1. # 创建示例数据表
  2. import numpy as np
  3. import pandas as pd
  5. df1 = pd.DataFrame({'A': ['a', 'b', 'c', 'd'],
  6.                     'B': [1, 2, 3, 4],
  7.                     'C': [np.nan, 2, 3, 4]})
  8. df2 = pd.DataFrame({'A': ['e', 'b', 'f', 'g'],
  9.                     'B': [5, 6, 7, 8],
  10.                     'C': [1, 2, np.nan, 4]})
  12. # pd.concat()方法进行拼接操作
  13. df_concat = pd.concat([df1, df2], axis=0, join='outer')
  15. # pd.merge()方法进行合并操作
  16. df_merge = pd.merge(df1, df2, on='A', how='inner')
  18. # df.drop_duplicates()方法进行去重操作
  19. df_drop_dup = df_concat.drop_duplicates(['A'], keep='last')

如何在 Pandas 中使用 interpolate 函数对数据进行插值操作？

Pandas 中 interpolate 函数可以对缺失值进行插值操作。以下是使用 interpolate 函数的示例代码：

  1. import pandas as pd
  3. # 创建一个包含缺失值的 Series
  4. s = pd.Series([1, 2, 3, np.nan, 5, np.nan, 7])
  6. # 使用线性插值对缺失值进行填充
  7. s_interpolated = s.interpolate()
  9. print(s_interpolated)
  1. 0    1.000000
  2. 1    2.000000
  3. 2    3.000000
  4. 3    4.000000
  5. 4    5.000000
  6. 5    6.000000
  7. 6    7.000000
  8. dtype: float64

该示例代码中，使用了默认的线性插值方式对缺失值进行填充。可以通过参数设置来改变插值方式，比如使用多项式插值或者样条插值等。使用 interpolate 函数的注意点是，待插值数据必须是单调的，否则插值结果可能不准确。

如何在 Pandas 中进行时间序列数据的处理和分析？

Pandas 中有两种处理时间序列数据的类型：Timestamp 和 DatetimeIndex。Timestamp 是 Pandas 中表示单个时间点的数据类型，而 DatetimeIndex 是 Pandas 中表示一个时间序列的数据类型。

以下是 Pandas 中处理时间序列数据的常用方法：

  • 创建时间序列

可以使用 Pandas 中的 to_datetime() 方法将字符串转换为 Timestamp 对象或 DatetimeIndex 对象。

  1. import pandas as pd
  3. # 将字符串转换为 Timestamp 对象
  4. timestamp = pd.to_datetime('2021-01-01')
  5. print(timestamp)
  7. # 将字符串列表转换为 DatetimeIndex 对象
  8. date_list = ['2021-01-01', '2021-01-02', '2021-01-03']
  9. date_index = pd.DatetimeIndex(date_list)
  10. print(date_index)
  • 时间序列切片

可以使用 loc 或 iloc 方法对时间序列进行切片。

  1. import pandas as pd
  3. date_index = pd.date_range(start='2021-01-01', end='2021-01-10')
  4. df = pd.DataFrame({'value': range(10)}, index=date_index)
  6. # 使用 loc 方法对时间序列进行切片，取 2021-01-01 至 2021-01-03 的数据
  7. print(df.loc['2021-01-01':'2021-01-03'])
  9. # 使用 iloc 方法对时间序列进行切片，取第一行至第三行的数据
  10. print(df.iloc[0:3])
  • 时间序列的聚合

可以使用 resample() 方法将时间序列按照一定的时间周期进行聚合。

  1. import pandas as pd
  3. date_index = pd.date_range(start='2021-01-01', end='2021-01-10')
  4. df = pd.DataFrame({'value': range(10)}, index=date_index)
  6. # 将时间序列按照每天进行聚合，并计算平均值
  7. daily_mean = df.resample('D').mean()
  8. print(daily_mean)
  10. # 将时间序列按照每两天进行聚合，并计算平均值
  11. two_day_mean = df.resample('2D').mean()
  12. print(two_day_mean)
  • 移动窗口分析

可以使用 rolling() 方法对时间序列进行移动窗口分析。

  1. import pandas as pd
  3. date_index = pd.date_range(start='2021-01-01', end='2021-01-10')
  4. df = pd.DataFrame({'value': range(10)}, index=date_index)
  6. # 对时间序列进行 3 天的移动窗口计算
  7. rolling_mean = df.rolling(window=3).mean()
  8. print(rolling_mean)
  • 时间序列可视化

可以使用 Pandas 中的 plot() 方法对时间序列进行可视化。

  1. import pandas as pd
  2. import matplotlib.pyplot as plt
  4. date_index = pd.date_range(start='2021-01-01', end='2021-01-10')
  5. df = pd.DataFrame({'value': range(10)}, index=date_index)
  7. # 对时间序列进行可视化
  8. df.plot()
  9. plt.show()

如何在 Pandas 中进行数据的机器学习和深度学习处理，例如特征工程、数据预处理、模型构建等？

在 Pandas 中进行数据的机器学习和深度学习处理，需要进行以下步骤：

  1. 数据预处理：包括数据清洗、缺失值填充、数据转换等。

  2. 特征工程：包括特征选择、特征提取、特征变换等。

  3. 模型构建：选择合适的机器学习或深度学习模型，并进行模型训练和参数调优。

  4. 模型评估：使用交叉验证或测试集进行模型评估，并选择最优模型。

下面是在 Pandas 中进行机器学习和深度学习处理的一些具体步骤：

  1. 数据预处理

数据预处理包括数据清洗、缺失值填充、数据转换等。在 Pandas 中可以使用 DataFrame 提供的方法来实现。

数据清洗：

  • 删除重复数据：使用 drop_duplicates() 方法。

  • 删除异常值：可以使用统计方法，例如用中位数或均值替换异常值。

缺失值填充：

  • 使用平均值、中位数或众数填充：使用 fillna() 方法。

  • 使用插值法填充：使用 interpolate() 方法。

数据转换：

  • 离散化：使用 cut() 方法。

  • 连续化：使用 qcut() 方法。

  1. 特征工程

特征工程包括特征选择、特征提取、特征变换等。使用 Pandas 可以方便地进行特征工程。

特征选择：

  • 相关系数分析：使用 corr() 方法。

  • 方差分析：使用 variance() 方法。

特征提取：

  • 文本特征提取：使用 countvectorizer() 方法。

  • 图像特征提取：使用 PIL 库或 OpenCV 工具包。

特征变换：

  • 标准化：使用 sklearn 的 StandardScaler。

  • 归一化：使用 sklearn 的 MinMaxScaler。

  1. 模型构建

在 Pandas 中可以使用 sklearn 包提供的机器学习和深度学习算法进行模型构建。

  • 机器学习：使用 Random Forest、KNN、SVM、LR 等算法。

  • 深度学习：使用 TensorFlow、Keras、PyTorch、MXNet 等框架。

  1. 模型评估

使用交叉验证或测试集进行模型评估，并选择最优模型。

  • 交叉验证：使用 cross_val_score() 方法。

  • 测试集评估：使用 predict() 方法和 confusion_matrix() 方法。

综上所述，在 Pandas 中进行数据的机器学习和深度学习处理需要进行数据预处理、特征工程、模型构建和模型评估等步骤。在每一步骤中，Pandas 提供了一些方法方便进行数据分析和数据处理。

原文链接：https://www.cnblogs.com/yyyyfly1/p/17462494.html

 友情链接：直通硅谷 　点职佳 　北美留学生论坛

Python热门文章

  • Python | 新冠肺炎疫情数据的爬取与可视化分析
  • Python爬小草1024图片，盖达尔的诱惑（urllib.request）
  • pytorch如何获得模型的计算量和参数量
  • 计算曲线与坐标轴的面积
  • 基于Python实现语音合成小工具
  • PyQt5笔记之弹出窗口大全
  • python反编译学习之字节码详解
  • Python爬虫基础讲解（二十）：多进程——multiprocessing模块的使用
  • python?OpenCV计算图片相似度的5种算法
  • matplotlib 设置图形大小时 figsize 与 dpi 的关系

    • Python推荐文章

  • python 音频处理（2)——提取PPG特征之whisper库的使用（2.1）
  • 《最新出炉》系列初窥篇-Python+Playwright自动化测试-60 - 判断元素是否显示 - 下篇 - 北京-宏哥
  • [python] 启发式算法库scikit-opt使用指北
  • 《最新出炉》系列初窥篇-Python+Playwright自动化测试-59 - 判断元素是否显示 - 上篇 - 北京-宏哥
  • 界面自动化测试录制工具，让python selenium自动化测试脚本开发更加方便
  • 《最新出炉》系列入门篇-Python+Playwright自动化测试-56- 多文件上传 - 下篇 - 北京-宏哥
  • 音频文件降噪及python示例
  • 全网最适合入门的面向对象编程教程：20 类和对象的 Python 实现-组合关系的实现与 CSV 文件保存
  • 张高兴的 MicroPython 入门指南：（一）环境配置、Blink、部署
  • Python——比 Seaborn 更好的相关性热力图：Biokit Corrplot

    • 本站QQ群：前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

    W3xue 的所有内容仅供测试，对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
    关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接（目前9元/月）请联系QQ：27243702 沸活量
    皖ICP备17017327号-2　皖公网安备34020702000426号