Python 数据转换
数据转换是数据处理中的一个关键步骤，它涉及将数据从一种形式或结构转换为另一种，以满足特定的分析需求。在Python中，我们有多种工具和方法可以高效地进行数据转换操作。
为什么需要数据转换？
在实际数据处理过程中，我们经常会遇到以下场景：
- 从不同来源获取的数据格式不一致
- 数据类型与我们的处理需求不匹配
- 数据结构需要重组以便于分析
- 需要计算新的派生变量
数据转换正是解决这些问题的关键步骤。
基本数据类型转换
Python提供了多种内置函数用于基本数据类型之间的转换。
字符串与数值之间的转换
# 字符串转数值
age_str = "25"
age_int = int(age_str) # 转为整数: 25
price_str = "19.99"
price_float = float(price_str) # 转为浮点数: 19.99
# 数值转字符串
count = 42
count_str = str(count) # 转为字符串: "42"
# 输出结果
print(f"整数转换: {age_int}, 类型: {type(age_int)}")
print(f"浮点数转换: {price_float}, 类型: {type(price_float)}")
print(f"字符串转换: {count_str}, 类型: {type(count_str)}")
输出:
整数转换: 25, 类型: <class 'int'>
浮点数转换: 19.99, 类型: <class 'float'>
字符串转换: 42, 类型: <class 'str'>
警告
注意：不是所有的字符串都可以直接转换为数值。例如，int("hello")将会引发ValueError。在转换前应该确保数据的有效性。
列表、元组和集合之间的转换
# 创建一个列表
fruits = ['apple', 'banana', 'cherry', 'apple']
# 列表转元组
fruits_tuple = tuple(fruits)
print(f"列表转元组: {fruits_tuple}")
# 列表转集合(会去重)
fruits_set = set(fruits)
print(f"列表转集合(去重): {fruits_set}")
# 元组转列表
back_to_list = list(fruits_tuple)
print(f"元组转列表: {back_to_list}")
输出:
列表转元组: ('apple', 'banana', 'cherry', 'apple')
列表转集合(去重): {'cherry', 'banana', 'apple'}
元组转列表: ['apple', 'banana', 'cherry', 'apple']
使用Pandas进行数据转换
对于更复杂的数据转换任务，我们通常使用Pandas库，它专为数据处理和分析设计。
安装Pandas
如果还没有安装Pandas，可以通过pip进行安装:
pip install pandas
数据框格式转换
import pandas as pd
# 创建一个简单的DataFrame
data = {
'name': ['Alice', 'Bob', 'Charlie'],
'age': [25, 30, 35],
'city': ['New York', 'Boston', 'Chicago']
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)
# DataFrame转换为字典
data_dict = df.to_dict()
print("\nDataFrame转字典:")
print(data_dict)
# DataFrame转换为CSV字符串
csv_str = df.to_csv(index=False)
print("\nDataFrame转CSV字符串:")
print(csv_str)
# DataFrame转换为JSON
json_str = df.to_json(orient='records')
print("\nDataFrame转JSON:")
print(json_str)
输出:
原始DataFrame:
name age city
0 Alice 25 New York
1 Bob 30 Boston
2 Charlie 35 Chicago
DataFrame转字典:
{'name': {0: 'Alice', 1: 'Bob', 2: 'Charlie'}, 'age': {0: 25, 1: 30, 2: 35}, 'city': {0: 'New York', 1: 'Boston', 2: 'Chicago'}}
DataFrame转CSV字符串:
name,age,city
Alice,25,New York
Bob,30,Boston
Charlie,35,Chicago
DataFrame转JSON:
[{"name":"Alice","age":25,"city":"New York"},{"name":"Bob","age":30,"city":"Boston"},{"name":"Charlie","age":35,"city":"Chicago"}]
数据类型转换
Pandas提供了astype()方法来转换DataFrame中列的数据类型:
import pandas as pd
# 创建包含不同数据类型的DataFrame
df = pd.DataFrame({
'id': ['1', '2', '3', '4'],
'value': ['10.5', '20.3', '30.8', '40.2'],
'active': ['True', 'False', 'True', 'True']
})
print("原始DataFrame(所有列都是字符串类型):")
print(df.dtypes)
# 转换数据类型
df['id'] = df['id'].astype(int)
df['value'] = df['value'].astype(float)
df['active'] = df['active'].astype(bool)
print("\n转换后的DataFrame:")
print(df.dtypes)
print(df)
输出:
原始DataFrame(所有列都是字符串类型):
id object
value object
active object
dtype: object
转换后的DataFrame:
id int64
value float64
active bool
dtype: object
id value active
0 1 10.5 True
1 2 20.3 False
2 3 30.8 True
3 4 40.2 True
处理日期和时间
Pandas提供了强大的功能来处理日期和时间数据:
import pandas as pd
# 创建包含日期字符串的DataFrame
df = pd.DataFrame({
'date_string': ['2023-01-15', '2023-02-20', '2023-03-25', '2023-04-30']
})
# 将字符串转换为日期时间对象
df['date'] = pd.to_datetime(df['date_string'])
# 提取日期的组成部分
df['year'] = df['date'].dt.year
df['month'] = df['date'].dt.month
df['day'] = df['date'].dt.day
df['weekday'] = df['date'].dt.day_name()
print(df)
输出:
date_string date year month day weekday
0 2023-01-15 2023-01-15 2023 1 15 Sunday
1 2023-02-20 2023-02-20 2023 2 20 Monday
2 2023-03-25 2023-03-25 2023 3 25 Saturday
3 2023-04-30 2023-04-30 2023 4 30 Sunday
数据重塑 (Reshaping)
有时，我们需要改变数据的结构以便于分析。Pandas提供了多种数据重塑方法。
长格式与宽格式转换
import pandas as pd
# 创建一个宽格式的数据框
wide_df = pd.DataFrame({
'student': ['Alice', 'Bob', 'Charlie'],
'math': [90, 85, 95],
'science': [88, 92, 87],
'history': [76, 83, 91]
})
print("宽格式数据:")
print(wide_df)
# 宽格式转长格式
long_df = pd.melt(
wide_df,
id_vars=['student'],
var_name='subject',
value_name='score'
)
print("\n长格式数据:")
print(long_df)
# 长格式转宽格式
wide_again = long_df.pivot(
index='student',
columns='subject',
values='score'
).reset_index()
print("\n转回宽格式:")
print(wide_again)
输出:
宽格式数据:
student math science history
0 Alice 90 88 76
1 Bob 85 92 83
2 Charlie 95 87 91
长格式数据:
student subject score
0 Alice math 90
1 Bob math 85
2 Charlie math 95
3 Alice science 88
4 Bob science 92
5 Charlie science 87
6 Alice history 76
7 Bob history 83
8 Charlie history 91
转回宽格式:
student history math science
0 Alice 76 90 88
1 Bob 83 85 92
2 Charlie 91 95 87
实际案例：处理股票数据
以下是一个更综 合的例子，展示如何处理和转换真实世界的股票价格数据。
import pandas as pd
import numpy as np
# 创建模拟的股票数据
dates = pd.date_range(start='2023-01-01', periods=10, freq='B')
stocks = ['AAPL', 'GOOGL', 'MSFT', 'AMZN']
# 生成随机价格
np.random.seed(42)
data = {}
for stock in stocks:
data[stock] = np.random.normal(100, 5, size=len(dates)).round(2)
# 创建DataFrame
stock_df = pd.DataFrame(data, index=dates)
print("原始股票价格数据:")
print(stock_df.head())
# 1. 计算每支股票的每日回报率(百分比变化)
returns_df = stock_df.pct_change() * 100
print("\n每日回报率(%):")
print(returns_df.head())
# 2. 转换为长格式以便于可视化
stock_long = stock_df.reset_index()
stock_long = pd.melt(
stock_long,
id_vars=['index'],
value_vars=stocks,
var_name='stock',
value_name='price'
)
stock_long.columns = ['date', 'stock', 'price']
print("\n长格式股票数据:")
print(stock_long.head())
# 3. 计算每支股票的累积回报率
stock_df_norm = stock_df / stock_df.iloc[0] * 100
print("\n累积回报(以第一天为100):")
print(stock_df_norm.head())
# 4. 计算每支股票的移动平均线
stock_df_ma = stock_df.rolling(window=3).mean()
print("\n3日移动平均线:")
print(stock_df_ma.head())
输出:
原始股票价格数据:
AAPL GOOGL MSFT AMZN
2023-01-02 96.08 96.47 104.42 95.29
2023-01-03 98.94 107.95 94.25 100.60
2023-01-04 94.00 99.10 99.37 103.51
2023-01-05 96.13 96.53 102.01 95.93
2023-01-06 94.12 105.24 99.89 102.84
每日回报率(%):
AAPL GOOGL MSFT AMZN
2023-01-02 NaN NaN NaN NaN
2023-01-03 2.98 11.90 -9.74 5.58
2023-01-04 -4.99 -8.19 5.43 2.89
2023-01-05 2.26 -2.59 2.65 -7.33
2023-01-06 -2.09 9.02 -2.07 7.20
长格式股票数据:
date stock price
0 2023-01-02 AAPL 96.08
1 2023-01-03 AAPL 98.94
2 2023-01-04 AAPL 94.00
3 2023-01-05 AAPL 96.13
4 2023-01-06 AAPL 94.12
累积回报(以第一天为100):
AAPL GOOGL MSFT AMZN
2023-01-02 100.00 100.00 100.00 100.00
2023-01-03 103.00 111.90 90.26 105.58
2023-01-04 97.84 102.73 95.16 108.63
2023-01-05 100.05 99.98 97.69 100.66
2023-01-06 97.96 109.09 95.66 107.92
3日移动平均线:
AAPL GOOGL MSFT AMZN
2023-01-02 NaN NaN NaN NaN
2023-01-03 NaN NaN NaN NaN
2023-01-04 96.34 101.17 99.35 99.80
2023-01-05 96.36 101.19 98.54 99.98
2023-01-06 94.75 100.29 100.42 100.76
总结
本文介绍了Python中数据转换的多种方法和技术，包括：
- 基本数据类型转换
- 使用Pandas进行高级数据转换
- 数据框格式转换
- 数据类型转换
- 日期和时间处理
- 数据结构重塑
- 真实世界案例应用
掌握这些数据转换技术将帮助你更有效地清理、准备和分析数据，这是数据科学和分析工作流程中不可或缺的技能。
练习
为了巩固所学内容，尝试以下练习：
- 创建一个包含学生成绩数据的DataFrame，并在其中添加一列计算每个学生的平均分。
- 将包含温度数据的CSV文件读入DataFrame，并将温度从摄氏度转换为华氏度。
- 使用Pandas处理时间序列数据，计算每月平均销售额。
- 尝试将宽格式的调查结果数据转换为长格式，以便于进行统计分析。
进一步学习资源
- 官方Python文档: 数据结构
- Pandas官方文档: Pandas用户指南
- Pandas数据重塑: 重塑和透视表
- 时间序列分析: 时间序列/日期功能