跳到主要内容

Pandas 正则表达式

正则表达式（Regular Expression，简称Regex）是一种强大的工具，用于匹配、查找和操作文本数据。在Pandas中，正则表达式可以帮助我们高效地处理字符串数据，尤其是在数据清洗和变换时非常有用。本文将介绍如何在Pandas中使用正则表达式，并通过实际案例展示其应用。

1. 正则表达式简介​

正则表达式是一种用于描述字符串模式的语法。它可以帮助我们快速匹配、查找和替换文本中的特定模式。例如，我们可以使用正则表达式来查找所有以字母“a”开头的单词，或者提取字符串中的所有数字。

在Pandas中，正则表达式通常与字符串方法（如str.contains()、str.extract()、str.replace()等）结合使用，以便对DataFrame中的字符串列进行操作。

2. Pandas中的正则表达式基础​

2.1 使用str.contains()进行匹配​

str.contains()方法用于检查字符串中是否包含指定的正则表达式模式。它返回一个布尔值Series，表示每一行是否匹配。

python
import pandas as pd

# 创建一个示例DataFrame
data = {'text': ['apple', 'banana', 'cherry', 'date']}
df = pd.DataFrame(data)

# 使用正则表达式匹配以'a'开头的字符串
df['starts_with_a'] = df['text'].str.contains(r'^a')
print(df)

输出：

     text  starts_with_a
0   apple           True
1  banana          False
2  cherry          False
3    date          False
提示

在正则表达式中，^表示字符串的开头。因此，^a表示以字母“a”开头的字符串。

2.2 使用str.extract()提取匹配内容​

str.extract()方法用于从字符串中提取与正则表达式匹配的部分。它返回一个DataFrame，其中包含提取的内容。

python
# 提取字符串中的数字
data = {'text': ['apple 123', 'banana 456', 'cherry 789']}
df = pd.DataFrame(data)

# 使用正则表达式提取数字
df['numbers'] = df['text'].str.extract(r'(\d+)')
print(df)

输出：

        text numbers
0  apple 123     123
1 banana 456     456
2 cherry 789     789
备注

\d+表示匹配一个或多个数字。括号()用于捕获匹配的内容。

2.3 使用str.replace()进行替换​

str.replace()方法用于将字符串中与正则表达式匹配的部分替换为指定的内容。

python
# 替换字符串中的数字为'X'
data = {'text': ['apple 123', 'banana 456', 'cherry 789']}
df = pd.DataFrame(data)

# 使用正则表达式替换数字
df['text_replaced'] = df['text'].str.replace(r'\d+', 'X')
print(df)

输出：

        text text_replaced
0  apple 123     apple X
1 banana 456    banana X
2 cherry 789    cherry X
警告

str.replace()默认会替换所有匹配的内容。如果只想替换第一个匹配项，可以设置regex=True和n=1。

3. 实际案例：提取电子邮件地址​

假设我们有一个包含用户信息的DataFrame，其中一列是用户的联系信息，可能包含电子邮件地址。我们可以使用正则表达式来提取这些电子邮件地址。

python
# 创建一个包含联系信息的DataFrame
data = {'contact': ['[email protected]', '[email protected]', '[email protected]']}
df = pd.DataFrame(data)

# 使用正则表达式提取电子邮件地址
df['email'] = df['contact'].str.extract(r'([a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,})')
print(df)

输出：

                contact               email
0     [email protected]     [email protected]
1  [email protected]  [email protected]
2   [email protected]   [email protected]
注意

正则表达式的模式[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}用于匹配常见的电子邮件格式。请注意，这只是一个简单的示例，实际应用中可能需要更复杂的模式来匹配所有有效的电子邮件地址。

4. 总结​

在Pandas中，正则表达式是一个强大的工具，可以帮助我们高效地处理字符串数据。通过str.contains()、str.extract()和str.replace()等方法，我们可以轻松地进行字符串匹配、提取和替换操作。掌握这些技巧将极大地提升你在数据清洗和变换中的效率。

5. 附加资源与练习​

  • 练习1：创建一个包含电话号码的DataFrame，并使用正则表达式提取所有以“+1”开头的电话号码。
  • 练习2：使用正则表达式将DataFrame中所有包含“error”的字符串替换为“warning”。
  • 附加资源：

通过不断练习和探索，你将能够熟练地在Pandas中使用正则表达式来处理各种字符串数据。