跳到主要内容

Pandas JSON文件处理

JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，广泛用于Web应用和API中。Pandas提供了强大的工具来处理JSON数据，使其成为数据分析和处理的理想选择。本文将介绍如何使用Pandas读取、写入和操作JSON文件。

1. 读取JSON文件​

Pandas提供了read_json()函数来读取JSON文件。该函数可以处理多种格式的JSON数据，包括嵌套的JSON对象。

示例：读取简单的JSON文件​

假设我们有一个名为data.json的文件，内容如下：

[
    {"name": "Alice", "age": 25, "city": "New York"},
    {"name": "Bob", "age": 30, "city": "San Francisco"},
    {"name": "Charlie", "age": 35, "city": "Los Angeles"}
]

我们可以使用以下代码将其读取为Pandas DataFrame：

import pandas as pd

df = pd.read_json('data.json')
print(df)

输出：

      name  age           city
0    Alice   25       New York
1      Bob   30  San Francisco
2  Charlie   35    Los Angeles

读取嵌套的JSON文件​

如果JSON数据是嵌套的，Pandas会自动将其展平为多列。例如，假设我们有以下JSON数据：

[
    {"name": "Alice", "age": 25, "address": {"city": "New York", "zip": "10001"}},
    {"name": "Bob", "age": 30, "address": {"city": "San Francisco", "zip": "94105"}},
    {"name": "Charlie", "age": 35, "address": {"city": "Los Angeles", "zip": "90001"}}
]

读取后，Pandas会将嵌套的address对象展平为两列：

df = pd.read_json('nested_data.json')
print(df)

输出：

      name  age           address.city address.zip
0    Alice   25               New York       10001
1      Bob   30          San Francisco       94105
2  Charlie   35            Los Angeles       90001

2. 写入JSON文件​

Pandas提供了to_json()函数，可以将DataFrame写入JSON文件。你可以选择不同的格式，如records、split、index等。

示例：将DataFrame写入JSON文件​

df.to_json('output.json', orient='records', lines=True)

生成的output.json文件内容：

{"name":"Alice","age":25,"city":"New York"}
{"name":"Bob","age":30,"city":"San Francisco"}
{"name":"Charlie","age":35,"city":"Los Angeles"}
提示

orient参数控制JSON文件的格式。records格式将每一行作为一个JSON对象，split格式将列名和数据分开存储。

3. 操作JSON数据​

Pandas提供了多种方法来操作JSON数据。你可以使用json_normalize()函数来处理复杂的嵌套JSON数据，或者使用apply()函数对JSON列进行自定义操作。

示例：处理嵌套的JSON数据​

假设我们有以下嵌套的JSON数据：

[
    {"name": "Alice", "age": 25, "address": {"city": "New York", "zip": "10001"}},
    {"name": "Bob", "age": 30, "address": {"city": "San Francisco", "zip": "94105"}},
    {"name": "Charlie", "age": 35, "address": {"city": "Los Angeles", "zip": "90001"}}
]

我们可以使用json_normalize()函数将其展平：

import json
from pandas import json_normalize

with open('nested_data.json') as f:
    data = json.load(f)

df = json_normalize(data)
print(df)

输出：

      name  age           address.city address.zip
0    Alice   25               New York       10001
1      Bob   30          San Francisco       94105
2  Charlie   35            Los Angeles       90001

4. 实际案例：处理API返回的JSON数据​

在实际应用中，我们经常需要处理从API返回的JSON数据。假设我们从某个API获取了以下JSON数据：

{
    "status": "success",
    "data": [
        {"name": "Alice", "age": 25, "city": "New York"},
        {"name": "Bob", "age": 30, "city": "San Francisco"},
        {"name": "Charlie", "age": 35, "city": "Los Angeles"}
    ]
}

我们可以使用以下代码提取并处理数据：

import requests
import pandas as pd

response = requests.get('https://api.example.com/data')
data = response.json()

df = pd.DataFrame(data['data'])
print(df)

输出：

      name  age           city
0    Alice   25       New York
1      Bob   30  San Francisco
2  Charlie   35    Los Angeles

5. 总结​

Pandas提供了强大的工具来处理JSON数据，无论是读取、写入还是操作JSON文件，都非常方便。通过本文的学习，你应该能够：

  • 使用read_json()读取JSON文件。
  • 使用to_json()将DataFrame写入JSON文件。
  • 使用json_normalize()处理嵌套的JSON数据。
  • 处理从API返回的JSON数据。

6. 附加资源与练习​

  • 练习1：尝试从某个公开API获取JSON数据，并将其转换为Pandas DataFrame。
  • 练习2：创建一个包含嵌套JSON数据的DataFrame，并将其写入JSON文件。
备注

更多关于Pandas JSON处理的详细信息，请参考Pandas官方文档。