JSON 중복 항목 제거

# sample.json

[
    {
        "name": "John Doe",
        "class": "English"
    },
    {
        "name": "Jack Black",
        "class": "Music"
    },
    {
        "name": "Eminem",
        "class": "Music"
    },
    {
        "name": "John Doe",
        "class": "Music"
    }
]

위와 같은 JSON 파일이 있다. 

John Doe 라는 사람이 2번 들어가있다.

 

Python으로 중복되는 항목을 탐색해보자.

# duplicate.py

import json

# Load the JSON data from your file
with open('teaListEng2.json', 'r') as json_file:
    data = json.load(json_file)

# Create a set to store unique "name" values
unique_names = set()
duplicate_names = []

# Check for duplicate "name" values
for item in data:
    name = item.get('name')
    if name in unique_names:
        duplicate_names.append(name)
    else:
        unique_names.add(name)

# Print the duplicate "name" values, if any
if duplicate_names:
    print("Duplicate 'name' values found:")
    for name in duplicate_names:
        print(name)
else:
    print("No duplicate 'name' values found.")