我们如何使用 Python Pandas 库检测重复标签？

Pandas 用于处理大型数据集，因为大型数据表的列和行都用一些名称进行索引，这些名称称为标签。当我们处理数据集时，数据集中可能存在一些重复的标签。

重复可能导致对我们的数据做出错误的结论，它可能会影响我们想要的输出。这里我们谈论的是标签重复，只不过是重复了 1 次以上的行和列索引名称。

让我们举一个例子来识别 DataFrame 中的重复标签。

识别列标签中的重复项

示例

df1 = pd.DataFrame([[6, 1, 2, 7], [8, 4, 5,9]], columns=["A", "A", "B","C"])
print(df1)
print(df1.columns.is_unique)

解释

创建了一个 2X4 形状的 DataFrame。为了验证列中是否存在任何重复的标签，这里我们使用 DataFrame.columns.is_unique。这将根据重复项的存在返回一个布尔数据，True 或 False。

输出结果

    A   A   B   C
0   6   1   2   7
1   8   4   5   9
False

此输出块表示 DataFrame df，布尔值 False 表示 DataFrame df 的列中存在重复标签。

通过使用duplicated 方法，我们还可以在DataFrame 中获取重复的标签。下面块。

df1.columns[~df1.columns.duplicated()]

df1.columns 仅将列名作为数组，该duplicated()方法为您提供一个表示重复项的布尔值数组。通过使用上面的代码，我们可以获得一个唯一的列标签列表。

Index(['A', 'B', 'C'], dtype='object')

识别索引标签中的重复项

与上述识别列标签中重复项的过程相同，我们也可以识别索引（行）中的重复项。

示例

f = pd.DataFrame({"A": [0, 1, 2, 3, 4]}, index=["x", "y", "x", "y","z"])
print(f)
print()
print(f.index.duplicated()) # getting boolean string
unique_f = f[~f.index.duplicated()] # filtering duplicates
print()
print(unique_f) # removed duplicated data

解释

DataFrame “f” 是在索引中使用一些重复数据创建的。我们可以使用 f 来识别重复项。它将返回一个代表重复索引的布尔值列表。通过使用这种重复的方法，我们可以从 DataFrame 中删除重复的标签。index.duplicated()

输出结果

   A
x   0
y   1
x   2
y   3
z   4

[False False True True False]

   A
x   0
y   1
z   4

第一个块是具有重复值的 DataFrame “f”，布尔值数组表示重复。最后一个块代表来自我们的 DataFrame “f”的唯一索引标签。