平衡訓練數(shù)據(jù)是數(shù)據(jù)預處理的重要組成部分。數(shù)據(jù)不平衡是指數(shù)據(jù)集中的類分布不均，這可能會導致模型訓練的潛在風險。有幾種方法可以平衡訓練數(shù)據(jù)和克服不平衡數(shù)據(jù)，包括重采樣和權重平衡。想象一下，如果有一個模型可以識別圖片中是狗還是貓。在測試過程中，模型正確識別了圖片中的所有狗，但沒有識別出貓。在查看訓練數(shù)據(jù)集時，意識到有10張狗的圖片和100張貓的圖片。這是數(shù)據(jù)不平衡的一個例子，其中每個對象類的數(shù)據(jù)集沒有可比數(shù)量的實例。

你需要知道的事實是，不平衡的數(shù)據(jù)無處不在，無法避免數(shù)據(jù)集不平衡。考慮一個調查電動車車主對電動車維修費意見的例子。因為大部分開電動車的人年收入都很高，所以80%的結果是“收費還算合理”。

換句話說，數(shù)據(jù)集是有偏見的。一個訓練來預測調查反應的模型通常會預測一個人，無論收入、駕駛傾向或汽車偏好如何，都會認為費用低廉。

在檢查犯罪數(shù)據(jù)時也會出現(xiàn)同樣的問題。在使用人工智能 (AI) 預測犯罪行為時，不平衡的犯罪數(shù)據(jù)集會使數(shù)據(jù)集中存在的種族和性別偏見永久化。在面對不平衡數(shù)據(jù)時，使用方法改進訓練過程至關重要，平衡訓練數(shù)據(jù)有兩種主要方法：關注數(shù)據(jù)集或權重。

在我們不想改變模型的情況下，我們可以簡單地進行數(shù)據(jù)預處理。換句話說，我們應該查看我們的數(shù)據(jù)集，了解數(shù)據(jù)分布，并決定如何重新采樣我們的數(shù)據(jù)，這是平衡訓練數(shù)據(jù)的一步。這里，有兩種可能的方法：

過/欠采樣：在少數(shù)類中增加樣本或在多數(shù)類中減少樣本。

聚類技術：這類似于重采樣，但不是將樣本添加到不同的類中，我們首先找到每個類中的子類或子簇，然后復制子類中的樣本以確保大小相等。

權重平衡是平衡訓練數(shù)據(jù)和處理不平衡數(shù)據(jù)的另一種好方法，這是通過乘以 logits 將類權重添加到損失函數(shù)來完成的。我們首先定義類權重以賦予少數(shù)類額外的權重，然后將類權重乘以損失函數(shù)。在 Tensorflow 中，您可以執(zhí)行以下操作：

loss = tf.nn.softmax_cross_entropy_with_logits(labels, pred)

weighted_loss = loss * class_weights

為什么我們要將權重乘以原始損失函數(shù)?這使得損失成為加權平均值，其中每個樣本的權重由其對應類的 class_weight 指定。

在 Modzy 平衡訓練數(shù)據(jù)

在 Modzy，我們的數(shù)據(jù)科學家將數(shù)據(jù)預處理視為一項 關鍵任務。在訓練我們的模型之前，我們確保我們的數(shù)據(jù)集不會產生潛在風險并且我們的模型是穩(wěn)健的。

這對您意味著什么

在 AI 激增的世界中，重要的是我們要特別關注訓練數(shù)據(jù)，以降低有偏差輸出的風險。

上述就是關于如何解決不平衡數(shù)據(jù)集的問題的全部內容，想了解更多關于人工智能的信息，請繼續(xù)關注中培偉業(yè)。