مشروع: تصنيف غير متوازن

طريقان إلى نفس الفكرة

قبل أن تبدأ

الفكرة الجوهرية

تجمع هنا المسار كله في تسليم واحد. تبدأ بخط الأساس، ثم تقارن نموذجين بالمقياس الصحيح، ثم تختار العتبة على التحقّق، ثم تكتب تقريرًا يقنع بالأرقام.

1خط الأساس أولًا

3% فقط من المعاملات احتيال. انظر إلى الرسم: في مجموعة الاختبار 96 حالة من 3000، شريط رفيع بجانب الأغلبية.

from sklearn.datasets import make_classification
from sklearn.dummy import DummyClassifier
from sklearn.metrics import average_precision_score
from sklearn.model_selection import train_test_split

X, y = make_classification(n_samples=10000, n_features=12, n_informative=6, weights=[0.97], flip_y=0.005, class_sep=1.2, random_state=7)
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.3, random_state=7, stratify=y)
print(f"positives in test: {y_te.sum()} of {len(y_te)}")

baseline = DummyClassifier(strategy="most_frequent").fit(X_tr, y_tr)
print(f"baseline accuracy: {baseline.score(X_te, y_te):.3f}")
print(f"baseline PR-AUC:   {average_precision_score(y_te, baseline.predict_proba(X_te)[:, 1]):.3f}")

دقة 96.8% بلا أي ذكاء. ومساحة منحنى الدقة والاستدعاء PR-AUC تساوي 0.032، أي نسبة الإيجابيات بالضبط، وهذا هو خط أساس هذا المقياس دائمًا. من الآن، كل نموذج يُقارن بـ0.032 لا بـ96.8%.

اكتب هذا الرقم في أول سطر من التقرير. PR-AUC يقيس جودة ترتيب الحالات النادرة بغضّ النظر عن العتبة، فيكشف فورًا إن كان النموذج يفعل شيئًا.

2نموذجان بنفس المقاييس

لا تجرّب عشرين نموذجًا، جرّب اثنين جيدًا: انحدار لوجستي مرجعًا قابلًا للتفسير، وتعزيز متدرّج مرشّحًا قويًا.

نفس التقسيم، ونموذجان، ونسخة من الانحدار اللوجستي بأوزان متوازنة للفئات، وهي الحيلة الأشهر للبيانات غير المتوازنة.

from sklearn.datasets import make_classification
from sklearn.ensemble import HistGradientBoostingClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import average_precision_score, precision_score, recall_score
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

X, y = make_classification(n_samples=10000, n_features=12, n_informative=6, weights=[0.97], flip_y=0.005, class_sep=1.2, random_state=7)
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.3, random_state=7, stratify=y)

models = {
    "logistic": make_pipeline(StandardScaler(), LogisticRegression(max_iter=1000)),
    "logistic balanced": make_pipeline(StandardScaler(), LogisticRegression(max_iter=1000, class_weight="balanced")),
    "boosting": HistGradientBoostingClassifier(random_state=7),
}
print(f"{'model':18} PR-AUC  precision recall")
for name, model in models.items():
    model.fit(X_tr, y_tr)
    proba = model.predict_proba(X_te)[:, 1]
    pred = (proba >= 0.5).astype(int)
    print(f"{name:18} {average_precision_score(y_te, proba):.3f}   {precision_score(y_te, pred, zero_division=0):.2f}      {recall_score(y_te, pred):.2f}")

ثلاث قصص في ثلاثة أسطر. الانحدار اللوجستي العادي دقيق تمامًا حين ينبّه لكنه يلتقط 7% فقط من الحالات. الأوزان المتوازنة رفعت الاستدعاء إلى 57% لكن 94% من تنبيهاتها كاذبة، والأسوأ أن PR-AUC انخفض، فالحيلة لم تحسّن الترتيب بل حرّكت العتبة فقط. التعزيز بالميل PR-AUC عنده 0.729، أي أكثر من ضعف أفضل نموذج خطي، لأن البيانات فيها علاقات غير خطية.

انظر إلى الرسم: الأوزان الموزونة أنزلت PR-AUC، والتعزيز أكثر من ضعف أفضل نموذج خطي.

3العتبة على التحقّق

العتبة إعداد مثل أي إعداد آخر، فتختارها على التحقّق بقيد مكتوب، ثم تطبّقها على الاختبار كما هي. انظر إلى الرسم: الترتيب لا يتغيّر.

القيد التجاري: يجب التقاط 70% على الأقل من حالات الاحتيال. من بين كل العتبات التي تحقّق ذلك على التحقّق، نختار التي تعطي أعلى دقة إيجابية، ثم نطبّقها على الاختبار دون تعديل.

import numpy as np
from sklearn.datasets import make_classification
from sklearn.ensemble import HistGradientBoostingClassifier
from sklearn.metrics import precision_recall_curve
from sklearn.model_selection import train_test_split

X, y = make_classification(n_samples=10000, n_features=12, n_informative=6, weights=[0.97], flip_y=0.005, class_sep=1.2, random_state=7)
X_rest, X_te, y_rest, y_te = train_test_split(X, y, test_size=0.3, random_state=7, stratify=y)
X_tr, X_val, y_tr, y_val = train_test_split(X_rest, y_rest, test_size=0.25, random_state=7, stratify=y_rest)

model = HistGradientBoostingClassifier(random_state=7).fit(X_tr, y_tr)
precision, recall, thresholds = precision_recall_curve(y_val, model.predict_proba(X_val)[:, 1])
ok = recall[:-1] >= 0.7
best = np.argmax(np.where(ok, precision[:-1], -1))
t = thresholds[best]
print(f"threshold chosen on validation: {t:.3f}")

pred = (model.predict_proba(X_te)[:, 1] >= t).astype(int)
tp = int(((pred == 1) & (y_te == 1)).sum())
fp = int(((pred == 1) & (y_te == 0)).sum())
fn = int(((pred == 0) & (y_te == 1)).sum())
print(f"test: caught {tp} of {tp + fn} positives, {fp} false alarms")

العتبة المختارة 0.034، بعيدة جدًّا عن 0.5، وهذا طبيعي في البيانات النادرة لأن النموذج نادرًا ما يكون واثقًا من الفئة النادرة. على الاختبار: التقطنا 66 حالة من 96 (69%، قريب من هدف 70%) مقابل 33 إنذارًا كاذبًا من نحو 2900 معاملة سليمة. هذا السطر بالضبط هو ما يُكتب في التقرير، لأن مديرًا يفهم «66 من 96 بـ33 إنذارًا كاذبًا» ولا يفهم «PR-AUC 0.729».

4تقرير الصفحة الواحدة

التقرير المقنع أرقام محدّدة بمقارنة، لا صفات. انظر إلى الرسم: خمسة أجزاء في صفحة واحدة.

اكتب السطر الذي يفهمه المدير: التقطنا 66 من 96 حالة احتيال مع 33 إنذارًا كاذبًا. ثم اذكر مثالين على الأقل فشل فيهما النموذج، مع تفسير محتمل.

كيف يعمل، خطوة بخطوة: كيف تبني تجربة المشروع من البداية إلى التقرير

مثال محلول

المسألة: 3% فقط من المعاملات احتيال. التسليم دفتر أو سكربت يشغّل التجربة كاملة من البيانات إلى الجدول النهائي، وتقرير من صفحة واحدة. نبدأ بالخطوة التي يتخطّاها الجميع.

جرّب بلا كود

خرافة مقابل حقيقة

جرّب بنفسك

بطاقات مراجعة سريعة

تحقق من فهمك