تقسيم البيانات

طريقان إلى نفس الفكرة

قبل أن تبدأ

الفكرة الجوهرية

الرقم الذي تقيسه على بيانات رآها النموذج لا يقول شيئًا عن المستقبل. تبني هنا التقسيم إلى ثلاثة أجزاء، ثم ترى كيف يتسرّب الجواب، ثم تقيس بأمان بالتحقّق المتقاطع، ثم تقسم بالزمن.

1ثلاثة أجزاء، لكل جزء وظيفة

التدريب لتعلّم الأوزان، والتحقّق لاختيار النموذج والإعدادات، والاختبار لرقم نهائي واحد. انظر إلى الرسم: عدد الصفوف في كل جزء من بيانات سرطان الثدي.

التدريب يتعلّم منه النموذج. التحقّق تختار عليه بين النماذج والإعدادات. الاختبار تفتحه مرة واحدة في النهاية لتعرف الرقم الذي ستعلنه. نقسم بـtrain_test_split مرتين، مع stratify حتى تبقى نسبة الفئات واحدة في الأجزاء الثلاثة.

from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split

X, y = load_breast_cancer(return_X_y=True)
X_rest, X_test, y_rest, y_test = train_test_split(X, y, test_size=0.2, random_state=0, stratify=y)
X_train, X_val, y_train, y_val = train_test_split(X_rest, y_rest, test_size=0.25, random_state=0, stratify=y_rest)
for name, part in [("train", y_train), ("val", y_val), ("test", y_test)]:
    print(f"{name:5} rows={len(part):3} positive={part.mean():.2f}")

60% و20% و20%، ونسبة الحالات الإيجابية 0.62 إلى 0.63 في كل جزء. بدون stratify قد يقع جزء صغير بنسبة مختلفة بالصدفة، فتقارن نماذجك على بيانات لا تشبه الواقع.

2لماذا لا يكفي جزءان

الاختيار نفسه نوع من التدريب. انظر إلى الرسم: تجرّب إعدادات كثيرة وتختار الأفضل على التحقّق، ولا تصل إلى الاختبار إلا مرة واحدة.

إن جرّبت عشرين إعدادًا واخترت الأفضل على بيانات الاختبار، فقد «درّبت» اختيارك عليها. الرقم الفائز متفائل لأنك انتقيته من بين عشرين محاولة. جزء التحقّق يمتصّ هذا الانتقاء، ويبقى الاختبار نظيفًا.

3التسريب: نموذج من ضجيج

التسريب هو وصول معلومة من بيانات التقييم إلى التدريب. أخطر أشكاله معالجة تحدث قبل التقسيم.

بيانات عشوائية تمامًا: ألفا عمود من أرقام عشوائية، ومخرج عشوائي. لا يوجد أي نمط حقيقي، فأي نموذج صادق يجب أن يحصل على نحو 50%. لاحظ ماذا يحدث عندما نختار «أفضل» عشرة أعمدة قبل التقسيم.

import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

rng = np.random.default_rng(0)
X = rng.normal(size=(100, 2000))
y = rng.integers(0, 2, size=100)


def top_features(X, y, k=10):
    corr = np.abs([np.corrcoef(X[:, j], y)[0, 1] for j in range(X.shape[1])])
    return np.argsort(corr)[-k:]


best = top_features(X, y)
X_tr, X_te, y_tr, y_te = train_test_split(X[:, best], y, test_size=0.5, random_state=0)
leaky = LogisticRegression().fit(X_tr, y_tr).score(X_te, y_te)

X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.5, random_state=0)
best = top_features(X_tr, y_tr)
honest = LogisticRegression().fit(X_tr[:, best], y_tr).score(X_te[:, best], y_te)

print(f"leaky accuracy on pure noise:  {leaky:.2f}")
print(f"honest accuracy on pure noise: {honest:.2f}")

74% على ضجيج خالص. السبب: اختيار الأعمدة رأى الاختبار، فاختار الأعمدة التي تصادف أنها ترتبط بمخرجات الاختبار. أما الطريقة الصادقة، التي تختار من نصف التدريب فقط، فتعطي 46%، أي الصدفة كما يجب. لو نشرت النموذج الأول لانهار فورًا.

انظر إلى الرسم مرة أخرى: الكود يعمل والرقم ممتاز، ولا شيء يقول إن هناك خطأ. لذلك تبحث عن التسريب عمدًا، والقاعدة بسيطة: قسّم أولًا، ثم افعل كل شيء آخر على التدريب وحده.

4التحقّق المتقاطع

رقم واحد من تقسيم واحد قد يكون حظًّا. التحقّق المتقاطع يقسم البيانات إلى خمسة أجزاء، ويجعل كل جزء تحقّقًا مرة.

make_pipeline يربط المعالجة بالنموذج، فيُحسب التوحيد داخل كل جزء تدريب على حدة. هذه الطريقة الآمنة الوحيدة لاستخدام التحقّق المتقاطع مع أي معالجة.

from sklearn.datasets import load_breast_cancer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

X, y = load_breast_cancer(return_X_y=True)
model = make_pipeline(StandardScaler(), LogisticRegression(max_iter=1000))
scores = cross_val_score(model, X, y, cv=5)
print("folds:", [round(float(s), 3) for s in scores])
print(f"mean={scores.mean():.3f} std={scores.std():.3f}")

خمس نتائج بين 0.974 و0.991. الانحراف 0.007 يقول إن الفرق بين نموذجين أقل من نحو 0.01 قد يكون صدفة تقسيم لا تحسّنًا حقيقيًا. اكتب المتوسط والانحراف معًا دائمًا.

5التقسيم بالزمن

إذا كان النموذج سيعمل على المستقبل، كالمبيعات أو الاحتيال، فالتقسيم العشوائي يُريه الغد ليتنبّأ بالأمس. درّب على الماضي، وقيّم على ما بعده.

import pandas as pd

days = pd.date_range("2026-01-01", periods=10, freq="D")
df = pd.DataFrame({"day": days, "sales": [12, 15, 14, 18, 20, 19, 23, 25, 24, 28]})
cut = int(len(df) * 0.7)
train, test = df.iloc[:cut], df.iloc[cut:]
print("train:", train.day.min().date(), "->", train.day.max().date())
print("test: ", test.day.min().date(), "->", test.day.max().date())
print("no future row in train:", train.day.max() < test.day.min())

رتّب حسب الزمن ثم اقطع، بلا خلط. للتحقّق المتقاطع الزمني يوفّر scikit-learn الأداة TimeSeriesSplit التي تدرّب دائمًا على الماضي وتقيّم على ما يليه.

كيف يعمل، خطوة بخطوة: كيف تقسم البيانات دون تسريب

مثال محلول

تخيّل طالبًا رأى أسئلة الاختبار قبله. علامته الكاملة لا تخبرك بشيء عن فهمه. النموذج نفس الشيء: يجب أن تحتفظ ببيانات لم يرها أبدًا لتقيسه عليها.

جرّب بلا كود

خرافة مقابل حقيقة

جرّب بنفسك

بطاقات مراجعة سريعة

تحقق من فهمك