خطوط التدريب وتتبع التجارب

طريقان إلى نفس الفكرة

قبل أن تبدأ

الفكرة الجوهرية

1سجل تجارب بنفسك

قبل الأدوات، الفكرة: كل تشغيل يسجل بصمة البيانات والإعدادات والنتيجة. هنا «تدريب» بسيط حتمي وسجل في الذاكرة:

import hashlib
import json
import random

DATA = [(x, 2 * x + 1) for x in range(20)]
runs = []

def fingerprint(data):
    return hashlib.sha256(json.dumps(data).encode()).hexdigest()[:10]

def train(lr, epochs, seed):
    rng = random.Random(seed)
    w, b = rng.random(), rng.random()
    for _ in range(epochs):
        for x, y in DATA:
            err = (w * x + b) - y
            w -= lr * err * x
            b -= lr * err
    loss = sum(((w * x + b) - y) ** 2 for x, y in DATA) / len(DATA)
    return round(loss, 6)

for lr in (0.001, 0.003):
    params = {"lr": lr, "epochs": 30, "seed": 42}
    runs.append({"data": fingerprint(DATA), **params, "loss": train(**params)})

best = min(runs, key=lambda r: r["loss"])
for r in runs:
    print(r)
print("best:", best["lr"], "reproduced:", train(best["lr"], 30, 42) == best["loss"])

2MLflow

نفس الفكرة بأداة حقيقية: كل start_run يسجل المعاملات والمقاييس والنموذج، وتقارن التجارب في واجهة ويب:

import mlflow
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score

mlflow.set_experiment("reviews-sentiment")
with mlflow.start_run():
    params = {"C": 0.5, "max_iter": 500}
    mlflow.log_params(params)
    mlflow.set_tag("data_version", "reviews-2026-10")
    model = LogisticRegression(**params).fit(X_train, y_train)
    mlflow.log_metric("accuracy", accuracy_score(y_test, model.predict(X_test)))
    mlflow.sklearn.log_model(model, "model", registered_model_name="sentiment")

# mlflow ui  ->  http://localhost:5000

3إصدارات البيانات

البيانات تتغير، والنموذج يتغير معها. سجّل بصمة البيانات مع كل تجربة، وللملفات الكبيرة استخدم DVC الذي يحفظ مؤشرًا صغيرًا في Git والملف الضخم في تخزين منفصل:

pip install dvc
dvc init
dvc add data/reviews.csv          # creates data/reviews.csv.dvc (tracked by git)
git add data/reviews.csv.dvc .gitignore
git commit -m "Track reviews dataset v1"
dvc remote add -d store s3://my-bucket/dvc
dvc push

مثال محلول

المسألة: دقة النموذج في الإنتاج 79% والفريق يتذكر 87%. التحقيق: سجل MLflow يظهر أن 87% كانت على بيانات reviews-2026-08 وبذرة 1، والنموذج المنشور دُرّب على reviews-2026-10 بعد تغيير في التنظيف أزال الإيموجي. الحل: إعادة التدريب بالخط المسجل، وإضافة اختبار في الخط يرفض أي نموذج دقته أقل من الإصدار الحالي.

خرافة مقابل حقيقة

اختبر فهمك

بطاقات مراجعة سريعة

تحقق من فهمك