Dataset وDataLoader

طريقان إلى نفس الفكرة

قبل أن تبدأ

الفكرة الجوهرية

النموذج لا يرى كل البيانات مرة واحدة، بل دفعات. في هذا الدرس تبني Dataset يعطي مثالًا واحدًا، ثم DataLoader يجمعها في دفعات، ثم ترى أثر حجم الدفعة، ثم لماذا نخلط.

1Dataset: مثال واحد في كل مرة

Dataset أي صنف فيه دالتان: __len__ تقول كم مثالًا عندك، و__getitem__ تعيد المثال رقم i كموترات. انظر إلى الرسم: رقم يدخل، ومثال جاهز يخرج.

في __init__ تحفظ قائمة المسارات فقط، فلا تُحمَّل كل البيانات في الذاكرة. والتعديل العشوائي للصور يحدث داخل __getitem__ أيضًا.

2DataLoader: دفعات وخلط وتوازٍ

DataLoader يحوّل Dataset إلى دفعات، ويخلط الترتيب في كل دورة إن طلبت shuffle=True. انظر إلى الرسم: كل دورة تبدأ بترتيب جديد، ثم تمرّ على الدفعات واحدة بعد الأخرى.

هذا الكود يحتاج PyTorch على جهازك، فالناتج المعروض مسجَّل من تشغيل حقيقي. ثبّته بـpip install torch وشغّله بنفسك.

import torch
from torch.utils.data import DataLoader, Dataset


class Reviews(Dataset):
    def __init__(self, texts, labels):
        self.texts = texts
        self.labels = labels

    def __len__(self):
        return len(self.texts)

    def __getitem__(self, i):
        length = torch.tensor([len(self.texts[i])], dtype=torch.float32)
        return length, torch.tensor(self.labels[i])


data = Reviews(["ممتاز", "سيئ جدا", "رائع وسريع", "لا أنصح", "جيد"], [1, 0, 1, 0, 1])
print("size:", len(data))
print("item 1:", data[1])
torch.manual_seed(0)
for x, y in DataLoader(data, batch_size=2, shuffle=True):
    print(tuple(x.shape), y.tolist())

خمسة أمثلة ودفعات من اثنين، فالدفعة الأخيرة فيها مثال واحد. السمة هنا بدائية (طول النص) لأن الهدف هو الشكل: كل دفعة (2, 1) من السمات ومعها قائمة الفئات. في الواقع __getitem__ هو المكان الذي تقرأ فيه صورة من القرص أو ترمّز جملة.

مع num_workers=4 تجهّز أربع عمليات الدفعات القادمة بينما تتدرّب البطاقة على الحالية. وdrop_last=True يحذف الدفعة الأخيرة الصغيرة إن أزعجتك.

3حجم الدفعة يغيّر الميل

دفعة صغيرة تعني خطوات أكثر وميلًا أكثر ضجيجًا. دفعة كبيرة تعني ميلًا أدق وخطوات أقل وذاكرة أكبر. انظر إلى الرسم: تشتّت الميل بين الدفعات لنفس النموذج.

نحسب ميل نفس النموذج (عند وزن صفر) على كل دفعة في دورة واحدة، ونقيس كم يتفاوت بين الدفعات.

import numpy as np

rng = np.random.default_rng(0)
X = rng.uniform(-2, 2, size=1024)
y = 3 * X - 1 + rng.normal(scale=0.5, size=1024)

for batch_size in [8, 128, 1024]:
    grads = []
    for start in range(0, 1024, batch_size):
        xb, yb = X[start:start + batch_size], y[start:start + batch_size]
        grads.append(2 * ((0.0 * xb - yb) * xb).mean())
    print(f"batch={batch_size:4} steps per epoch={len(grads):3} gradient spread={np.std(grads):.3f}")

بدفعة 8: 128 خطوة في الدورة، وكل ميل يختلف عن غيره كثيرًا (تفاوت 2.8). بدفعة 128: ثماني خطوات وتفاوت 0.69. بالبيانات كلها: خطوة واحدة دقيقة تمامًا. الضجيج في الدفعات الصغيرة ليس عيبًا دائمًا، فهو يساعد النموذج أحيانًا على الخروج من مناطق مسطّحة، لكنه يتطلّب معدّل تعلّم أصغر.

4لماذا نخلط بيانات التدريب

البيانات المرتّبة، حسب الفئة أو الزمن، تعطي دفعات متحيّزة. الخلط في كل دورة يجعل كل دفعة صورة مصغّرة من البيانات كلها.

import random

labels = [0] * 6 + [1] * 6
batch_size = 4
print("no shuffle:")
for start in range(0, len(labels), batch_size):
    print("  ", labels[start:start + batch_size])

random.seed(1)
order = list(range(len(labels)))
random.shuffle(order)
print("shuffled:")
for start in range(0, len(order), batch_size):
    print("  ", [labels[i] for i in order[start:start + batch_size]])

بلا خلط، الدفعة الأولى كلها فئة 0 والأخيرة كلها فئة 1. النموذج يتعلّم «قل 0 دائمًا» ثم يُجبر على «قل 1 دائمًا»، ويتأرجح. بعد الخلط كل دفعة فيها الفئتان، فيرى الميل الصورة كاملة في كل خطوة.

اخلط التدريب فقط. التحقّق والاختبار يبقيان بترتيب ثابت، حتى تكون النتائج قابلة للمقارنة وكل تنبّؤ يعود إلى صفّه.

كيف يعمل، خطوة بخطوة: كيف تصل البيانات من القرص إلى النموذج

مثال محلول

Dataset في PyTorch أي صنف فيه دالتان: __len__ تقول كم مثالًا عندك، و__getitem__ تعطي المثال رقم i كموترات. هذا كل ما يحتاجه DataLoader.

جرّب بلا كود

خرافة مقابل حقيقة

جرّب بنفسك

بطاقات مراجعة سريعة

تحقق من فهمك