التدريب المسبق

طريقان إلى نفس الفكرة

قبل أن تبدأ

الفكرة الجوهرية

في هذا الدرس ترى كيف يصنع النص عناوينه بنفسه، ثم كيف تقرأ الخسارة، ثم الهدف في سطر PyTorch، وأخيرًا كم يكلّف التدريب.

1الهدف: الرمز التالي

كل نموذج لغة كبير يتدرّب على مهمة واحدة: خمّن الرمز التالي. لا يحتاج أحد أن يضع عناوين، فالمدخل هو كل ما قبل الموضع، والهدف هو الرمز عنده.

tokens = ["<s>", "the", "cat", "sat", "on", "the", "mat"]
inputs, targets = tokens[:-1], tokens[1:]
for i in range(len(inputs)):
    print(f"given {inputs[:i + 1]!s:45} predict {targets[i]!r}")

في الكود الحقيقي لا نصنع هذه الأمثلة واحدًا واحدًا. نأخذ التسلسل كاملًا مدخلًا، ونفس التسلسل مُزاحًا بخطوة هدفًا، والقناع السببي يضمن أن كل موضع لا يرى إلا ما قبله. فتسلسل من 2048 رمزًا يعطي 2048 مثالًا في تمريرة واحدة.

2الخسارة ومرجعها

نقيس الجودة بالخسارة: متوسط −log للاحتمال الذي أعطاه النموذج للرمز الصحيح. التخمين المتساوي يعطي ln(V)، وأي نموذج يتعلّم شيئًا ينزل تحتها.

أبسط نموذج لغوي ممكن: يتنبّأ بالحرف التالي من الحرف الحالي فقط، بعدّ الأزواج. نقيسه بالخسارة (Cross-entropy) على نص لم يره، ونقارنه بالتخمين العشوائي.

import math
from collections import Counter

text = ("العلم نور والجهل ظلام. من طلب العلم سهر الليالي. "
        "الكتاب خير جليس في الزمان. القراءة تفتح أبواب المعرفة. "
        "من جد وجد ومن زرع حصد. العقل السليم في الجسم السليم. "
        "الصبر مفتاح الفرج. خير الكلام ما قل ودل. ")
split = int(len(text) * 0.8)
train, test = text[:split], text[split:]
vocab = sorted(set(text))
V = len(vocab)

pairs = Counter(zip(train, train[1:]))
firsts = Counter(train[:-1])

def prob(a, b):
    return (pairs[(a, b)] + 1) / (firsts[a] + V)   # add-one smoothing

loss = -sum(math.log(prob(a, b)) for a, b in zip(test, test[1:])) / (len(test) - 1)
print("vocabulary:", V, "characters")
print(f"loss of guessing uniformly: {math.log(V):.2f}")
print(f"loss of the bigram model:   {loss:.2f}")

def generate(start, n):
    out = start
    for _ in range(n):
        a = out[-1]
        out += max(vocab, key=lambda b: prob(a, b))
    return out

print("greedy text:", generate("ال", 30))

الخسارة نزلت من 3.33 (تخمين عشوائي بين 28 حرفًا) إلى 2.91. تحسّن، لكن النص المولَّد يدور في حلقة: «الي الي الي». النموذج يعرف أن «ي» تأتي كثيرًا بعد «ل»، ولا يعرف شيئًا عمّا قبل ذلك. المحوّل يحلّ هذا بالنظر إلى كل ما سبق بدل حرف واحد.

3الهدف في PyTorch

الإزاحة التي رأيتها في الرسم الأول والخسارة التي قرأتها للتو تجتمعان في الكود في ثلاثة أسطر.

الإزاحة بخطوة ثم الخسارة. هذا السطر هو كل «التدريب المسبق» من حيث الكود.

import torch.nn.functional as F

# tokens: (batch, T + 1) integer ids from the text
x, y = tokens[:, :-1], tokens[:, 1:]
logits = model(x)                              # (batch, T, vocab)
loss = F.cross_entropy(logits.reshape(-1, logits.size(-1)), y.reshape(-1))

reshape(-1, vocab) يحوّل كل موضع في كل تسلسل إلى مثال تصنيف مستقل بين vocab فئة. ستكتب هذا بنفسك في المحوّل الذي نبنيه في الدرس القادم.

4الثمن: 6 × N × D

الهدف بسيط، لكن ثمنه يكبر مع شيئين معًا: عدد المعاملات N وعدد رموز التدريب D. ضاعف أيًّا منهما يتضاعف الثمن.

القاعدة: كل معامل يحتاج نحو ست عمليات لكل رمز (اثنتان للتمرير الأمامي وأربع للخلفي). نفترض بطاقة تؤدّي 400 تريليون عملية في الثانية وتعمل بكفاءة 40%.

def train_flops(params, tokens):
    return 6 * params * tokens            # forward + backward, the usual estimate

gpu_flops = 400e12 * 0.4                  # a modern GPU at 40% utilisation
for name, n, d in [("our small model", 1e6, 5e6),
                   ("a 1B model", 1e9, 20e9),
                   ("a 7B model", 7e9, 2e12),
                   ("a 70B model", 70e9, 15e12)]:
    f = train_flops(n, d)
    seconds = f / gpu_flops
    when = f"{seconds:.1f} seconds" if seconds < 3600 else f"{seconds / 3600:,.0f} GPU-hours"
    print(f"{name:16} {f:9.1e} FLOPs  ~ {when}")

نموذجنا الصغير في المشروع ثانية تقريبًا على بطاقة حديثة (ودقائق على معالج عادي). ونموذج بـ70 مليارًا نحو 11 مليون ساعة بطاقة، أي آلاف البطاقات لأشهر. هذا الفرق هو سبب أن عملك الحقيقي سيكون غالبًا ضبط النماذج الموجودة أو استدعاءها، لا تدريبها من الصفر.

لهذا تدرّب شركات قليلة النماذج الكبيرة من الصفر، ويضبطها الباقون أو يستدعونها.

كيف يعمل، خطوة بخطوة: كيف تصير جملة واحدة أمثلة تدريب

أعمق قليلًا

قوانين التوسّع (Scaling laws) وجدت أن الخسارة تنخفض بانتظام يمكن التنبّؤ به مع زيادة المعاملات والبيانات والحساب. ووجد بحث Chinchilla أن العدد الأمثل للرموز نحو 20 ضعف عدد المعاملات لميزانية حساب معيّنة. النماذج الحديثة تتجاوز هذا كثيرًا عمدًا، لأن نموذجًا أصغر مدرّبًا أطول أرخص في الاستخدام بعد ذلك.

مثال محلول

الجميل في هذا الهدف أن البيانات تصنع تسمياتها بنفسها. أي نص في العالم هو آلاف أمثلة تدريب جاهزة: المدخل كل ما قبل الموضع، والهدف الرمز في الموضع.

جرّب بلا كود

خرافة مقابل حقيقة

جرّب بنفسك

بطاقات مراجعة سريعة

تحقق من فهمك