الموضع

طريقان إلى نفس الفكرة

قبل أن تبدأ

الفكرة الجوهرية

في هذا الدرس تثبت أولًا أن الانتباه لا يرى الترتيب، ثم ترى ثلاث طرق لإضافة الموضع: متّجه مُضاف، ثم الترميز الجيبي، ثم RoPE.

1الانتباه لا يرى الترتيب

الانتباه يعامل الجملة كمجموعة كلمات لا كتسلسل. الجملتان في الرسم فيهما الكلمات نفسها بترتيب معكوس.

import numpy as np

rng = np.random.default_rng(0)
d = 4
Wq, Wk, Wv = (rng.normal(size=(d, d)) for _ in range(3))

def attend(x):
    s = (x @ Wq) @ (x @ Wk).T / np.sqrt(d)
    w = np.exp(s - s.max(1, keepdims=True))
    w /= w.sum(1, keepdims=True)
    return w @ (x @ Wv)

emb = {w: rng.normal(size=d) for w in ["dog", "bites", "man"]}
a = np.stack([emb[w] for w in ["dog", "bites", "man"]])
b = np.stack([emb[w] for w in ["man", "bites", "dog"]])

out_a, out_b = attend(a), attend(b)
print("output for 'dog' in sentence A equals 'dog' in sentence B:",
      bool(np.allclose(out_a[0], out_b[2])))
print("same set of outputs, only reordered:",
      bool(np.allclose(np.sort(out_a, 0), np.sort(out_b, 0))))

ناتج كلمة dog هو نفسه سواء كانت فاعلًا في أول الجملة أو مفعولًا في آخرها. الانتباه يعطي نفس النواتج، فقط بترتيب مختلف. أي أن النموذج لا يستطيع التمييز بين من عضّ ومن عُضّ. هذا ما يسمّى «التكافؤ مع التبديل».

2الحل الأول: أضف الموضع

المطلوب أن تبدو الكلمة نفسها مختلفة في موضعين مختلفين. انظر إلى الرسم: «كلب» في الموضع 0 تدخل الكتلة الأولى بمتّجه غير «كلب» في الموضع 2.

أبسط فكرة: متّجه لكل موضع (0، 1، 2، ...) يُضاف إلى تضمين الكلمة قبل الكتلة الأولى. إما أن نتعلّمه كجدول تضمين ثانٍ، كما في GPT-2 وفي المحوّل الذي سنبنيه، وإما أن نحسبه بدوال الجيب كما في المحوّل الأصلي.

3الترميز الجيبي

بدل جدول نتعلّمه، يمكن حساب متّجه كل موضع بدوال الجيب وجيب التمام بترددات مختلفة. لا معاملات فيه، واستعمله المحوّل الأصلي.

import numpy as np

def sinusoidal(T, d):
    pos = np.arange(T)[:, None]
    i = np.arange(0, d, 2)[None, :]
    angle = pos / 10000 ** (i / d)
    pe = np.zeros((T, d))
    pe[:, 0::2] = np.sin(angle)
    pe[:, 1::2] = np.cos(angle)
    return pe

np.set_printoptions(precision=2, suppress=True)
pe = sinusoidal(T=6, d=8)
print(pe + 0.0)
near = float(pe[2] @ pe[3])
far = float(pe[2] @ pe[5])
print(f"position 2 vs 3: {near:.2f}   position 2 vs 5: {far:.2f}")

كل صف موضع، والأعمدة الأولى تتغيّر بسرعة والأخيرة ببطء شديد، مثل عقارب الساعة: الثواني والدقائق والساعات. وتشابه الموضعين 2 و3 (3.54) أعلى من 2 و5 (1.96)، أي أن المواضع القريبة لها متّجهات متشابهة، فيستطيع النموذج تعلّم «القرب».

4RoPE: الدرجة تعتمد على المسافة

الموضع النسبي أنفع من المطلق: «قبلي بثلاث كلمات» أهم من «الموضع 7». RoPE يدير الاستعلام بزاوية موضعه، ويدير المفتاح بزاوية موضعه.

نفس السؤال ونفس المفتاح في مواضع مختلفة. ننظر إلى الدرجة حين تكون المسافة بينهما ثابتة.

import numpy as np

def rope(v, pos, base=10000):
    d = len(v)
    theta = pos / base ** (np.arange(0, d, 2) / d)
    cos, sin = np.cos(theta), np.sin(theta)
    x, y = v[0::2], v[1::2]
    out = np.empty(d)
    out[0::2] = x * cos - y * sin
    out[1::2] = x * sin + y * cos
    return out

q = np.array([1.0, 0.5, -0.3, 0.8])
k = np.array([0.2, -1.0, 0.7, 0.4])

for m, n in [(3, 1), (10, 8), (105, 103), (5, 1)]:
    score = rope(q, m) @ rope(k, n)
    print(f"query at {m:>3}, key at {n:>3}, gap {m - n}: score {score:+.4f}")
print("length unchanged by rotation:", bool(np.isclose(np.linalg.norm(rope(q, 50)), np.linalg.norm(q))))

الأزواج (3، 1) و(10، 8) و(105، 103) بينها مسافة 2، فأعطت نفس الدرجة بالضبط، رغم أن مواضعها المطلقة مختلفة تمامًا. والمسافة 4 أعطت درجة أخرى. هذه الخاصية هي سبب انتشار RoPE: النموذج يتعلّم علاقات نسبية تصلح في أي مكان من النص.

انظر إلى الرسم: الدوران لا يغيّر طول المتّجه، فلا يفسد ما يحمله من معلومات. والدرجة بينهما تعتمد على الزاوية بينهما فقط.

كيف يعمل، خطوة بخطوة: كيف يُدخل RoPE الموضع في الانتباه

أعمق قليلًا

لهذا تبنّت أغلب النماذج المفتوحة الحديثة (Llama وQwen وMistral وغيرها) RoPE. ومع ذلك، حين ترى نموذجًا يعِد بسياق مليون رمز، تذكّر أن «يقبل» لا تعني «يستخدم جيدًا». الأبحاث وجدت أن النماذج تتذكّر أول السياق وآخره أفضل من وسطه، وهذا ما ستقيسه بنفسك في درس هندسة السياق.

مثال محلول

لنثبت أولًا أن المشكلة حقيقية. جملتان بنفس الكلمات بترتيب معكوس، وانتباه بلا أي معلومة موضع.

جرّب بلا كود

خرافة مقابل حقيقة

جرّب بنفسك

بطاقات مراجعة سريعة

تحقق من فهمك