المشتقة والميل

طريقان إلى نفس الفكرة

قبل أن تبدأ

الفكرة الجوهرية

هذا الدرس يبني جملة التدريب كلها بيدك: الميل كانحدار عند نقطة، ثم الخطوة عكسه، ثم طول الخطوة، ثم الميل حين تكون الأوزان كثيرة.

1المشتقة: الميل عند نقطة

خذ خسارة بسيطة: (w - 3) ** 2. انظر إلى الرسم: قيمتها عند w من 0 إلى 6، وقاعها عند 3.

المشتقة تقول: لو حرّكت w قليلًا، فكم تتغيّر الخسارة؟ وإشارتها تخبرك أين الارتفاع. عند w = 0 الميل -6، أي أن الخسارة تنزل كلما زدت w.

2الخطوة عكس الميل

الميل يشير إلى جهة الارتفاع، ونحن نريد النزول، فنأخذ الاتجاه المعاكس له بالضبط. انظر إلى الرسم: الجملة التي يكرّرها كل تدريب.

بمعدّل 0.3 تبدأ من w = 0، والميل -6، فتصير w = 1.8. ثم يصير الميل -2.4 ثم -0.96، فتقصر الخطوات وحدها كلما اقتربت من القاع.

هذا سبب تباطؤ التدريب في نهايته، وليس عيبًا.

3معدّل التعلّم: طول الخطوة

معدّل التعلّم يضرب الميل قبل الخطوة، فيحدّد طولها. انظر إلى الرسم: البُعد عن القاع عند 3 بمعدّلين.

المعدّل 0.1 يقترب ببطء، وبعد اثنتي عشرة خطوة ما زال عند 2.7938. أما 1.1 فيسير في الاتجاه الصحيح بخطوة أطول من المسافة، فيتجاوز القاع حتى يصل إلى -23.7 بخسارة 715.

4الميل في أبعاد كثيرة

الشبكة لها ملايين الأوزان، فالميل متجه بنفس الطول: مشتقة جزئية لكل وزن. انظر إلى الرسم: المرور للأمام يحسب الخسارة، ثم يعود الميل إلى كل طبقة.

ثم تُعدَّل كل الأوزان في خطوة واحدة بنفس القاعدة التي طبّقتها على w وحدها. وبناء هذا المتجه آليًا هو ما تسمّيه المكتبات الاشتقاق التلقائي autograd.

كيف يعمل، خطوة بخطوة: كيف تعمل خطوة نزول واحدة بالميل

مثال محلول

مثال: خمس خطوات بيدك

def gradient(w):
    return 2.0 * (w - 3.0)


w = 0.0
rate = 0.3
for step in range(1, 6):
    g = gradient(w)
    w = w - rate * g
    print(f"step {step}: gradient={g:+.3f} w={w:.3f}")

بدأنا من w = 0 والقاع عند 3. لاحظ أن الميل يصغر كل خطوة: -6.000 ثم -2.400 ثم -0.960‏. كلما قربنا من القاع صار السطح أكثر استواءً، فصارت الخطوات أقصر تلقائيًا بلا أي تدخّل منك. هذا سبب تباطؤ التدريب في نهايته، وليس عيبًا.

مثال: ثلاثة معدّلات تعلّم

def loss(w):
    return (w - 3.0) ** 2


def gradient(w):
    return 2.0 * (w - 3.0)


for rate in [0.1, 0.5, 1.1]:
    w = 0.0
    for _ in range(12):
        w = w - rate * gradient(w)
    print(f"rate={rate:<4} w={w:.4f} loss={loss(w):.4f}")

ثلاث تجارب متطابقة إلا في طول الخطوة. 0.1 وصل إلى 2.7938 أي لم يكمل بعد اثنتي عشرة خطوة، و0.5 وصل إلى القاع بالضبط، و1.1 انفجر إلى -23.7 بخسارة 715‏. المعدّل الثالث لم يكن «أبطأ»، كان في الاتجاه الصحيح وبخطوة أطول من المسافة إلى القاع فتجاوزه كل مرة أبعد من السابقة.

جرّب بلا كود

خرافة مقابل حقيقة

جرّب بنفسك

بطاقات مراجعة سريعة

تحقق من فهمك