الالتفاف

طريقان إلى نفس الفكرة

قبل أن تبدأ

الفكرة الجوهرية

الالتفاف مرشّح صغير ينزلق على الصورة. تبني هنا المرشّح بيدك، ثم تفهم لماذا يصغر الناتج وكيف تتحكّم بحجمه، ثم التجميع، ثم سبب نجاح الفكرة كلها: تقاسم الأوزان.

1المرشّح: اضرب واجمع

المرشّح مصفوفة أوزان صغيرة، 3 في 3 غالبًا. يقف فوق رقعة من الصورة، يضرب كل رقم في الوزن المقابل، ويجمع الناتج في رقم واحد.

انظر إلى الرسم: صف واحد من الناتج. الرقم كبير حيث تتغيّر الإضاءة، وصفر حيث لا تتغيّر.

import numpy as np

image = np.array([
    [0, 0, 0, 9, 9, 9],
    [0, 0, 0, 9, 9, 9],
    [0, 0, 0, 9, 9, 9],
    [0, 0, 0, 9, 9, 9],
], dtype=float)
kernel = np.array([[-1, 0, 1],
                   [-1, 0, 1],
                   [-1, 0, 1]], dtype=float)


def conv2d(img, k, stride=1):
    kh, kw = k.shape
    out_h = (img.shape[0] - kh) // stride + 1
    out_w = (img.shape[1] - kw) // stride + 1
    out = np.zeros((out_h, out_w))
    for i in range(out_h):
        for j in range(out_w):
            patch = img[i * stride:i * stride + kh, j * stride:j * stride + kw]
            out[i, j] = (patch * k).sum()
    return out


print(conv2d(image, kernel))

العمودان في المنتصف 27، والأطراف صفر. المرشّح وجد الحافة بالضبط حيث هي. هذا كل ما تفعله الطبقة الالتفافية الأولى في أي شبكة: عشرات المرشّحات مثل هذا، لكنها تتعلّم أرقامها بنفسها بدل أن نكتبها نحن.

2لماذا يصغر الناتج: الحشو

المرشّح لا يخرج عن حدود الصورة، فعدد المواضع التي يقف فيها أقل من عدد البكسلات.

صورة 4 في 6 ومرشّح 3 في 3 أعطيا ناتجًا 2 في 4، لأن المرشّح لا يستطيع الوقوف على الحافة. الحشو (Padding) يضيف إطارًا من الأصفار حتى يبقى الحجم كما هو، والخطوة (Stride) تقفز بالمرشّح أكثر من بكسل فيصغر الناتج عمدًا.

مع مرشّح 3 في 3، الإعداد padding=1 يحافظ على الحجم كما هو. هذا أكثر إعداد شيوعًا في الشبكات الحديثة.

3الخطوة وقانون الحجم

الخطوة stride=2 تقفز بالمرشّح بكسلين كل مرة، فيصغر الناتج للنصف. وكل ذلك يجمعه قانون واحد: (n + 2p - k) / s + 1.

انظر إلى الرسم: نفس الصورة 32 بثلاثة إعدادات.

def out_size(n, k, stride=1, padding=0):
    return (n + 2 * padding - k) // stride + 1


print("32  k=3                ->", out_size(32, 3))
print("32  k=3 padding=1      ->", out_size(32, 3, padding=1))
print("32  k=3 stride=2 pad=1 ->", out_size(32, 3, stride=2, padding=1))
print("224 k=7 stride=2 pad=3 ->", out_size(224, 7, stride=2, padding=3))

السطر الأخير هو الطبقة الأولى في ResNet بالضبط: مرشّح 7 في 7 بخطوة 2 يحوّل 224 إلى 112. احفظ هذه المعادلة، فستحتاجها في كل مرة تصمّم فيها شبكة وتريد معرفة حجم ما يدخل الطبقة الخطية في النهاية.

4التجميع: أكبر قيمة في كل مربع

التجميع يصغّر الصورة دون أي أوزان يتعلّمها. MaxPool2d(2) يأخذ أكبر قيمة في كل مربع 2 في 2.

انظر إلى الرسم: 16 رقمًا تصبح 4.

import numpy as np

x = np.array([[1, 3, 2, 0],
              [4, 6, 1, 1],
              [0, 2, 9, 7],
              [1, 0, 5, 8]])
pooled = x.reshape(2, 2, 2, 2).max(axis=(1, 3))
print(pooled)

كل مربع 2 في 2 صار رقمًا واحدًا هو أكبر ما فيه. لو تحرّك الرقم 9 بكسلًا واحدًا داخل مربعه، لبقي الناتج كما هو، وهذا معنى «أقل حساسية للموضع».

5تقاسم الأوزان

الالتفاف يفترض أمرين عن الصور: النمط المهم صغير ومحلي، ونفس النمط مهم أينما ظهر. لذلك نستخدم نفس المرشّح في كل موضع.

أوزان الطبقة عددها out × in × k × k فقط، مهما كبرت الصورة. قارنها الآن بطبقة خطية تعطي نفس حجم الناتج.

هذا الكود يحتاج PyTorch على جهازك، فالناتج المعروض مسجَّل من تشغيل حقيقي. ثبّته بـpip install torch وشغّله بنفسك.

from torch import nn

conv = nn.Conv2d(in_channels=3, out_channels=16, kernel_size=3, padding=1)
dense = nn.Linear(3 * 32 * 32, 16 * 32 * 32)
print("conv weights: ", tuple(conv.weight.shape), sum(p.numel() for p in conv.parameters()))
print("dense weights:", sum(p.numel() for p in dense.parameters()))

طبقة التفافية بـ16 مرشّحًا: 448 معاملًا. طبقة خطية تعطي نفس حجم الناتج من نفس المدخل: أكثر من خمسين مليونًا. فرق مئة ألف ضعف، لهذا الشبكات الالتفافية ممكنة أصلًا، ولهذا تحتاج بيانات أقل لتتعلّم.

كيف يعمل، خطوة بخطوة: كيف يعمل الالتفاف على صورة

مثال محلول

صورة نصفها الأيسر أسود (0) والأيمن أبيض (9)، أي فيها حافة عمودية واحدة في المنتصف. ومرشّح يطرح العمود الأيسر من الأيمن: سيعطي رقمًا كبيرًا حيث تتغيّر الإضاءة، وصفرًا حيث لا تتغيّر.

جرّب بلا كود

خرافة مقابل حقيقة

جرّب بنفسك

بطاقات مراجعة سريعة

تحقق من فهمك