التحقّق من ترميز UTF-8

طريقان إلى نفس الفكرة

المتطلبات قبل البداية

المفاهيم الأساسية

المطلوب: دالة تأخذ قائمة أعداد صحيحة، كل عدد يمثّل بايتًا، وترجع True إذا كانت القائمة ترميز UTF-8 صالحًا.

1لماذا UTF-8 أصلًا؟

يونيكود يعطي رقمًا لكل حرف في كل لغة، أكثر من مليون رقم محتمل. لو خزّنا كل حرف في 4 بايت لصار ملف إنجليزي كامل أربعة أضعاف حجمه بلا داعٍ. فجاء UTF-8 بحل أنيق: ترميز متغيّر الطول، الحروف الشائعة (ASCII) في بايت واحد، والأقل شيوعًا في اثنين أو ثلاثة أو أربعة.

لكن إذا كان الطول متغيّرًا، كيف يعرف القارئ أين ينتهي الحرف ويبدأ الذي بعده؟ الجواب هو البتّات الأولى من كل بايت، وهي ما سنتحقّق منه.

2جدول الأنماط، قلب المسألة

لاحظ المنطق: عدد الواحدات في بداية البايت الأول = طول الحرف، ويفصلها صفر. وكل بايت متابعة يبدأ بـ 10 دائمًا، فلا يمكن أن يُخطئ القارئ ويحسب بايت متابعة بدايةَ حرف.

3من النمط إلى الكود

لفحص «هل تبدأ بـ 110‏؟» نزيح البايت 5 خانات لليمين فيبقى أول 3 بتّات، ونقارنها بـ 0b110‏:

byte       = 0b11000011   # 195
byte >> 5  = 0b110       # 6   -> yes, a 2-byte lead
byte >> 6  = 0b11        # 3   -> not 0b10, so not a continuation
byte >> 7  = 0b1         # 1   -> not 0, so not plain ASCII

وكل الفحوص الأربعة تتبع نفس المبدأ:

4القناع & 0xFF وفخ العدد 256

النص يقول: «كل عدد يمثّل بايتًا واحدًا، فتحتاج التعامل مع أقل 8 بتّات فقط». ولذلك num & 0xFF‏. تأمّل حالة الاختبار الثالثة [229, 65, 127, 256]‏:

فالجواب False بسبب البايت الثاني، لا بسبب 256‏. لكن لو كان المدخل [256] لكان True صالحًا تمامًا، وهذه النقطة التي تخلط على كثيرين.

5الفحص الأخير: التسلسل المقطوع

return continuation == 0 في النهاية ليس تجميلًا. لو كان المدخل [0xC3] فهذا بداية حرف من بايتين، لكن البيانات انتهت قبل أن تأتي المتابعة. الحلقة تنتهي بسلام وcontinuation يبقى 1، والتسلسل مقطوع، فالجواب False‏.

كيف يعمل؟

ثلاثة أشكال: آلة الحالات كلها، ثم قرار البايت الواحد، ثم تفكيك حرف حقيقي بايتًا بايتًا.

شكل 12، آلة الحالات: حالة واحدة «أنتظر بداية» وثلاث حالات انتظار. انتهاء البيانات في حالة انتظار يعني تسلسلًا مقطوعًا، فالجواب خطأ.

شكل 13، شجرة قرار البايت الواحد: نفحص من الأقصر إلى الأطول، وآخر فرعين هما نمطا الخطأ.

شكل 14، حرف حقيقي: الوجه المبتسم 😀 في أربعة بايتات، بداية ثم ثلاث متابعات، وحمولتها مجتمعة تعطي رقم يونيكود U+1F600.

الحل خطوة بخطوة

نكتب الحل، نشغّله على حالات الاختبار، ثم على حروف حقيقية من بايثون نفسه. كل مخرج تحت حقيقي.

الخطوة 1، الحل

#!/usr/bin/python3
"""0-validate_utf8"""


def validUTF8(data):
    """Return True if data is a valid UTF-8 encoding."""
    continuation = 0

    for num in data:
        byte = num & 0xFF

        if continuation:
            if byte >> 6 != 0b10:
                return False
            continuation -= 1
            continue

        if byte >> 7 == 0:
            continuation = 0
        elif byte >> 5 == 0b110:
            continuation = 1
        elif byte >> 4 == 0b1110:
            continuation = 2
        elif byte >> 3 == 0b11110:
            continuation = 3
        else:
            return False

    return continuation == 0

الخطوة 2، حالات الاختبار

$ cat 0-main.py
#!/usr/bin/python3
validUTF8 = __import__('0-validate_utf8').validUTF8

data = [65]
print(validUTF8(data))
data = [80, 121, 116, 104, 111, 110, 32, 105, 115, 32, 99, 111, 111, 108, 33]
print(validUTF8(data))
data = [229, 65, 127, 256]
print(validUTF8(data))

$ ./0-main.py
True
True
False

الخطوة 3، حروف حقيقية من بايثون

>>> for ch in ["A", "é", "€", "😀", "م"]:
...     b = list(ch.encode("utf-8"))
...     print(repr(ch), b, [format(x, "08b") for x in b], validUTF8(b))
'A'  [65]                  ['01000001']                                      True
'é'  [195, 169]            ['11000011', '10101001']                          True
'€'  [226, 130, 172]       ['11100010', '10000010', '10101100']              True
'😀' [240, 159, 152, 128]  ['11110000', '10011111', '10011000', '10000000']  True
'م'  [217, 133]            ['11011001', '10000101']                          True

هذا أفضل اختبار ممكن: ch.encode("utf-8") تنتج ترميزًا صالحًا بالتعريف، فأي False هنا يعني خطأً في حلك. ولاحظ الحرف العربي م‏: بايتان، وبدايته 11011001 وهي فعلًا 110xxxxx ✓

الخطوة 4، الحالات غير الصالحة

>>> validUTF8([0xC3])                    # a 2-byte lead with nothing after it
False
>>> validUTF8([0x80])                    # a continuation byte with no lead
False
>>> validUTF8([0xF8, 0x80, 0x80, 0x80])  # 11111000 — no such lead pattern
False
>>> validUTF8([229, 65, 127, 256])       # 229 leads 3 bytes, 65 is not a continuation
False

الخطوة 5، امشِ على 😀 بايتًا بايتًا

اعتقاد شائع × الحقيقة

أين نستخدمه فعليًا؟

جرّب بنفسك

بطاقات مراجعة سريعة

تحقّق من فهمك