مشروع: بيانات عربية وسخة

طريقان إلى نفس الفكرة

قبل أن تبدأ

الفكرة الجوهرية

المشروع يمرّ على أربع خطوات بالترتيب: تطبيع النص العربي، ثم المكرّر والناقص، ثم ثلاثة رسوم، ثم تقرير يدافع عن كل قرار.

1طبّع النص العربي أولًا

اختر مجموعة عربية حقيقية فيها نص وأرقام وقيم ناقصة، وبحجم تستطيع فحصه في جلسة واحدة. الصغير المفهوم أفضل من الكبير المجهول.

أول ما تفعله بها هو التطبيع: توحيد الهمزات والألف المقصورة والتاء المربوطة، وحذف الحركات والتطويل، وضغط المسافات.

import re
import unicodedata

HARAKAT = re.compile(r"[\u064B-\u0652\u0640]")


def normalise(text):
    text = unicodedata.normalize("NFKC", text.strip())
    text = HARAKAT.sub("", text)
    text = text.replace("أ", "ا").replace("إ", "ا").replace("آ", "ا")
    text = text.replace("ى", "ي").replace("ة", "ه")
    return re.sub(r"\s+", " ", text)


raw = ["الرِّياض", "الريَاض ", "الـرياض", "جدة", "جده", "أبها", "ابها"]
cleaned = [normalise(value) for value in raw]

print(cleaned)
print(len(set(raw)), "->", len(set(cleaned)))

سبع كتابات مختلفة صارت ثلاث قيم. لاحظ أن الـرياض بالتطويل، والرِّياض بالحركات، والريَاض بمسافة زائدة كانت ثلاثة صفوف مختلفة في أي تجميع قبل هذه الدالة. ولاحظ أننا وحّدنا التاء المربوطة بالهاء فصارت جدة وجده قيمة واحدة.

2ثم المكرّر، ثم الناقص

الترتيب ليس اختياريًا. انظر إلى الرسم: التطبيع قبل حذف المكرّر، لأن «جدة» و«جده» نصّان مختلفان حرفيًا ومدينة واحدة فعلًا.

import pandas as pd

frame = pd.DataFrame({
    "city": ["الرياض", "الرياض", "جده", "جدة", "الدمام"],
    "orders": [120, 120, 90, 90, 40],
    "revenue": [4800.0, 4800.0, 3150.0, 3150.0, None],
})

print("rows in:", len(frame))

frame["city"] = frame["city"].str.replace("ة", "ه", regex=False)
before = len(frame)
frame = frame.drop_duplicates()
print("dropped duplicates:", before - len(frame))

missing = int(frame["revenue"].isna().sum())
print("missing revenue:", missing)

per_order = (frame["revenue"] / frame["orders"]).dropna()
median_rate = float(per_order.median())
frame["revenue"] = frame["revenue"].fillna(frame["orders"] * median_rate)

print("median per order:", round(median_rate, 2))
print("rows out:", len(frame), "missing after:", int(frame["revenue"].isna().sum()))
print("total revenue:", round(float(frame["revenue"].sum()), 2))

خمسة صفوف دخلت وثلاثة خرجت. المكرّر سقط بعد التطبيع لا قبله، والناقص عُوّض بوسيط الإيراد لكل طلب مضروبًا في عدد الطلبات، أي بقيمة محسوبة من صفوف مشابهة لا بصفر. هذا قرار يجب أن يظهر في تقريرك بسطر واحد: «عوّضت إيراد الدمام بوسيط الإيراد لكل طلب 37.5 لأن عدد طلباتها معروف».

3ثلاثة رسوم وسطر لكل رسم

ارسم ثلاثة رسوم من الدرس السابق، ولكل رسم سؤاله. انظر إلى الرسم: المدرّج للتوزيع، والمبعثر لعمودين، والصندوق للشواذ.

الرسم بلا سطر تفسير لا يحسب في التسليم. السطر يربط ما رأيته بقرار اتخذته في البيانات.

4التقرير: ماذا ولكم صفًّا ولماذا

التقرير جدول من ثلاثة أعمدة: ما فعلته، وعلى كم صفًّا، ولماذا. انظر إلى الرسم: الأرقام التي يذكرها تقرير هذا المشروع.

كل حذف فرضية عن بياناتك. بعد شهر لن تتذكّر لماذا اختفت ثلاثمئة صف، وقارئك لن يثق برقم لا يعرف من أين جاء.

صفحة واحدة تكفي، والمهم أن تكون صادقة لا طويلة.

كيف يعمل، خطوة بخطوة: كيف تنظّف المجموعة بالترتيب الصحيح

مثال محلول

جرّب بلا كود

خرافة مقابل حقيقة

جرّب بنفسك

بطاقات مراجعة سريعة

تحقق من فهمك