مشروع: مساعد مستندات عربية

طريقان إلى نفس الفكرة

قبل أن تبدأ

الفكرة الجوهرية

في هذا المشروع تبني مساعدًا يجيب من مستندات عربية حقيقية ويستشهد بمصادره. تبدأ بالمستندات والأسئلة الذهبية، ثم الفهرسة، ثم الخط الكامل، ثم جدول التجارب.

1المستندات والأسئلة أولًا

اختر مستندات عربية حقيقية تعرف محتواها، بين 20 و100 مستند. ثم اكتب الأسئلة الذهبية قبل أي كود.

انظر إلى الرسم: خمسون سؤالًا، عشرة منها خارج المستندات، وخمسة مكتوبة بأخطاء شائعة تكشف أي مسار نسي التطبيع.

2الفهرسة

كل قطعة تُخزَّن بنسختين: الأصل للعرض والاستشهاد، والمطبّعة للبحث. ولكل قطعة معرّف مثل leave.md#1 تستشهد به الإجابة.

انظر إلى الرسم: المستند يُقطَّع بالعناوين، ثم تأخذ كل قطعة نسختيها ومعرّفها.

3إجابة بمصدر أو رفض

المساعد يجيب من المستندات فقط، ويضع معرّف القطعة بعد كل معلومة حتى يتحقّق المستخدم. وحين تكون أعلى درجة تحت العتبة يرفض برسالة مفيدة بدل أن يخمّن.

خمس قطع، تطبيع عربي، استرجاع، استشهاد بالمعرّف، ورفض تحت العتبة. هنا «التوليد» يعيد القطعة الأفضل كما هي، وفي مشروعك يحلّ محلّه نموذج لغوي بقالب درس هندسة السياق.

import re
from sklearn.feature_extraction.text import TfidfVectorizer

docs = {
    "leave.md#1": "يحق للموظف إجازةٌ سنويةٌ مدتها واحد وعشرون يوم عمل.",
    "leave.md#2": "تُقدَّم طلبات الإجازة قبل أسبوعين على الأقل.",
    "leave.md#3": "الإجازة المرضية تحتاج تقريراً طبياً إذا زادت عن يومين.",
    "travel.md#1": "تُصرف بدلات السفر خلال ١٠ أيام من تقديم الفواتير.",
    "it.md#1": "رمز الخطأ E-1043 في بوابة الحجز يعني انتهاء الجلسة.",
}

def normalize(t):
    t = re.sub(r"[ً-ْٰـ]", "", t)
    t = re.sub("[إأآٱ]", "ا", t).replace("ى", "ي").replace("ة", "ه")
    return t.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))

ids = list(docs)
vec = TfidfVectorizer(analyzer="char_wb", ngram_range=(2, 4))
matrix = vec.fit_transform([normalize(docs[i]) for i in ids])

def answer(question, threshold=0.25):
    scores = (matrix @ vec.transform([normalize(question)]).T).toarray().ravel()
    best = scores.argmax()
    if scores[best] < threshold:
        return f"لا أجد هذا في المستندات المتاحة (أعلى تشابه {scores[best]:.2f})."
    return f"{docs[ids[best]]} [{ids[best]}]"

for q in ["كم يوم اجازه سنويه؟", "متى تصرف بدلات السفر؟", "ما سعر وجبة الغداء؟"]:
    print(q, "\n   ", answer(q))

السؤال الأول مكتوب بلا همزة وبهاء بدل التاء، ووجد المستند لأن الجهتين مطبّعتان. والإجابة تحمل معرّفها [leave.md#1]، فيستطيع المستخدم التحقّق. والسؤال الثالث خارج المستندات، فرفض النظام بدل أن يقدّم أقرب شيء. العتبة 0.25 هنا للتوضيح، وفي مشروعك تختارها بطريقة درس حدود النظام.

4جدول التجارب

ابنِ أبسط نسخة تعمل من أولها إلى آخرها وسجّل رقمها. ثم أضف تحسينًا واحدًا في كل صف، على نفس المجموعة الذهبية.

انظر إلى الرسم: نفس الاسترجاع بأربعة إعدادات على ثمانية أسئلة. الجدول يجيب، لا الحدس.

ثماني أسئلة ذهبية، ونفس الاسترجاع بأربعة إعدادات: كلمات أو مقاطع حروف، مع التطبيع وبدونه.

import re
from sklearn.feature_extraction.text import TfidfVectorizer

docs = ["يحق للموظف إجازةٌ سنويةٌ مدتها واحد وعشرون يوم عمل.",
        "تُقدَّم طلبات الإجازة قبل أسبوعين على الأقل.",
        "الإجازة المرضية تحتاج تقريراً طبياً إذا زادت عن يومين.",
        "يوافق المدير المباشر على الإجازات.",
        "تُصرف بدلات السفر خلال ١٠ أيام من تقديم الفواتير.",
        "يجب حجز تذاكر السفر عبر بوابة الحجز.",
        "رمز الخطأ E-1043 في بوابة الحجز يعني انتهاء الجلسة.",
        "العمل عن بعد مسموح يومين في الأسبوع."]
golden = [("كم يوم اجازه سنويه؟", 0), ("متى اقدم طلب الاجازه؟", 1), ("متى احتاج تقرير طبي؟", 2),
          ("من يوافق على اجازتي؟", 3), ("متى تصرف بدلات السفر خلال 10 ايام؟", 4),
          ("كيف احجز تذكرة سفر؟", 5), ("E-1043", 6), ("هل العمل من البيت مسموح؟", 7)]

def normalize(t):
    t = re.sub(r"[ً-ْٰـ]", "", t)
    t = re.sub("[إأآٱ]", "ا", t).replace("ى", "ي").replace("ة", "ه")
    return t.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))

def run(analyzer, norm):
    f = normalize if norm else (lambda s: s)
    vec = TfidfVectorizer(**analyzer)
    m = vec.fit_transform([f(d) for d in docs])
    hits = sum(int((m @ vec.transform([f(q)]).T).toarray().ravel().argmax() == t) for q, t in golden)
    return hits

words = dict(analyzer="word", token_pattern=r"[^\s.،؟]+")
chars = dict(analyzer="char_wb", ngram_range=(2, 4))
print("experiment                      top-1")
for name, a, n in [("words, raw text", words, False), ("words, normalised", words, True),
                   ("char n-grams, raw", chars, False), ("char n-grams, normalised", chars, True)]:
    print(f"{name:30}  {run(a, n)}/{len(golden)}")

التطبيع رفع البحث بالكلمات من 5 إلى 6، ومقاطع الحروف أصابت الثماني مع التطبيع وبدونه، لأنها تتحمّل اختلافات الإملاء الصغيرة بطبيعتها. هل يعني هذا أن التطبيع لا يلزم مع مقاطع الحروف؟ في هذه الأسئلة الثمانية نعم، وفي مستنداتك لا تعرف حتى تقيس. هذا هو الدرس: الجدول يجيب، لا الحدس.

كيف يعمل، خطوة بخطوة: كيف تبني المساعد خطوة بعد خطوة

مثال محلول

اختر مجموعة مستندات عربية حقيقية تعرفها: لائحة جامعتك، أو سياسات جهة عملك، أو أدلّة استخدام منتج. بين عشرين ومئة مستند. ثم اكتب المجموعة الذهبية قبل أي كود، كما في درس التقييم أولًا.

جرّب بلا كود

خرافة مقابل حقيقة

جرّب بنفسك

بطاقات مراجعة سريعة

تحقق من فهمك