مشروع: خدمة تعمل

طريقان إلى نفس الفكرة

قبل أن تبدأ

الفكرة الجوهرية

في هذا المشروع تشغّل نموذجك خلف نقطة حقيقية وتدفع عليها حملًا حتى تعرف أين تنكسر. تبدأ بحساب السعة، ثم ترى الطابور يقترب منها، ثم تصمّم اختبار الحمل، ثم تكتب التقرير.

1السعة النظرية

السعة عدد العمّال مضروبًا في ما يخدمه كل عامل في الثانية. عامل يأخذ 200 ملّي ثانية لكل طلب يخدم 5 طلبات في الثانية.

انظر إلى الرسم: أربعة عمّال يعطون سعة 20 طلبًا في الثانية.

2الطابور قرب السعة

السعة النظرية ليست الحمل الذي تعمل عليه. كلما اقتربت منها انتظرت الطلبات دورها، فيرتفع الزمن دون أي زيادة في الحساب.

import heapq
import random

def simulate(rate_per_s, workers=4, service_ms=200, n=5000, seed=0):
    rnd = random.Random(seed)
    t, free_at, waits = 0.0, [0.0] * workers, []
    heapq.heapify(free_at)
    for _ in range(n):
        t += rnd.expovariate(rate_per_s)                     # next request arrives
        start = max(t, heapq.heappop(free_at))               # wait for a free worker
        service = rnd.expovariate(1 / (service_ms / 1000))   # how long this one takes
        heapq.heappush(free_at, start + service)
        waits.append((start + service - t) * 1000)
    waits.sort()
    return waits[n // 2], waits[int(n * 0.95)]

capacity = 4 / 0.2                                            # 4 workers x 5 requests/s each
print(f"capacity: {capacity:.0f} requests/s")
for rate in [5, 10, 15, 18, 19.5]:
    p50, p95 = simulate(rate)
    print(f"{rate:5} req/s ({rate / capacity:4.0%} busy): p50 {p50:6.0f} ms   p95 {p95:7.0f} ms")

حتى 50% من السعة، الزمن ثابت تقريبًا. عند 75% يبدأ الارتفاع، وعند 90% تضاعف p95، وعند 98% يقارب ثلاث ثوانٍ لطلب يستغرق 200 ملّي ثانية فعلًا. كل هذا الزمن الإضافي انتظار في الطابور لا حساب. ولهذا تخطّط السعة لتعمل الخدمة عند 60% إلى 70% في الذروة، لا عند 95%.

3اختبار الحمل

اختبار الحمل الجيد يشبه الاستخدام الحقيقي: مدخلات من توزيع الأطوال الحقيقي، وحمل يرتفع على مراحل، ومن جهاز غير الخادم.

انظر إلى الرسم: أربع مراحل، كل مرحلة دقيقتان، وعدد المستخدمين يتضاعف.

يحتاج pip install locust وخدمتك تعمل، فهو للقراءة هنا.

import json
import random
from locust import HttpUser, task, between, LoadTestShape

SAMPLES = [json.loads(line)["text"] for line in open("real_inputs.jsonl", encoding="utf-8")]

class ApiUser(HttpUser):
    wait_time = between(0.5, 1.5)

    @task
    def predict(self):
        self.client.post("/predict", json={"text": random.choice(SAMPLES)})

class Stages(LoadTestShape):
    stages = [(120, 5), (240, 10), (360, 20), (480, 40)]   # (end second, users)

    def tick(self):
        t = self.get_run_time()
        for end, users in self.stages:
            if t < end:
                return users, users
        return None

المدخلات من ملف رسائل حقيقية (منقّحة)، والحمل يتصاعد على أربع مراحل كل منها دقيقتان. شغّله بـlocust -f load.py --host http://server:8000 --headless --csv results واكتب لكل مرحلة: الطلبات في الثانية، وp50 وp95، ومعدّل الأخطاء، من اللوحة ومن ملف النتائج معًا.

4اللوحة والتقرير

أثناء الاختبار راقب اللوحة لا أداة الحمل وحدها: الطلبات في الثانية، ونسبة الأخطاء، و p50 و p95 لكل نسخة. فاللوحة هي التي ستخبرك بالمشاكل في الإنتاج.

انظر إلى الرسم: التقرير صفحة واحدة بأربعة أجزاء.

كيف يعمل، خطوة بخطوة: كيف تُجري اختبار الحمل

مثال محلول

قبل أي اختبار حمل، افهم لماذا ينهار الزمن قرب السعة القصوى. خدمة بأربعة عمّال، كل طلب يستغرق 200 ملّي ثانية في المتوسط، فسعتها النظرية 20 طلبًا في الثانية. لنرَ ما يحدث للزمن حين نقترب منها.

جرّب بلا كود

خرافة مقابل حقيقة

جرّب بنفسك

بطاقات مراجعة سريعة

تحقق من فهمك