→ همهٔ پروژه‌ها

پروژهٔ متن‌باز / اتوماسیون / سرویس عملیاتی

اسکرپینگ هوشمند، تست بلادرنگ پایداری و توزیع خودکار فیدهای پروکسی.

پایپ‌لاین خودکار با توان عملیاتی بالا جهت اسکرپینگ مداوم پروکسی‌های باز در سطح وب، تست بلادرنگ پایداری و تأخیر اتصال، فیلترینگ نودهای قطع یا کند، و توزیع کانفیگ‌های تاییدشده از طریق Nginx.

نقش من
مهندس دوآپس و زیرساخت شبکه
دورهٔ زمانی
۲۰۲۶
فناوری‌های کلیدی
Python · Nginx · Ubuntu Server · Bash · Systemd · Asynchronous I/O · SSL/TLS
پروکسی‌پالس (ProxyPulse)03 / سیستم‌ها
اسکرپر هوشمند ← تست همروند پایداری ← کش لبه Nginxطرح مفهومی

۰۱ / بستر و زمینه

مسئله.

پروکسی‌ها و کانفیگ‌های عمومی موجود در اینترنت به شدت ناپایدار هستند؛ بسیاری از آن‌ها در چند دقیقه مسدود شده، تأخیر نامتعارف داشته یا حاوی داده‌های تکراری و نامعتبرند.

۰۲ / مشارکت من

آنچه من ساختم.

یک سامانهٔ جامع پایش و تجمیع خودکار توسعه دادم که به طور متناوب صدها منبع عمومی در سراسر وب را اسکرپ کرده، با اجرای تست‌های همزمان همروند پایداری اتصال و نرخ تأخیر را می‌سنجد، نودهای مرده را حذف کرده و فیدهای خروجی بهینه‌سازی‌شده را روی ریورس پروکسی Nginx با قابلیت کشینگ در لبه عرضه می‌کند.

نمودار معماری داده و سیستم

معماری خط لوله و اعتبارسنجی پراکسی

01

خزنده‌های چندگانه

پایش منابع باز وب

02

پروب‌های سلامت

تست تأخیر و اتصال

03

کش فوق‌سریع

دراگون‌فلای / ردیس

04

لبه توزیع API

خروجی ساب‌اسکریپشن

۰۳ / رویکرد و تصمیم‌ها

تصمیم‌های مهندسی.

  1. ارزیابی همروند و غیرهمزمان

    تست‌های سوکت و هندشیک چندنخی امکان بررسی صدها نود را در هر دقیقه بدون توقف چرخهٔ اصلی اسکرپینگ فراهم می‌سازد.

  2. امتیازدهی پویا و حذف داده‌های تکراری

    تحلیل متغیرهای مسیر و فیلترینگ شناسه‌های یکسان IP/Port همراه با اولویت‌بندی بر اساس کمترین زمان پینگ (RTT).

  3. توزیع پرسرعت در لبه با Nginx

    کشینگ سبک (Micro-caching) برای پاسخ‌دهی آنی به هزاران کلاینت همزمان، در حالی که پروسه‌های بک‌گراند نودها را بروزرسانی می‌کنند.

  4. مدیریت خودکار SSL و به‌روزرسانی بدون وقفه

    پیاده‌سازی صدور خودکار سرتیفیکیت و رفرش کانفیگ با سیگنال‌های لینوکس بدون قطعی لحظه‌ای سرویس.

۰۴ / دستاورد و نتایج

نتایج این پروژه.

فعالیت ۲۴/۷ پایپ‌لاین ارزیابی خودکار و ارائه فیدهای همواره پایدار و پاکسازی‌شده به کلاینت‌ها بدون نیاز به دخالت دستی.

پایش مداوم سلامت نودها و کشینگ لبهٔ شبکه، نقاط پایانی ناپایدار را به فیدهای مطمئن و خودترمیم شونده تبدیل می‌کند.

پروژهٔ عملیاتی و سازمانی / طرح شاخص مفهومی است و این بررسی بر تصمیم‌های مهندسی و معماری سیستم متمرکز است.

پروژهٔ بعدی

زیرساخت ابری و سرورهای خودمیزبان