۰۱ / بستر و زمینه
مسئله.
پروکسیها و کانفیگهای عمومی موجود در اینترنت به شدت ناپایدار هستند؛ بسیاری از آنها در چند دقیقه مسدود شده، تأخیر نامتعارف داشته یا حاوی دادههای تکراری و نامعتبرند.
۰۲ / مشارکت من
آنچه من ساختم.
یک سامانهٔ جامع پایش و تجمیع خودکار توسعه دادم که به طور متناوب صدها منبع عمومی در سراسر وب را اسکرپ کرده، با اجرای تستهای همزمان همروند پایداری اتصال و نرخ تأخیر را میسنجد، نودهای مرده را حذف کرده و فیدهای خروجی بهینهسازیشده را روی ریورس پروکسی Nginx با قابلیت کشینگ در لبه عرضه میکند.
خزندههای چندگانه
پایش منابع باز وب
پروبهای سلامت
تست تأخیر و اتصال
کش فوقسریع
دراگونفلای / ردیس
لبه توزیع API
خروجی ساباسکریپشن
۰۳ / رویکرد و تصمیمها
تصمیمهای مهندسی.
ارزیابی همروند و غیرهمزمان
تستهای سوکت و هندشیک چندنخی امکان بررسی صدها نود را در هر دقیقه بدون توقف چرخهٔ اصلی اسکرپینگ فراهم میسازد.
امتیازدهی پویا و حذف دادههای تکراری
تحلیل متغیرهای مسیر و فیلترینگ شناسههای یکسان IP/Port همراه با اولویتبندی بر اساس کمترین زمان پینگ (RTT).
توزیع پرسرعت در لبه با Nginx
کشینگ سبک (Micro-caching) برای پاسخدهی آنی به هزاران کلاینت همزمان، در حالی که پروسههای بکگراند نودها را بروزرسانی میکنند.
مدیریت خودکار SSL و بهروزرسانی بدون وقفه
پیادهسازی صدور خودکار سرتیفیکیت و رفرش کانفیگ با سیگنالهای لینوکس بدون قطعی لحظهای سرویس.
۰۴ / دستاورد و نتایج
نتایج این پروژه.
فعالیت ۲۴/۷ پایپلاین ارزیابی خودکار و ارائه فیدهای همواره پایدار و پاکسازیشده به کلاینتها بدون نیاز به دخالت دستی.
پایش مداوم سلامت نودها و کشینگ لبهٔ شبکه، نقاط پایانی ناپایدار را به فیدهای مطمئن و خودترمیم شونده تبدیل میکند.
پروژهٔ عملیاتی و سازمانی / طرح شاخص مفهومی است و این بررسی بر تصمیمهای مهندسی و معماری سیستم متمرکز است.