برای داده‌هایی که مرتب دریافت و پردازش می‌شوند، یک اسکریپت موقت معمولاً کافی نیست. بر اساس منبع، حجم و زمان‌بندی، جریان داده‌ای طراحی می‌کنم که مراحل دریافت، پاک‌سازی، ذخیره‌سازی و ارائه خروجی آن مشخص باشد.
هدف این است که تیم شما بداند داده از کجا آمده، در هر مرحله چه تغییری کرده و اگر خطایی رخ داد چگونه آن را پیدا کند.
برای طراحی، منبع داده، حجم تقریبی، زمان دریافت، قواعد پاک‌سازی و نیاز مصرف‌کنندگان بررسی می‌شود. سپس جریان پردازش به گام‌های قابل پیگیری تقسیم می‌شود تا خطا یا داده ناقص در میانه کار پنهان نماند.
در پایان، روش اجرا و به‌روزرسانی، ساختار داده و راه بررسی خطاها مستند می‌شود. اگر اجرای دوره‌ای، استقرار روی زیرساخت شما یا آموزش تیم لازم باشد، پیش از شروع درباره آن توافق می‌کنیم تا نگهداری سیستم به یک نفر وابسته نماند.
چه مسئله‌هایی را حل می‌کند؟
- چند فایل یا منبع داده هر روز باید دستی کنار هم قرار گیرند.
- خطا، داده تکراری یا تفاوت قالب‌ها نتیجه را غیرقابل اعتماد کرده است.
- تیم‌های دیگر به داده آماده یا API نیاز دارند.
چه چیزی تحویل می‌گیرید؟
- جریان پردازش برای منابع و خروجی‌های توافق‌شده.
- قواعد اعتبارسنجی، ثبت خطا و در صورت نیاز زمان‌بندی اجرا.
- پایگاه داده یا API در صورت قرارگرفتن در محدوده پروژه.
- مستندات اجرا، ساختار داده و روش بررسی مشکل.
همکاری چگونه پیش می‌رود؟
- مسیر فعلی داده و نیاز استفاده‌کنندگان ترسیم می‌شود.
- نمونه داده و خطاهای رایج بررسی می‌شود.
- جریان در چند مرحله ساخته و با داده واقعی آزمون می‌شود.
- روش اجرا، پایش و نگهداری به تیم شما تحویل می‌شود.