وقتی داده موردنیاز شما در صفحه‌های وب پراکنده است و خروجی آماده یا API مناسبی وجود ندارد، امکان جمع‌آوری آن را بررسی می‌کنیم. پس از روشن‌شدن منبع، حجم، تناوب به‌روزرسانی و قالب موردنیاز، فرایندی برای استخراج، پاک‌سازی و کنترل کیفیت داده طراحی می‌شود.
اجرای کار به دسترسی مجاز، شرایط استفاده سایت و پایداری منبع وابسته است. دورزدن محدودیت‌های دسترسی یا تضمین استخراج از هر سایتی جزو تعهد پیش‌فرض نیست.
پیش از اجرا، چند صفحه نمونه و فهرست فیلدهای موردنیاز را با هم مرور می‌کنیم. به این ترتیب معلوم می‌شود کدام اطلاعات واقعاً قابل دریافت‌اند، چه بخشی به پاک‌سازی نیاز دارد و خروجی باید با چه تناوبی تازه شود.
ساختار وب‌سایت‌ها ممکن است تغییر کند. برای کارهای دوره‌ای، ثبت خطا و بررسی کیفیت خروجی در نظر گرفته می‌شود؛ دامنه نگهداری و اصلاح فرایند پس از تغییر منبع نیز از ابتدا مشخص خواهد شد. اطلاعاتی که دسترسی یا استفاده از آن‌ها مجاز نیست در محدوده کار قرار نمی‌گیرد.
چه مسئله‌هایی را حل می‌کند؟
- کپی‌کردن دستی اطلاعات زمان‌بر و خطاپذیر است.
- داده چند صفحه یا چند منبع باید در یک قالب مشترک جمع شود.
- به‌روزرسانی دوره‌ای داده به بررسی و کنترل خطا نیاز دارد.
چه چیزی تحویل می‌گیرید؟
- فایل داده در قالب توافق‌شده، مانند CSV یا JSON.
- اسکریپت یا جریان استخراج در صورت توافق درباره تحویل کد.
- توضیح ساختار داده، قواعد پاک‌سازی و محدودیت‌های منبع.
- گزارش خطاها و روش بررسی کیفیت داده.
همکاری چگونه پیش می‌رود؟
- منبع و مجازبودن دسترسی، نمونه صفحه‌ها و فیلدهای لازم بررسی می‌شود.
- یک نمونه کوچک تهیه می‌شود تا کیفیت و امکان‌پذیری روشن شود.
- استخراج و پاک‌سازی برای دامنه توافق‌شده پیاده‌سازی می‌شود.
- خروجی با نمونه‌های واقعی کنترل و شیوه اجرا یا به‌روزرسانی مستند می‌شود.