آموزش ابزار اسکریمینگ فراگ Screaming Frog (راهنمای کامل تصویری)

اسکریمینگ فراگ

فهرست مطالب

این راهنما به‌ طور خاص برای کاربران مبتدی در نظر گرفته شده تا به راحتی از ابزار Screaming Frog SEO Spider استفاده کنند. در این مطلب، مراحل تنظیمات اولیه، شروع فرایند خزش و نحوه دسترسی به گزارش‌ها و مشکلات شناسایی‌شده در ابزار اسکریمینگ فراگ ارائه شده است. ابتدا با نحوه نصب برنامه شروع می کنیم:

نصب برنامه  

برای شروع، ابتدا باید نرم‌افزار SEO Spider را از سایت soft98 دانلود و نصب کنید. این ابزار به‌صورت رایگان اجازه خزش تا ۵۰۰ URL را می‌دهد و برای سیستم‌عامل‌های ویندوز، مک او اس و اوبونتو قابل استفاده است. پس از دانلود، فایل نصبی را اجرا کرده و مراحل نصب را تکمیل کنید. اگر تمایل دارید محدودیت خزش ۵۰۰ URL را حذف کرده و از امکانات پیشرفته‌ تر بهره‌ مند شوید، می‌توانید نسخه پرو را با خرید مجوز فعال کنید. 

فعال‌سازی مجوز

استفاده از نسخه رایگان نیاز به فعال‌ سازی خاصی ندارد و می‌ توانید این مرحله را رد کنید. اما برای دسترسی به ویژگی‌هایی نظیر خزش بیش از ۵۰۰ URL، ذخیره و بازگشایی مجدد پروژه‌ها، و استفاده از سایر امکانات حرفه‌ای، لازم است که یک لایسنس تهیه کنید.

پس از خرید لایسنس، اطلاعاتی شامل نام کاربری و کد لایسنس به شما داده می‌شود. این داده‌ها را می‌توانید در برنامه وارد کرده و نسخه حرفه‌ای ابزار را فعال کنید. برای این کار، در منوی برنامه به قسمت «لایسنس» رفته و گزینه کد لایسنس را وارد کنید» را انتخاب کنید.

نحوه فعال سازی مجوز

اگر به درستی وارد شود، مجوز معتبر بودن آن را اعلام می‌کند و تاریخ انقضا را نشان می‌دهد. سپس از شما خواسته می‌شود برنامه را مجدداً راه‌اندازی کنید تا محدودیت خزش حذف شود و دسترسی به پیکربندی و ویژگی‌های پولی فعال شود.

معتبر بودن مجوز لایسنس

تنظیمات حافظه و ذخیره‌سازی 

در صورتی که از نسخه رایگان استفاده می‌کنید یا می‌خواهید مستقیم به فرآیند خزش بروید، می‌توانید این بخش را نادیده بگیرید. اما اگر از نسخه پولی استفاده می کنید، پیشنهاد می‌شود این مرحله را از ابتدا ببینید. برای کاربرانی که SSD دارند، پیشنهاد می‌شود از حالت ذخیره‌سازی پایگاه داده، که پیش‌فرض نیز هست، استفاده کنند. برای تنظیم آن، به مسیر «فایل > تنظیمات > حالت ذخیره‌سازی» بروید و مطمئن شوید که گزینه «ذخیره پایگاه داده» انتخاب شده باشد.

تنظیمات ذخیره پایگاه داده

این روش مزایای متعددی دارد؛ از جمله امکان خزش تعداد بیشتری از URLها، ذخیره خودکار داده‌های خزش و دسترسی سریع‌تر به اطلاعات خزش‌های قبلی.  اما در صورت عدم دسترسی به SSD، بهتر است حالت ذخیره‌سازی حافظه را انتخاب کنید. حتی اگر رم کافی داشته باشید، همچنان می‌توانید خزش‌های خود را ذخیره کنید و تعداد قابل توجهی URL را پردازش نمایید. اکنون آماده شروع خزش هستید! 

شروع خزش 

دو حالت اصلی برای انجام خزش وجود دارد. حالت پیش‌فرض «عنکبوت» که به خزش یک وب‌سایت می‌پردازد و حالت «لیست» که به شما این امکان را می‌دهد تا لیستی از URLها را برای خزش بارگذاری کنید. برای آغاز یک خزش معمولی «عنکبوت»، کافی است آدرس صفحه اصلی را در قسمت «وارد کردن URL برای عنکبوت» درج کرده و روی گزینه «شروع» کلیک کنید.

وارد کردن URL برای شروع خزش

خزش معمولی چگونه کار می‌کند؟ 

در این حالت، آدرس وارد شده به همراه تمام URL هایی که از طریق لینک‌های موجود در صفحات HTML در همان زیردامنه قابل دسترسی هستند، مورد بررسی و تحلیل قرار می‌گیرد. به‌روزرسانی اعضای فرایند خزش به‌صورت بلادرنگ انجام می‌شود و در پایین صفحه برنامه می‌توانید وضعیت آن شامل سرعت، تعداد URL های تکمیل شده و آن‌هایی که همچنان باقی مانده‌اند را مشاهده کنید.

مشاهده وضعیت سرعت و تعداد url های تکمیل شده

در صورت نیاز، با استفاده از دکمه «مکث» می‌توانید فرآیند خزش را متوقف کرده و هر زمان که خواستید، آن را از سر بگیرید. علاوه بر این، امکان ذخیره خزش وجود دارد تا بتوانید در آینده کار را ادامه دهید. بخش‌های بعدی بیشتر به توضیح نحوه ذخیره‌سازی اختصاص خواهند داشت.

چنانچه ترجیح می‌دهید به جای یک سایت کامل تنها لیستی از URLها خزش شود، کافی است روی «حالت > لیست» کلیک کرده و لیستی از آدرس‌ها را آپلود یا مستقیماً جایگذاری کنید.

تنظیمات لیست آدرس ها

پیکربندی خزش

پیکربندی خزش در SEO Spider به‌ صورت پیش‌ فرض برای شبیه‌ سازی عملکرد گوگل تنظیم شده است، بنابراین معمولاً نیازی به تغییرات دستی نیست. با این حال، شما می‌ توانید بسته به نیاز خود، خزش را سفارشی کنید تا داده‌های مدنظر را بهتر استخراج کنید.  در بخش «پیکربندی» ابزار، گزینه‌های متنوعی وجود دارد که امکان تنظیم خزش را فراهم می‌کند. برای جزئیات هر یک از این تنظیمات، می‌توانید به راهنمای کاربر مراجعه کنید.

گزینه‌های پیکربندی رایج شامل محدود کردن خزش به یک زیرپوشه خاص، استفاده از ویژگی‌های exclude برای جلوگیری از خزش URLهای خاص بر اساس الگوی تعریف‌شده، یا استفاده از include برای تعیین مواردی است که باید خزیده شوند.

تنظیمات پیکربندی خزش

اگر محتوای وب‌سایت شما بر پایه جاوا اسکریپت بارگذاری می‌شود، می‌توانید حالت رندرینگ ابزار را به جاوا اسکریپت تغییر دهید. برای این کار به مسیر «پیکربندی > عنکبوت > رندرینگ» مراجعه کنید.
در حالت رندرینگ جاوا اسکریپت، جاوا اسکریپت اجرا شده و SEO Spider اقدام به خزش محتوای رندر شده در HTML و لینک‌های موجود در آن می‌کند. این قابلیت موجب می‌شود محتواهایی که تنها پس از اجرای جاوا اسکریپت قابل مشاهده هستند نیز بررسی شوند.

تنظیمات تغییر حالت رندرینگ جاوا اسکریپت

مشاهده اطلاعات خزش  

داده‌های تولیدشده از فرآیند خزش به‌صورت لحظه‌ای در ابزار SEO Spider گردآوری و در تب‌های مختلف نمایش داده می‌شوند. تب «داخلی» شامل تمامی اطلاعات مربوط به صفحات کشف‌ شده در طول خزش وب‌ سایت است.  

با اسکرول عمودی و افقی می‌توانید تمام داده‌ها را در ستون‌های گوناگون مشاهده کنید.

تنظیمات اطلاعات کشف شده در طول خزش وب سایت

هر یک از تب‌ها روی عناصر مشخصی تمرکز دارند و دارای فیلترهایی هستند که امکان پالایش داده‌ها را بر اساس نوع یا مشکلات احتمالی فراهم می‌کنند.  به‌عنوان نمونه، در تب «کدهای پاسخ» و استفاده از فیلتر «خطای مشتری (4xx)»، می‌توانید صفحات 404 شناسایی‌ شده را بررسی کنید.

 استفاده از فیلتر خطای مشتری (4xx) برای دیدن صفحات 404

کدهای پاسخ 4XX  

با انتخاب هر URL در بخش بالایی، و سپس کلیک روی تب‌های موجود در بخش پایین، جزئیات بیشتری برای آن URL نمایش داده خواهد شد.  این جزئیات شامل اطلاعات دقیق‌تری مثل لینک‌های ورودی (صفحاتی که به URL مذکور لینک داده‌اند)، لینک‌های خروجی (صفحاتی که از URL مذکور لینک شده‌اند)، تصاویر، منابع و سایر موارد مرتبط خواهد بود. 

صفحات جزئیات url ها

یافتن خطاها و مشکلات

تب «نمای کلی» در سمت راست، خلاصه‌ای از داده‌های خزش موجود در هر تب و فیلتر را نمایش می‌دهد. برای کاوش داده‌ها و شناسایی خطاها و مشکلات احتمالی، بدون نیاز به کلیک روی هر تب و فیلتر، در هر یک از این بخش‌ها پیمایش کنید.

صفحه ی شناسایی خطاها و مشکلات احتمالی

داده‌های خزش در تب نمای کلی

تعداد URL هایی که تحت تأثیر قرار گرفته‌اند، در طول خزش برای اکثر فیلترها به صورت آنی به‌روزرسانی می‌شوند و می‌توانید روی آنها کلیک کنید تا مستقیماً به تب و فیلتر مربوطه هدایت شوید. همچنین یک تب «مشکلات» در سمت راست وجود دارد که جزئیات مشکلات، هشدارها و فرصت‌های کشف شده را شرح می‌دهد.

صفحه ی جزئیات مشکلات، هشدارها و فرصت‌های کشف شده

تب مشکلات برای شناسایی مشکلات خزش، هشدارها و فرصت‌ها

توضیح درون برنامه‌ای هر مشکل و اقدامات احتمالی به زبان‌های انگلیسی، آلمانی، اسپانیایی، فرانسوی و ایتالیایی ارائه شده است.

هر مشکل بر اساس تأثیر بالقوه، یک «نوع» و یک «اولویت» تخمینی دارد. مشکلات، خطا یا مشکلی هستند که در حالت ایده‌آل باید برطرف شوند.

فرصت‌ها، حوزه‌های بالقوه برای بهینه‌سازی و بهبود هستند. هشدارها لزوماً یک مشکل نیستند، اما باید بررسی شوند و احتمالاً برطرف شوند.

به عنوان مثال – «URL داخلی مسدود شده توسط Robots.txt» به عنوان یک «هشدار» طبقه‌بندی می‌شود، اما با اولویت «بالا» زیرا در صورت عدم مجاز بودن نادرست، می‌تواند تأثیر زیادی داشته باشد.

تب «مشکلات» روشی مفید برای شناسایی سریع مشکلات سطح بالا و پرداختن مستقیم به آنها به عنوان جایگزینی برای برگه «مرور کلی» است. برای کاربرانی که تخصص کمتری در سئو دارند، به ارائه راهنمایی و هدایت بیشتر در مورد بهبود وب‌سایت کمک می‌کند.

این نکات را بررسی کنید و اگر در مورد معنای یک مشکل مطمئن نیستید، کافیست به توضیحات درون برنامه در برگه مشکلات مراجعه کنید یا توضیحات مشکلات سئو ما را بخوانید.

بیش از ۳۰۰ مشکل، هشدار و فرصت سئو قابل شناسایی هستند و هر کدام توضیح روشنی در مورد مشکل، اهمیت آن و نحوه رفع آن دارند.

جدیدترین مقالات