برای بررسی وضعیت سئوی یک سایت، ابزارهای مختلفی وجود دارد که هرکدام بخشی از اطلاعات فنی و عملکردی وبسایت را در اختیار مدیران سایت و متخصصان سئو قرار میدهند. یکی از شناختهشدهترین ابزارها در زمینه خَزِش و بررسی فنی سایت، نرمافزار Screaming Frog SEO Spider است.
Screaming Frog میتواند مانند یک موتور جستجو در صفحات سایت خزش کند و اطلاعات مختلفی مانند لینکها، URLها، کدهای وضعیت HTTP، عنوان صفحات، توضیحات مِتا، تَگهای هدینگ و وضعیت ایندکس صفحات را بررسی کند.
با استفاده از این ابزار میتوان بسیاری از مشکلات فنی سئو مانند لینکهای شکسته، صفحات ۴۰۴، ریدایرکتهای نادرست، محتوای تکراری، متادیتای ناقص و مشکلات مربوط به ایندکس صفحات را شناسایی کرد.
نسخه رایگان Screaming Frog امکان خزش حداکثر ۵۰۰ URL را فراهم میکند و برای بررسی سایتهای کوچک و انجام تحلیلهای اولیه مناسب است. برای سایتهای بزرگتر و استفاده از امکانات پیشرفتهتر، نسخه پولی این ابزار امکانات بیشتری در اختیار کاربران قرار میدهد.
در این مقاله بررسی میکنیم که Screaming Frog چیست، چه کاربردی دارد، چگونه نصب میشود و چطور میتوان از آن برای تحلیل سئوی سایت استفاده کرد.
Screaming Frog چیست؟
Screaming Frog SEO Spider یک نرمافزار دسکتاپ برای خَزِش و تحلیل وبسایت است که به متخصصان سئو کمک میکند ساختار فنی سایت را بررسی کنند.
این ابزار با دریافت آدرس یک سایت، صفحات و منابع مختلف آن را بررسی میکند و اطلاعاتی درباره ساختار سایت در اختیار کاربر قرار میدهد. اسکریمینگ فراگ در واقع مانند یک خزنده عمل میکند و با دنبال کردن لینکهای داخلی، صفحات مختلف سایت را شناسایی و بررسی میکند.
پس از پایان فرآیند خزش، اطلاعات به شکل جدول و گزارشهای مختلف نمایش داده میشوند. کاربر میتواند این اطلاعات را فیلتر کند و مشکلات مهم سایت را سریعتر پیدا کند.
به کمک اسکریمینگ فراگ میتوان موارد زیر را بررسی کرد:
- ساختار URLهای سایت
- لینکهای داخلی و خارجی
- صفحات دارای خطای ۴۰۴
- خطاهای سرور
- ریدایرکتها
- عنوان صفحات
- Meta Description
- تگهای H1 و H2
- صفحات قابل ایندکس و غیرقابل ایندکس
- لینکهای Follow و Nofollow
- محتوای تکراری
- فایلهای Sitemap و Robots.txt
اسکریمینگ فراگ چه کاربردی در سئو دارد؟
اسکریمینگ فراگ بیشتر برای سئو تکنیکال و بررسی ساختار داخلی سایت استفاده میشود. این ابزار میتواند حجم زیادی از اطلاعات فنی سایت را در یک محیط واحد جمعآوری کند.
۱. پیدا کردن لینکهای شکسته
یکی از کاربردهای مهم اسکریمینگ فراگ، پیدا کردن لینکهایی است که به صفحات ناموجود یا حذفشده اشاره میکنند.
برای مثال، اگر یک صفحه به آدرسی لینک داده باشد که دیگر وجود نداشته باشد، معمولاً با خطای 404 Not Found مواجه میشویم. وجود تعداد زیادی لینک شکسته میتواند تجربه کاربری سایت را تحت تأثیر قرار دهد.
با استفاده از اسکریمینگ فراگ میتوان این لینکها را شناسایی و برای اصلاح آنها اقدام کرد.
۲. بررسی ریدایرکتها
ریدایرکتها نقش مهمی در سئو دارند. اسکریمینگ فراگ میتواند انواع مختلف ریدایرکتها را شناسایی کند، از جمله:
- ریدایرکت ۳۰۱
- ریدایرکت ۳۰۲
- زنجیره ریدایرکت
- حلقه ریدایرکت
برای مثال، اگر صفحه A به صفحه B و صفحه B دوباره به صفحه C منتقل شود، با یک Redirect Chain مواجه هستیم. شناسایی این زنجیرهها میتواند به بهبود ساختار فنی سایت کمک کند.
۳. بررسی عنوان صفحات و توضیحات متا
عنوان صفحه و توضیحات مِتا از مهمترین عناصر سئوی داخلی هستند.
اسکریمینگ فراگ میتواند صفحات دارای مشکلات زیر را شناسایی کند:
- Title خالی
- Title تکراری
- Title بیش از حد طولانی
- Title بسیار کوتاه
- Meta Description خالی
- Meta Description تکراری
- Meta Description بیش از حد طولانی
این اطلاعات به متخصص سئو کمک میکند صفحات سایت را به شکل سریعتری بررسی و اصلاح کند.
۴. بررسی تگهای هدینگ
ساختار هدینگها، بهخصوص تگهای H1، برای سازماندهی محتوای صفحه اهمیت دارد.
با Screaming Frog میتوان صفحاتی را شناسایی کرد که:
- تگ H1 ندارند.
- بیش از یک H1 دارند.
- H1 تکراری دارند.
- H1 بسیار طولانی یا کوتاه دارند.
همچنین امکان بررسی تگهای H2 و سایر هدینگهای صفحات نیز وجود دارد.
۵. بررسی وضعیت ایندکس صفحات
یکی از کاربردهای مهم این ابزار، بررسی وضعیت ایندکسپذیری صفحات است.
اسکریمینگ فراگ میتواند مشخص کند که یک صفحه:
- قابل ایندکس است یا نه
- دارای تگ Noindex است یا نه
- توسط فایل robots.txt مسدود شده است یا نه
- Canonical دارد یا نه
- به صفحه دیگری Canonical شده است یا نه
این اطلاعات برای پیدا کردن مشکلاتی که مانع نمایش صحیح صفحات در موتورهای جستجو میشوند، اهمیت زیادی دارد.
۶. بررسی لینکسازی داخلی
ساختار لینکهای داخلی یکی از بخشهای مهم سئوی تکنیکال است.
با اسکریمینگ فراگ میتوان بررسی کرد:
- هر صفحه چند لینک داخلی دارد.
- کدام صفحات بیشترین لینک داخلی را دریافت میکنند.
- کدام صفحات تقریباً هیچ لینک داخلی ندارند.
- لینکهای داخلی به چه URLهایی اشاره میکنند.
این اطلاعات به بهبود معماری سایت و توزیع بهتر اعتبار داخلی صفحات کمک میکند.
.
اسکریمینگ فراگ برای چه کسانی مناسب است؟
این ابزار میتواند برای گروههای مختلفی کاربرد داشته باشد، از جمله:
- متخصصان سئو
- مدیران سایت
- توسعهدهندگان وب
- آژانسهای دیجیتال مارکتینگ
- صاحبان فروشگاههای اینترنتی
- کارشناسان سئو تکنیکال
البته استفاده از تمام قابلیتهای اسکریمینگ فراگ برای کاربران مبتدی ممکن است در ابتدا کمی پیچیده باشد. بااینحال، برای شروع میتوان با گزارشهای سادهای مانند Internal، Response Codes، Page Titles و H1 کار کرد.
.
دانلود و نصب اسکریمینگ فراگ
برای استفاده از اسکریمینگ فراگ ابتدا باید نسخه مناسب سیستمعامل خود را دانلود کنید. این نرمافزار برای سیستمعاملهای مختلف ارائه شده است.
پس از نصب و اجرای برنامه، محیط اصلی نرمافزار در اختیار شما قرار میگیرد. در این محیط میتوانید آدرس سایت موردنظر خود را وارد کرده و فرآیند خزش را آغاز کنید.
قبل از شروع Crawl، بهتر است تنظیمات نرمافزار را متناسب با سیستم و نوع سایت خود بررسی کنید.
.
تنظیم مصرف رَم در اسکریمینگ فراگ
اسکریمینگ فراگ هنگام خزش سایت، اطلاعات زیادی را در حافظه سیستم ذخیره میکند. هرچه تعداد URLهای سایت بیشتر باشد، میزان RAM مورد نیاز نیز افزایش پیدا میکند.
به همین دلیل، در سایتهای بزرگ مدیریت حافظه اهمیت زیادی دارد.
بااینحال، نباید تمام RAM سیستم را به Screaming Frog اختصاص داد؛ زیرا سیستمعامل و سایر برنامهها نیز به حافظه نیاز دارند. در صورت اختصاص بیش از حد حافظه، ممکن است سیستم کُند یا ناپایدار شود.
بهطور کلی، بهتر است بخشی از RAM را برای سیستمعامل آزاد بگذارید. میزان مناسب حافظه به عواملی مانند موارد زیر بستگی دارد:
- تعداد URLهای سایت
- حجم دادههای Crawl
- فعال بودن JavaScript Rendering
- تعداد تصاویر و منابع سایت
- نوع گزارشهایی که ذخیره میشوند
برای سایتهای کوچک، تنظیمات پیشفرض معمولاً کافی است؛ اما هنگام بررسی سایتهای بزرگ، بهتر است تنظیمات حافظه و نوع خزش با دقت بیشتری تنظیم شوند.
.
اعمال تنظیمات سفارشی برای خزش سایت
تنظیمات پیشفرض اسکریمینگ فراگ برای بسیاری از پروژههای معمولی مناسب است، اما در سایتهای بزرگ بهتر است فرآیند خزش را سفارشیسازی کنید.
برای دسترسی به تنظیمات خزش میتوان از بخش:
Configuration → Spider
استفاده کرد.
در این بخش میتوان مشخص کرد که Screaming Frog چه نوع محتواهایی را بررسی کند و چه مواردی را نادیده بگیرد.
برای مثال، میتوان:
- خزش برخی فایلها را محدود کرد.
- تصاویر را از فرآیند خزش حذف کرد.
- URLهای خاصی را Include یا Exclude کرد.
- خزش زیر دامنهها را مدیریت کرد.
- برخی منابع غیرضروری را از فرآیند Crawl خارج کرد.
این تنظیمات بهخصوص برای سایتهایی که دهها هزار یا حتی میلیونها URL دارند اهمیت زیادی دارد؛ زیرا خزش کامل چنین سایتهایی میتواند زمان و منابع زیادی مصرف کند.
بنابراین، بهتر است قبل از شروع Crawl مشخص کنید که دقیقاً به چه اطلاعاتی نیاز دارید و فقط همان بخشها را بررسی کنید.
نحوه استفاده از اسکریمینگ فراگ برای تحلیل سئو
پس از نصب و اجرای اسکریمینگ فراگ، میتوانید فرآیند خزش سایت را آغاز کنید. برای این کار، آدرس سایت موردنظر را در نوار بالای نرمافزار وارد کرده و روی گزینه Start کلیک کنید.
نرمافزار شروع به خزش سایت میکند و اطلاعات مختلفی درباره صفحات، لینکها و ساختار فنی سایت جمعآوری خواهد کرد.
مدت زمان این فرآیند به عوامل مختلفی بستگی دارد، از جمله:
- تعداد صفحات سایت
- سرعت سرور
- تنظیمات خزش
- تعداد منابع موجود در صفحات
- فعال بودن JavaScript Rendering
پس از پایان Crawl، اطلاعات سایت در بخشهای مختلف نرمافزار نمایش داده میشود.
.
مهمترین بخشهای گزارش اسکریمینگ فراگ
بررسی صفحات داخلی سایت
در بخش Internal میتوان فهرست صفحات داخلی سایت را مشاهده کرد.
در این بخش اطلاعاتی مانند موارد زیر نمایش داده میشود:
- URL صفحه
- کد وضعیت HTTP
- عنوان صفحه
- Meta Description
- وضعیت Indexability
- تعداد لینکهای داخلی
- نوع محتوا
- حجم صفحه
این بخش یکی از مهمترین قسمتهای اسکریمینگ فراگ برای شروع تحلیل سایت است.
بررسی خطاهای HTTP
در بخش Response Codes میتوان وضعیت پاسخ صفحات و منابع مختلف را بررسی کرد.
برخی از مهمترین کدهای وضعیت عبارتاند از:
- 200: صفحه با موفقیت بارگذاری شده است.
- 301: ریدایرکت دائمی
- 302: ریدایرکت موقت
- 404: صفحه پیدا نشد.
- 500: خطای داخلی سرور
با بررسی این گزارش میتوان صفحات دارای خطا و ریدایرکتهای نادرست را شناسایی کرد.
پیدا کردن صفحات ۴۰۴
یکی از کاربردهای مهم Screaming Frog، شناسایی صفحات دارای خطای ۴۰۴ است.
برای این کار میتوان از بخش Response Codes استفاده کرد و صفحات دارای کد وضعیت ۴۰۴ را فیلتر کرد.
پس از شناسایی این صفحات، باید بررسی شود که:
- آیا صفحه باید دوباره ایجاد شود؟
- آیا باید به صفحه مرتبطی ریدایرکت شود؟
- آیا حذف آن کاملاً منطقی است؟
بررسی عنوان صفحات و Meta Description
در بخشهای Page Titles و Meta Description میتوان وضعیت متادیتای صفحات سایت را بررسی کرد.
مواردی که بهتر است بررسی شوند عبارتاند از:
- صفحات بدون Title
- عنوانهای تکراری
- عنوانهای بسیار طولانی
- عنوانهای بسیار کوتاه
- صفحات بدون Meta Description
- توضیحات متای تکراری
پس از پیدا کردن این مشکلات، میتوان متادیتای صفحات مهم را اصلاح کرد.
بررسی تگهای H1 و H2
در بخشهای مربوط به H1 و H2 میتوان ساختار هدینگهای سایت را بررسی کرد.
برای مثال، اسکریمینگ فراگ میتواند صفحاتی را شناسایی کند که:
- H1 ندارند.
- چند H1 دارند.
- H1 تکراری دارند.
- H1 بسیار طولانی دارند.
البته داشتن چند H1 همیشه به معنای وجود مشکل قطعی نیست؛ بنابراین اطلاعات screaming-frog باید در کنار ساختار واقعی محتوا و هدف صفحه تحلیل شود.
بررسی Canonical
تگ Canonical به موتورهای جستجو کمک میکند نسخه اصلی یک صفحه را تشخیص دهند.
با Screaming Frog میتوان بررسی کرد:
- کدام صفحات Canonical دارند.
- Canonical کدام صفحات به URL دیگری اشاره میکند.
- Canonicalهای اشتباه وجود دارند یا نه.
- آیا URLهای Canonical شده قابل دسترسی هستند یا خیر.
این بررسی بهخصوص در سایتهای فروشگاهی و سایتهایی که صفحات مشابه زیادی دارند اهمیت زیادی دارد.
بررسی محتوای تکراری
محتوای تکراری یکی از مشکلات رایج در سایتهای بزرگ است.
اسکریمینگ فراگ میتواند مواردی مانند زیر را بررسی کند:
- عنوانهای تکراری
- توضیحات متای تکراری
- H1های تکراری
- صفحات دارای محتوای بسیار مشابه
البته برای تشخیص دقیق محتوای تکراری، بهتر است فقط به یک شاخص مانند عنوان صفحه اکتفا نشود و محتوای واقعی صفحات نیز بررسی شود.
.
مقایسه نسخه رایگان و پولی اسکریمینگ فراگ
نرم افزاز اسکریمینگ فراگ در دو حالت رایگان و پولی قابل استفاده است. نسخه رایگان برای بررسیهای اولیه و سایتهای کوچک مناسب است، اما نسخه پولی امکانات بیشتری برای پروژههای حرفهای ارائه میدهد.
| قابلیت | نسخه رایگان | نسخه پولی |
|---|---|---|
| محدودیت تعداد URL | محدود | مناسب برای سایتهای بزرگ |
| بررسی خطاهای فنی | دارد | دارد |
| بررسی Title و Meta Description | دارد | دارد |
| بررسی H1 و H2 | دارد | دارد |
| فیلتر کردن دادهها | دارد | پیشرفتهتر |
| خروجی گرفتن از گزارشها | محدودتر | کاملتر |
| امکانات اتصال به سرویسهای خارجی | محدود | گستردهتر |
| امکانات حرفهای Crawl | محدود | پیشرفته |
| قابلیتهای مناسب سایتهای بزرگ | محدود | مناسبتر |
نسخه رایگان برای چه کسانی مناسب است؟
نسخه رایگان میتواند انتخاب مناسبی برای موارد زیر باشد:
- سایتهای کوچک
- وبلاگها
- بررسیهای اولیه سئو
- یادگیری Screaming Frog
- پروژههایی با تعداد URL محدود
نسخه پولی برای چه کسانی مناسب است؟
نسخه پولی بیشتر برای این گروهها کاربرد دارد:
- متخصصان حرفهای سئو
- آژانسهای سئو
- سایتهای بزرگ
- فروشگاههای اینترنتی
- پروژههایی با هزاران URL
- افرادی که به گزارشهای پیشرفته و امکانات حرفهای نیاز دارند
بنابراین، خرید نسخه پولی برای همه کاربران ضروری نیست. اگر سایت کوچک است و نیازهای شما با امکانات نسخه رایگان برطرف میشود، نسخه رایگان میتواند کافی باشد.
.
مزایا و معایب اسکریمینگ فراگ
مزایای Screaming Frog
بررسی عمیق سئوی تکنیکال
Screaming Frog اطلاعات زیادی درباره ساختار فنی سایت ارائه میدهد و برای تحلیل تکنیکال، ابزار قدرتمندی محسوب میشود.
امکان فیلتر کردن دادهها
حجم اطلاعاتی که از یک سایت دریافت میشود ممکن است زیاد باشد. قابلیت فیلتر کردن کمک میکند فقط مشکلات مهمتر را بررسی کنید.
مناسب برای سایتهای کوچک و بزرگ
با تنظیم درست Crawl میتوان از این ابزار برای پروژههای مختلف استفاده کرد.
ارائه گزارشهای متنوع
اطلاعات مربوط به لینکها، صفحات، ریدایرکتها، متادیتا و وضعیت ایندکس در بخشهای مختلف قابل بررسی است.
امکان خروجی گرفتن از دادهها
در پروژههای حرفهای میتوان اطلاعات را برای تحلیلهای بیشتر Export کرد.
معایب Screaming Frog
نیاز به منابع سختافزاری
در سایتهای بزرگ، مصرف RAM و منابع سیستم میتواند زیاد باشد.
پیچیدگی برای کاربران مبتدی
در نگاه اول، تعداد زیاد گزارشها و تنظیمات ممکن است برای کاربران تازهکار کمی گیجکننده باشد.
محدودیت نسخه رایگان
نسخه رایگان برای سایتهای بزرگ محدودیتهایی دارد و ممکن است برای پروژههای حرفهای کافی نباشد.
نیاز به تحلیل انسانی
Screaming Frog فقط داده و مشکل را نشان میدهد؛ اما تصمیمگیری درباره نحوه اصلاح هر مشکل به تحلیل متخصص سئو نیاز دارد.
برای مثال، مشاهده یک صفحه ۴۰۴ بهتنهایی به این معنی نیست که حتماً باید آن را ریدایرکت کرد.
.
آیا اسکریمینگ فراگ برای سایت شما مناسب است؟
اگر میخواهید وضعیت فنی سایت خود را بررسی کنید، اسکریمینگ فراگ میتواند یکی از ابزارهای مفید در فرآیند سئو باشد.
این ابزار بهخصوص برای سایتهایی مناسب است که:
- صفحات زیادی دارند.
- ساختار پیچیدهای دارند.
- بهصورت منظم محتوا منتشر میکنند.
- مشکلات فنی زیادی دارند.
- نیاز به بررسی لینکهای داخلی دارند.
- قصد انجام Technical SEO دارند.
بااینحال، بهتر است اسکریمینگ فراگ را بهعنوان یکی از ابزارهای تحلیل سئو در نظر بگیرید، نه تنها ابزار موجود.
برای تحلیل کاملتر سایت، معمولاً اطلاعات اسکریمینگ فراگ در کنار ابزارهایی مانند Google Search Console و ابزارهای تحلیل عملکرد سایت بررسی میشود.
.
جمعبندی
Screaming Frog SEO Spider یکی از ابزارهای کاربردی برای بررسی سئوی تکنیکال و تحلیل ساختار سایت است. این نرمافزار با خزش صفحات سایت میتواند اطلاعات مهمی درباره URLها، لینکهای داخلی، کدهای وضعیت، ریدایرکتها، عنوان صفحات، توضیحات متا، تگهای هدینگ و وضعیت ایندکسپذیری در اختیار کاربر قرار دهد.
نسخه رایگان Screaming Frog برای سایتهای کوچک و بررسیهای اولیه مناسب است، درحالیکه نسخه پولی امکانات بیشتری برای تحلیل سایتهای بزرگ و پروژههای حرفهای ارائه میدهد.
برای استفاده بهتر از این ابزار، تنها پیدا کردن خطاها کافی نیست؛ بلکه باید هر مشکل را بر اساس اهمیت آن تحلیل کرد و سپس بهترین راهکار را برای اصلاح آن انتخاب کرد.
به همین دلیل، اسکریمینگ فراگ را میتوان یکی از ابزارهای ارزشمند برای سئوکاران، مدیران سایت و توسعهدهندگان وب دانست؛ ابزاری که با کمک آن میتوان دید دقیقتری نسبت به ساختار فنی و مشکلات سئوی سایت به دست آورد.
.
سوالات متداول
آیا Screaming Frog رایگان است؟
بله. Screaming Frog نسخه رایگان دارد، اما این نسخه برای خزیدن حداکثر ۵۰۰URL در هر Crawl یا خرش محدودیت دارد. برای سایتهای بزرگتر و دسترسی به امکانات پیشرفته، باید از نسخه پولی استفاده کنید.
آیا اسکریمینگ فراگ برای سایتهای فارسی مناسب است؟
بله. اسکریمینگ فراگ میتواند سایتهای فارسی را نیز Crawl و تحلیل کند. البته برای بررسی دقیقتر برخی موارد مانند عنوانها، توضیحات متا و محتوای فارسی، بهتر است تنظیمات Crawl و Encoding بهدرستی بررسی شوند.
چرا اسکریمینگ فراگ بعضی از صفحات سایت را پیدا نمیکند؟
دلایل مختلفی ممکن است وجود داشته باشد؛ از جمله نبود لینک داخلی به صفحه، مسدود بودن URL در فایل robots.txt، وجود تگ noindex، محدودیتهای دسترسی یا تنظیمات نادرست Crawl در خود ابزار.
چرا اسکریمینگ فراگ در هنگام Crawl سایت با خطا مواجه میشود؟
این مشکل میتواند به دلیل مسدود بودن خزنده، محدودیتهای سرور، خطاهای DNS، تنظیمات robots.txt، نیاز به ورود به سایت یا محدودیت منابع سیستم شخصی تان مثلا کمبود Ram رخ دهد. بررسی تنظیمات Crawl و گزارش خطاها معمولاً به پیدا کردن علت کمک میکند.
آیا میتوان با اسکریمینگ فراگ سایت رقبا را بررسی کرد؟
بله، تا زمانی که صفحات سایت رقیب برای خزنده قابل دسترسی باشند، میتوانید ساختار URL، عناوین، متادسکریپشنها، کدهای وضعیت و برخی اطلاعات فنی آن را تحلیل کنید. البته اطلاعاتی مانند ترافیک واقعی یا دادههای خصوصی سایت رقیب از طریق اسکریمینگ فراگ قابل مشاهده نیست.
هر چند وقت یکبار باید سایت را با اسکریمینگ فراگ بررسی کرد؟
برای سایتهای فعال، یک کِرال دورهای میتواند به شناسایی سریع مشکلات جدید کمک کند. سایتهای بزرگ یا سایتهایی که مرتباً تغییر میکنند، بهتر است با فاصله زمانی کوتاهتری بررسی شوند؛ اما برای سایتهای کوچک، بررسی ماهانه یا پس از تغییرات مهم معمولاً کافی است.
