بودجه خزش (Crawl budget) چیست

طراحی سایت

..بودجه خزش (Crawl budget) چیست..
طراحی سایت

بودجه خزش (Crawl budget) چیست

بودجه خزش (crawl budget) به معنای ساده سطح توجه موتور جستجو گوگل به سایت را نشان می دهد. بر این اساس تعیین می شود که ربات های گوگل در چه مدت زمانی دوباره وب سایت شما را مرور کنند.

اگر فکر می کنید که در مدت زمان طولانی (مثلاً یک هفته) صفحات مهم سایت ایندکس نشدند و بازدید نداشتند ، احتمالاً بودجه خزش خود را هدر می دهید و درنتیجه سئو سایت دچار مشکل می‌شود.

در این مقاله با تعریف بودجه خزش و سوالاتی که ممکن است با آن مواجه شوید، سعی کردیم بهترین راه حل را برای افزایش خزش فراهم کنیم.

بودجه خزش (crawl budget) در سئو چه مفهومی دارد؟

همان‌طور که گفتیم بودجه خزش تعداد صفحاتی است که گوگل تصمیم می گیرد در یک بازه زمانی معین سایت شما را مرور می کند که این میزان می تواند، متفاوت باشد اما در کل یک مقدار پایدار است.

تعداد صفحاتی که گوگل آن‌ها را مرور می کند محدودیتی ندارد یعنی ممکن است 6 صفحه از سایت در روز مرور شود یا 400,000 . پس به طور کلی با توجه به معیارهایی این میزان تعیین می شود که بعدا راجب آن صحبت می کنیم.

چرا موتورهای جستجو بودجه خزش را برای وب سایت ها در نظر گرفتند

با توجه به اینکه میلیون‌ها صفحه جدید روزانه به وب سایت ها اضافه می شود و تعداد آن ها محدودیتی ندارند. بنابراین ایندکس صفحات نیاز به اولویت‌بندی دارد تا ربات های گوگل بتوانند این کار را انجام دهند.

میزان بودجه خزش برای وب سایت چطور تعیین می شود

دو عامل وجود دارد تا میزان بودجه خزش صفحات تعیین شوند، محدودیت خزش  (crawl limit) و تقاضای خزیدن (crawl demand) ، که در قسمت پایین به تشریح هر کدام می پردازیم.

محدودیت خزش بر اساس منابع سرور (Crawl limit / host load)

حد خزیدن بخش مهمی از بودجه خزش به حساب می آید. به همین منظور ربات های گوگل به گونه ای طراحی شدند تا از اضافه بار سرور جلوگیری کنند و با احتیاط بیشتری صفحات وب را مرورکنند.

حال عوامل مختلفی روی حد خزیدن موثر است مثلاً اگر وب سایت شما با چند وب سایت دیگر روی یک سرور مشترک اجرا شده باشد و شما یک وب سایت بزرگ در اختیار داشته باشید، خزش در سایت بسیار محدود انجام می شود. در این صورت بهتر است از یک هاست اختصاصی استفاده کنید تا احتمال چنین محدودیتی برای وب سایت شما اتفاق نیفتد.

عامل دیگری که بر میزان خزش تاثیر می گذارد، تعداد سایت های فعالی است که بر روی یک هاست دارید. در این وضعیت وصل شدن به سرور سخت می شود و امکان خطای بازگشت از سرور را خواهیم داشت.

در حالت کلی باید در نظر بگیرید که سرور شما چقدر می تواند تعداد درخواست های فرستاده شده سمت سرور را پاسخ گو باشد و چقدر تحمل میزان خزش را دارد.

تقاضای خزیدن  (Crawl demand / crawl scheduling):

تقاضای خزیدن یا برنامه ریزی خزیدن بر اساس ارزش URL است که می تواند عوامل بسیاری را در خود وارد کند از جمله :

  • محبوبیت : میزان لینک های داخلی و خارجی که در صفحات خود قرار می دهید، همچنین میزان جستجو برای رتبه بندی تاثیر زیادی دارد.
  • نوع صفحه: صفحات یک وب سایت می تواند در دسته بندی محصولات، صفحه قوانین ومقررات ، تماس با ما و غیره باشد. پس بر اساس نوع صفحه واهمیت آن‌ها، اولویت خزیدن باید انجام شود.
  • تازگی ( ایجاد موارد جدیدتر): به‌روزرسانی ، ایجاد محتوای جدید هم در تقاضای خزش تأثیر زیادی دارند.

مثلاً سایت هایی که هر روز محتوای جدید در وب سایت خود قرار می دهند، نسبت به سایت های خبری که هر چند ساعت یک بار محتوا ایجاد می کنند تعداد خزش کمتری به نسبت انتشار محتوا دارند.

چرا باید به بودجه خزش سایت خود اهمیت بدهیم

ما به دنبال این هستیم که موتورهای جستجو بیشترین صفحات ما را ایندکس و مرور کنند و البته در اسرع وقت این کار را انجام بدهند. اهمیت بودجه خزش زمانی مهم می شود که باید صفحات جدید وب سایت شما سریع تر توسط موتورهای جستجو مرور شوند.

حالا در نظر بگیرید که بودجه خزش خود را از دست دادید و موتورهای جستجو نتوانستند بخش های مهم سایت را کشف کنند. با تمام تلاش هایی که برای وب سایت خود انجام دادید نتوانستید رتبه خوبی در نتایج گوگل بگیرید.

در این حالت باید برای موتورهای جستجو تعیین کنید که کدام صفحات اهمیت بیشتری دارند بخصوص اگر صفحات وب سایت بیش از 10,000 صفحه است.

چطور بودجه خزش وب سایت خودم را پیدا کنم

اگر برای وب سایت خود اکانت کنسول گوگل دارید می توانید به قسمت Crawl بروید وبر Crawl Stats کلیک کنید. در آنجا تعداد صفحاتی که گوگل آنها را هر روز مرور می کند را مشاهده کنید.

چطور بودجه خزش وب سایت خودم را پیدا کنم

برای مشاهده بودجه خزش سایت :

به منابع سرور خود مراجعه کنید

بررسی گزارش های سرور می تواند داده های جالب را فراهم کند و تعداد خزنده های گوگل که سایت شما را مرور می کنند را نشان دهد.

که البته می توانید این داده ها را با داده هایی که از کنسول گوگل خود بدست آوردید مقایسه کنید و تحلیل های بیشتری را برای یافتن بهترین راهکار کسب رتبه ای بالاتر را داشته باشید.

بهینه سازی بودجه خزش را چطور انجام دهیم

بهینه سازی بودجه خزش راه های زیادی دارد اما در اینجا 8 مورد مهم را جمع آوری کردیم که باید به آنها توجه کنید و موارد ذکر شده را رفع کنید.

1. پارامترهای فیلتر محصولات در URL

URL های با پارامتر نباید برای موتورهای جستجو قابل دسترس باشند چون می توانند تعداد نامحدودی URL ایجاد کنند. این آدرس ها معمولاً هنگام استفاده از فیلتر های محصول در فروشگاه اینترنتی استفاده می شوند  مثلا https://www.example.com/cars/bmw?color=white در اینجا بایدمطمئن شوید در دسترس موتور های گوگل نباشد.

برای انجام این کار باید در سرچ کنسول گوگل یا ابزار وب مستر بینگ استفاده کنید ، تگ nofollow  به لینک های فیلتر اضافه کنید یا در robots.txt دستور عدم دسترسی به این آدرس را بدهید.

2. محتوای تکراری

روش های زیادی برای جلوگیری از محتوای تکراری است، مثلاً زمانی که می خواهیم آدرس صفحه ای را وارد کنیم به HTTP ، HTTPS وWWW لینک ها دقت کنیم. صفحات نتایج جستجو داخلی در robot.txt غیر قابل دسترسی کنیم و موارد دیگر که می تواند بودجه خزش را بهینه سازی می کند باید انجام شود.

3. محتوا با کیفیت پایین

بهتر است سعی کنیم محتوایی با کیفیت پایین را به حداقل برسانیم یا در صورت امکان چنین محتوایی ایجاد نکنیم. این صفحات برای موتورهای جستجو اصلا جالب نیست، به احتمال بالایی مرور نمی شود.

4. لینک های شکسته 404 و ریدایرکت طولانی

لینک های شکسته 404 و ریدایرکت طولانی باعث می شوند که ربات های جستجو کرول خود را قطع کنند. گوگل مانند مرورگرها حداکثر تا 5 تغییر مسیر را در یک خزیدن دنبال می کنند که البته ممکن است دوباره خزیدن را انجام دهند.

با این حال توصیه می کنیم از تغییر مسیر های زنجیره ای به طور کامل خودداری کنید و استفاده از ریدارکت ها را به حداقل برسانید.

5. آدرس URL های نادرست را در فایل نقشه سایت  خود قرار ندهید

کلیه آدرس هایی که در فایل XML سایت قرار می دهید باید فهرست بندی باشند، در حقیقت موتورهای جستجو به شدت به نقشه های XML تکیه می کنند تا تمام صفحات شما را پیدا کنند.

اگر نقشه سایت شامل صفحاتی که وجود ندارند یا ریدایرکت باشد، بودجه خزش شما هدر می رود باید آدرس های ایندکس نشده خود را بررسی کنید.

چگونه گزارش های نقشه سایت را در سرچ کنسول پیدا کنیم؟

  1. وارد اکانت سرچ کنسول گوگل شوید
  2. روی زبانه Crawl کلیک کنید
  3. در آخر روی زبانه Sitemaps کلیک کنید
چگونه گزارش های نقشه سایت را در سرچ کنسول پیدا کنیم؟

یکی از روش های دیگر که می توانید بودجه خزش خود را بهینه سازی کنید تقسیم نقشه سایت XML است. به عنوان مثال می توانید برای هر یک از بخش های سایت، نقشه XML جداگانه ایجاد کنید.

با این کار اگر بخش A سایت 500 لینک داشته باشد و 480 ایندکس شده می توانید مطمئن باشید که موتورهای جستجو به خوبی سایت شما را مرور می کنند. اگر در بخش  B سایت از بین این 500 لینک فقط 120 آن ها ایندکس شود باید به این موضوع توجه کنید چه لینک هایی در این بخش وجود دارد و چقدر در سئو وب سایت اهمیت دارد.

در صورتی که اهمیت چندانی ندارد به بهینه سازی بودجه خزش بخش های دیگر بپردازید.

6. صفحات با سرعت لود پایین

هنگامی که صفحات بار زیاد دارند یا در مدت طولانی لود می شوند، موتورهای جستجو کمتر می توانند این صفحات را مرور کنند. پس اگر زمان بارگذاری سایت بالاتر از 2 ثانیه است باید به کمک ابزار هایی مثل Pingdom ، WebPagetest یا GTmetrix بررسی شوند.

یک سایت باید مرتباً سرعت خود را بررسی کند تا سرعت کم صفحات مانع کسب‌وکار آنلاین نشود.

7. تعداد صفحات ایندکس نشده را کاهش دهید

اگر وب سایت تعداد زیادی صفحه ایندکس نشده در دسترس موتورهای جستجو داشته باشد، باید آن‌ها را پیدا کنید و دلیل ایندکس نشدن صفحات را رفع کنید. صفحات غیر قابل ایندکس انواع زیر را دارند:

  • ریدایرکت (3xx)
  • صفحات ناموجود (4xx)
  • صفحاتی که خطای سرور دارند (5xx)
  • آدرس هایی که ایندکس نمی شوند (تگ noindex یا URL کنونیکال دارند)

8. تغییر ساختار لینک داخلی بد

چگونگی لینک هایی که به صفحات خود می دهید نقش زیادی را در بهینه سازی بودجه خزش دارد، به طوری که باید ساختار لینک داخلی را در یک قاعده ای رعایت کنید. مثلاً تعداد دو یا سه لینک داخلی به صفحات دیگر بدهید و بک لینک های خود را بهبود دهید.

از ساختار لینک داخلی سلسله مراتبی اجتناب کنید، چون در اغلب موارد مرور نمی شوند. ( بخصوص صفحات انتهای سلسله مراتب)

به عنوان مثال اگر مقاله ای که 3 سال گذشته آن را در سایت خود قرار دادید که ترافیک ارگانیک بالایی دارد. باید در محتوای جدید آن را لینک دهید. البته شما می توانید برای بهبود لینک های داخلی سایت مقاله لینک داخلی چه تاثیری در سئو سایت دارد در بلاگ آی وحید را مطالعه کنید و از اهمیت و نحوه ایجاد لینک های داخلی اطلاع پیدا کنید.

بودجه خزش چیست؟

بودجه خزش (crawl budget) به معنای ساده سطح توجه موتور جستجو گوگل به سایت را نشان می دهد. بر این اساس تعیین می شود که ربات های گوگل در چه مدت زمانی دوباره وب سایت شما را مرور کنند.

چگونه می توان بودجه خزیدن سایت را افزایش داد؟

هرچه قدرت صفحه بیشتر باشد ، بودجه خزیدن بیشتر خواهد بود. به عبارت ساده تر ، برای افزایش بودجه خزیدن ، محتوای مناسبی برای صفحات سایت خود را ایجاد کنید.

چطور بودجه خزش وب سایت خودم را پیدا کنم؟

از طریق کنسول گوگل سایت خود می توانید به قسمت Crawl بروید وبر Crawl Stats کلیک کنید. در آنجا تعداد صفحاتی که گوگل آنها را هر روز مرور می کند را مشاهده کنید.

پایان

بودجه خزش (crawl budget) از موارد مهم سئو وب سایت است. صفحات وب سایت شما نیاز دارد تا با اولویت بندی و بهینه سازی بودجه خزش به رتبه بالاتری دست پیدا کند.

68
01 تیر 1399
..نظرات..
..مقالات پربازدید..
طراحی سایت

آموزش قرعه کشی در اینستاگرام

  آموزش قرعه کشی در اینستاگرام   با سلام خدمت دوستان و کاربران گرامی . امروز با آموزش قرعه کشی در اینستاگرام برای کسانی که علاقه به ایجاد کمپین های تبلیغاتی دارند در خدمت شما هستیم . بحث قرعه کشی در اینستاگرام با توجه به فراگیر شدن این شبکه اجتماعی که البته امروزه زیرمجموعه فیسبوک مطرح میشود ، زیاد شده است . البته این احتمال وج...

18763
24 فروردین 1398
طراحی سایت

bit.ly چیست ؟

بیتلی یا bitly یکی از شناخته‌شده‌ترین سرویس‌های کوتاه کننده لینک است. این سایت با نشانی https://bit.ly در سال ۲۰۰۸ تاسیس شد. یک کوتاه کننده‌ی لینک وظیفه دارد تا لینک‌های مورد نظر کاربران را به شکل کوتاه و قابل خواندن و نوشتن تبدیل کند. این سرویس در هر ماه حدود ۶۰۰ میلیون لینک کاربران را کوتاه می‌کند. علت استفاده از...

3894
27 آذر 1398
سئو

چگونه ویدیو کلاس های آنلاین (وبینار) را ضبط کنیم؟| آموزش ۳ روش

در این مقاله به شما آموزش می دهیم چطور و با چه ابزارهایی می توانید کلاس های آنلاین و یا ویدیوهای آموزشی خودتان را ضبط کنید. امروز که حال و روز جهان خوب نیست، حضور مردم در کنار هم کمرنگ تر شده و فاصله ها از هر زمان دیگری بیشتر شده است. این شرایط به ما فهماند تا چه حد زندگی انسان مدرن وابسته به اینترنت است. این روز ها که همه ی ما مجبور به ماندن در...

3664
08 اردیبهشت 1399