Backlink Blindspots: State of Robots.txt

Backlink Blindspots: State of Robots.txt

 

در اینجا در موز ما متعهد شده ایم که Link Explorer را تا حد ممکن شبیه Google کند ، به ویژه در شیوه خزیدن وب. من در مقالات قبلی برخی از معیارهای مورد استفاده برای بررسی این عملکرد را مورد بحث قرار داده ام ، اما امروز می خواستم کمی زمان را صرف صحبت کردن در مورد تأثیر robots.txt و خزیدن وب کنیم.

 

بیشتر شما با robots.txt آشنا هستید به عنوان روشی که با استفاده از آن وب مسترها می توانند Google و سایر رباتها را برای بازدید فقط صفحات خاصی در سایت راهنمایی کنند. وب مسترها می توانند گزینشی باشند و به برخی از صفحات اجازه می دهند در حالی که دسترسی سایر ربات ها به همان صفحه را ندارند ، از برخی صفحات بازدید کنند. این مسئله مشکلی برای شرکتهایی مانند Moz ، Majestic و Ahrefs ایجاد می کند : ما سعی داریم وب را مانند Google خزنده کنیم ، اما برخی وب سایت ها ضمن دسترسی به Googlebot ، دسترسی به ربات های ما را سلب می کنند. بنابراین ، چرا این موضوع دقیقاً اهمیت دارد؟

چرا مهم است؟

 

نمودار نشان می دهد که چگونه خزنده ها از یک پیوند به لینک دیگر می روند

 

وقتی وب را خز می کنیم ، اگر یک ربات با یک پرونده robots.txt روبرو شود ، از خزیدن محتوای خاص جلوگیری می شود. ما می توانیم پیوندهایی که به سایت اشاره می کنند را مشاهده کنیم ، اما درمورد محتوای خود سایت کور هستیم. ما نمی توانیم پیوندهای خروجی آن سایت را ببینیم. این امر منجر به کمبود فوری در نمودار پیوند ، حداقل از نظر شباهت به Google (اگر Googlebot به طور مشابه مسدود نشده باشد) نیست.

 

اما این تنها مسئله نیست. شکست آبشار ناشی از مسدود شدن ربات ها توسط robots.txt به صورت اولویت بندی خزیدن وجود دارد . وقتی یک ربات وب را خز می کند ، پیوندها را کشف می کند و باید اولویت بندی کند که پیوندها به خزیدن بعدی چیست. بیایید بگوییم گوگل 100 پیوند را پیدا کرده و 50 مورد برتر را برای خزیدن در اولویت قرار داده است. با این حال ، یک ربات مختلف این 100 پیوند را پیدا می کند ، اما از خزیدن 10 از 50 صفحه برتر توسط robots.txt مسدود شده است. درعوض ، آنها مجبور به چرخش در اطراف آن ها می شوند و باعث می شوند 50 صفحه متفاوت برای خزیدن انتخاب کنند. این مجموعه متفاوت از صفحات خزنده ، البته مجموعه های متفاوتی از لینک ها برمی گردد. در این مرحله از خزیدن بعدی ، Google نه تنها مجموعه متفاوتی را که مجاز به خزیدن آنها است ، نخواهد داشت ، بلکه این مجموعه متفاوت خواهد بود زیرا در وهله اول صفحات مختلفی را خزیدند.

 

داستان کوتاه بلند ، دقیقاً مثل پروانه ضرب المثلی که بالهای خود را می پیچد ، سرانجام منجر به طوفان ، تغییرات کوچک در robots.txt می شود که از برخی رباتها جلوگیری می کند و به دیگران اجازه می دهد در نهایت منجر به نتایج بسیار متفاوتی نسبت به آنچه گوگل در واقع مشاهده می کند ، شود.

خوب چگونه اینکار را انجام دهیم؟

 

شما می دانید که من نمی خواهم به شما آویزان شوم. بیایید برخی از تحقیقات انجام دهیم. بیایید 1000،000 وب سایت برتر در اینترنت را مطابق با Quantcast آنالیز کنیم و مشخص کنیم که کدام ربات ها مسدود شده ، چند بار و چه تأثیراتی می توانند داشته باشند.

روش شناسی

 

روش شناسی نسبتاً ساده است.

 

    Quantcast Top Million را بارگیری کنید

    robots.txt را اگر از همه میلیون سایت برتر موجود است بارگیری کنید

    robots.txt را تجزیه کنید تا مشخص شود آیا صفحه اصلی و سایر صفحات در دسترس هستند

    داده های پیوند مربوط به سایتهای مسدود شده را جمع آوری کنید

    کل صفحات در سایت مربوط به سایتهای مسدود شده را جمع کنید.

    تفاوت میان خزنده ها را گزارش کنید.

 

کل سایت مسدود شده است

 

اولین و آسانترین متریک برای گزارش تعداد سایتهایی است که همزمان با اجازه دادن به Google ، خزنده های فردی (Moz ، Majestic ، Ahref) را مسدود می کنند. اکثر سایتی که یکی از خزنده های اصلی یادگیری  و آموزش سئو را مسدود می کند ، همه آنها را مسدود می کند. آنها به سادگی robots.txt را تنظیم می کنند تا موتورهای جستجوگر اصلی را در حالی که دیگر ترافیک ربات ها را مسدود می کند ، امکان پذیر کند. پایین بهتر است.

 

نمودار نوار تعداد سایتهای مسدود کننده هر ابزار جستجوگرها در robots.txt را نشان می دهد

 

از بین سایتهای مورد بررسی ، 27123 MJ12Bot (Majestic) مسدود شده ، 32.982 Ahref را مسدود کرده و 25427 Moz را مسدود کرده اند. این بدان معناست که در میان خزندگان بزرگ صنعت ، موز کمترین احتمال دارد که از سایتی رد شود که به Googlebot اجازه دهد. اما واقعاً این چیست؟

کل RLD ها مسدود شده است

 

همانطور که قبلاً بحث شد ، یک مسئله بزرگ در مورد ورودی های متفاوت robots.txt این است که جریان PageRank را متوقف می کند. اگر Google می تواند سایتی را مشاهده کند ، می تواند از مراجعه به دامنه ها از طریق دامنه های برون مرزی سایت به سایت های دیگر ، حقوق مالکیت پیوند را منتقل کند. اگر سایتی توسط robots.txt مسدود شده باشد ، به نظر می رسد که خطوط خروجی عبور و مرور در همه جاده های ورودی به سایت مسدود شده است. با شمارش تمام خطوط ورودی ترافیک ، می توانیم از تأثیر کل در نمودار پیوند ، ایده ای بدست آوریم. پایین بهتر است.

 

طبق تحقیقات ما ، Majestic در 17،787،118 دامنه مرجع ، Ahrefs در 20،072،690 و Moz در 16،598،365 به بن بست رسیده است. یک بار دیگر ، مشخصات robots.txt موزی شبیه ترین به گوگل است. اما مراجعه به دامنه ها تنها موضوعی نیست که باید به آن نگران باشیم.

کل صفحات مسدود شده است

 

بیشتر صفحات وب فقط پیوندهای داخلی دارند. Google علاقه مند به ایجاد نمودار پیوند نیست - آنها علاقمند به ایجاد موتور جستجو هستند. بنابراین ، یک ربات طراحی شده برای عملکرد مانند Google باید به همان صفحه هایی توجه داشته باشد که فقط پیوندهای داخلی را دریافت می کنند ، زیرا آنها لینک های خارجی را دریافت می کنند. متریک دیگری که می توانیم اندازه گیری کنیم تعداد کل صفحاتی است که با استفاده از سایت Google مسدود شده است: پرس و جو برای تخمین تعداد صفحاتی که گوگل به آن دسترسی دارد یک خزنده متفاوت نمی کند. بنابراین ، خزندگان صنعت رقیب چگونه عمل می کنند؟ پایین بهتر است.

 

بار دیگر ، موز بر روی این متریک می درخشد. فقط مسدود شده توسط سایت های کمتر است - Moz توسط سایت های مهمتر و کوچکتر مسدود شده است. Majestic فرصت خزیدن 675،381.982 صفحه را از دست می دهد ، Ahrefs 732،871،714 را از دست می دهد و Moz نیز 658،015،885 را از دست می دهد. تقریباً 80 میلیون صفحه تفاوت بین Ahrefs و Moz در بین میلیون سایت برتر وب وجود دارد.

سایتهای منحصر به فرد مسدود شده است

 

بسیاری از robots.txt اجازه نمی دهد که روبرو Moz ، Majestic و Ahref شوند ، به سادگی تمام پوت های پستی که نماینده موتورهای اصلی جستجو نیستند ، هستند. با این حال ، ما می توانیم زمانهایی را حفظ کنیم که رقیبان خاص برای محرومیت شناخته می شوند در حالی که رقبا باقی می مانند. به عنوان مثال ، مگر چند بار مسدود شده است در حالی که مجوزها و مجاهدین اجازه دارند؟ کدام ربات بیشترین تفکیک را دارد؟ پایین بهتر است.

 

Ahrefs توسط 1201 سایت ، Majestic با 7152 و Moz با 904 مشخص شده است. قابل درک است که Majestic با توجه به اینکه آنها سالها ، یک دهه یا بیشتر از آن استفاده کرده اند ، دارای لینک لینک بسیار بزرگ هستند. 10 سال طول کشید تا موز 904 بلوک انفرادی robot.txt جمع شود و به مدت 7 سال برای جمع آوری 1204 آرفس به طول انجامید. اما بگذارید چند مثال از این موضوع را بیان کنم.

 

اگر به پیوندهایی از name.com ، hypermart.net یا eclipse.org اهمیت می دهید ، نمی توانید فقط به Majestic اعتماد کنید.

 

اگر به پیوندهایی از popsugar.com ، dik.cc یا bookcrossing.com اهمیت می دهید ، نمی توانید فقط به Moz اعتماد کنید.

 

اگر به پیوندهایی از dailymail.co.uk ، patch.com یا getty.edu اهمیت می دهید ، نمی توانید فقط به Ahref اعتماد کنید.

 

و صرف نظر از آنچه انجام می دهید یا از کدام ارائه دهنده استفاده می کنید ، نمی توانید از yelp.com ، who.int یا findarticles.com پیوند برقرار کنید.

نتیجه گیری

 

در حالی که خزنده DotBot موز به وضوح از نزدیکترین پروفایل robots.txt به گوگل در بین سه فهرست پیوند اصلی برخوردار است ، هنوز کارهای زیادی باید انجام شود. ما بسیار سخت کار می کنیم تا ادعای خزنده را انجام دهیم تا اطمینان حاصل کنیم که هیچ مسئولیتی برای وب مسترها نداریم ، که به ما امکان می دهد وب را به شکلی شبیه به Google خزنده کنیم. ما به پیشرفت بیشتری در جهت بهبود عملکرد خود در وب ادامه خواهیم داد و بهترین شاخص بک لینک ممکن را برای شما به ارمغان می آوریم.

 

با تشکر از Dejan SEO به خاطر نمودار پیوند زیبایی که در تصویر هدر به کار رفته است و برای تصویر اولیه استفاده شده در نمودارها مطابقت دارد .

 

درباره rjonesx. -

 

من دانشمند اصلی جستجو در موز هستم. من 3 دختر شگفت انگیز کلارن ، آون و الیس ، یک همسر غیرقابل مقایسه مورگان ، و یک زن مسیحی دموکرات دارم که اغلب نمی داند چه موقع دهان خود را ببندد :-)