روبوتها را از سایت خود بیرون کنید!
شاید جالب باشد Ú©Ù‡ بدانید کمتر از نیمی از تراÙیک وب توسط کاربران واقعی است Ùˆ Øدود ÛµÛ± درصد تراÙیک وب شامل تراÙیکی است Ú©Ù‡ به نوعی روبوتیک ایجاد شده است. موتورهای جستجو، اسپم سازهای کامنت گذار Ùˆ روبوتهای Ú©Ù¾ÛŒ کننده مطلب از مهمترین این Ùعالیتهای روبوتیک هستند. اما چگونه این Ùعالیتهای روبوتیک را روی سایت خود Ú©Ù… کنیم؟
ابتدا یک سئوال پیش Ù…ÛŒ آید Ùˆ آن اینکه چرا باید Ùعالیتهای روبوتیک روی سایت Ùˆ یا وبلاگ خود را Ú©Ù… کنیم؟
جواب خیلی ساده Ùˆ ÙˆØ§Ø¶Ø Ø§Ø³Øª! این روبوتها مانند باکتریهای مضر منابع سیستمی Ùˆ باند سایت شما را Ù…ÛŒ خورند Ùˆ موجب کندی وب سایت شما برای کاربران واقعی Ù…ÛŒ شوند. از آنجایی Ú©Ù‡ این روبوتها بر خلا٠انسانها توان کاوش همزمان بسیار بالایی دارند Ù…ÛŒ توانند به طر Ù…Øسوسی تا Û³Û° درصد بار Ùˆ تراÙیک سایت شما را مصرو٠خود کنند. این مطلب وقتی شما دارای یک خدمات هاستینگ اشتراکی باشید بسیار مهمتر است.
اما روبوتها چند مدل هستند؟
روبوتهای روی وب هم مانند انسانها دو نوع Ù…Øترم Ùˆ غیر Ù…Øترم هستند! نوع Ù…Øترم را اگر بگویی برو Ùˆ این طرÙها پیدایت نشود سریعاً سایت شما را ترک Ù…ÛŒ کنند، اما نوع غیر Ù…Øترم چنین نیستند Ùˆ گوششان بدهکار نیست. روبوتهای موتورهای جستجو همگی از نوع Ù…Øترم هستند. روبوتهای اسپم گذار هم همگی از نوع غیر Ù…Øترم هستند.
اما چگونه به روبوتها اعلام وضعیت کنیم؟
همه روبوتهای Ù…Øترم (شامل روبوتهای موتورهای جستجو مانند Ú¯ÙˆÚ¯Ù„ Ùˆ بینگ Ùˆ یاهو) ابتدا در Øین ورود به سایت شما به دنبال Ùایلی به نام robots.txt Ù…ÛŒ گردند Ùˆ اگر در آن دستور مبنی بر عدم ورود باشد بلاÙاصله سایت شما را ترک خواهند کرد. صد البته روبوتهای غیر Ù…Øترم برای Ùایل robots.txt تره هم خرد نمی کنند!
در Ùایل اعلام وضعیت Ú†Ù‡ چیزهایی باید باشد؟
در Ùایل robots.txt صراØتاً قید Ù…ÛŒ کنیم Ú©Ù‡ Ú†Ù‡ روبوتهایی ØÙ‚ کاوش دارند Ùˆ در کجاها ØÙ‚ کاوش ندارند! با توجه به اینکه روبوتهای Ù…Øترم با نام Ùˆ مشخصات وارد Ù…ÛŒ شوند امکان اعلام وضعیت به آنها وجود دارد.
چگونه Ùایل اعلام وضعیت را ایجاد کنیم؟
ایجاد آن خیلی خیلی ساده است. باید یک Ùایل متنی ایجاد کنید Ú©Ù‡ موتورهای جستجو را مجاز یا غیر مجاز اعلام کنید. برای کاربران معمولی وب Ùارسی معمولاً سه موتورجستجوی Ú¯ÙˆÚ¯Ù„ØŒ بینگ Ùˆ یاهو ارزشمند هستند Ùˆ سایر موتورهای جستجو مزاØÙ… Ùˆ بی Ùایده اند. از این رو کد زیر Ù…ÛŒ تواند یک Ùایل مناسب به طور Ú©Ù„ÛŒ باشد.
User-agent: Google
Disallow:
User-agent: Bing
Disallow:
User-agent: Yahoo
Disallow:
User-agent: *
Disallow: /
همان طور Ú©Ù‡ Ù…ÛŒ بینید موتورهای مذکور هیچ Ù…Øدودیتی ندارند. در آخر هم هر نوع موتور جستجوی دیگر از بیخ Ùˆ بن ممنوع شده است. کاÙÛŒ است این کد را Ú©Ù¾ÛŒ Ùˆ در یک Ùایل متنی به نام robots.txt ذخیره کنید Ùˆ آن را در Ùولدر اصلی وبلاگ Ùˆ یا وب سایت (مثلاً public_html Ùˆ یا http_docs) خود قرار دهید. دقت کنید Ú©Ù‡ نامها متنوع است. مثلاً به جای Google Ù…ÛŒ توانید GoogleBot بنویسید Ùˆ یا به جای بینگ MSNBot وارد کنید اما ساده ترین Ø´Ú©Ù„ آنها همان نام موتور جستجو است.
اگر تمایل دارید در کنار اعلام وضعیت به نوعی به Ú©Ù…Ú© موتورهای جستجوی مجاز بشتابید Ù…ÛŒ توانید آدرس XML SiteMap خود را در صورت وجود به آنها مستمقیماً اعلام کنید تا به سرعت Ùˆ راØتی سر وقت آن بروند. اگر تمایل دارید Ùایل روبوت را تخصصی تر تولید کنید Ù…ÛŒ توانید به اینجا Ùˆ اینجا سر بزنید تا با امکاناتی بیشتر Ùˆ سادگی این کار را انجام دهید.
اما در برابر روبوتهای غیر Ù…Øترم Ú†Ù‡ کنیم؟
کاری نمی توانید کنید جز اینکه روزگار را Ú©ÙˆÙتشان کنید! اما چگونه؟
Û±-با نصب اÙزونه هایی Ú©Ù‡ کامنت گذاران اسپم را Ù…ÛŒ شناسند آنها را ناکام کنید. Ù…ÛŒ توانید یک قدم جلوتر بروید Ùˆ برای کامنت سایت Ùˆ وبلاگ خود Captcha بگذارید. با این کار موقع درج کامنت باید یک سئوال پاسخ داده شود Ùˆ یا متنی وارد شود Ú©Ù‡ این کار از توان روبوتها خارج است. البته با این کار بازدبدکنندگان واقعی را هم به زØمت Ù…ÛŒ اندازید. پس اگر اوضاع خیلی ناراØت کننده است آن را به کار بگیرید.
Û²-روبوتهای Ú©Ù¾ÛŒ کننده مطلب از Ùید خروجی سایت شما اقدام به Ú©Ù¾ÛŒ Ù…ÛŒ کنند. Ùید وبلاگ Ùˆ یا سایت خود را به صورت کامل منتشر نکنید با این کار تا Øدی جلوی Ú©Ù¾ÛŒ روبوتیک را گرÙته اید. عکسهای سایت خود را با دستکاری در Ùایل htaccess به روی سایتهای Ú©Ù¾ÛŒ کننده ببندید. این کار را Hotlink protection Ù…ÛŒ گوییم.
Û³-Ù…ÛŒ توانید دامنه Ø¢ÛŒ Ù¾ÛŒ های مشخصی را ببندید. مثلاً اØتمال اینکه یک وبلاگ Ùارسی از برخی کشورهای جهان مانند ویتنام بازدیدکننده واقعی داشته باشد پایین است Ùˆ اگر مراجعه کننده کامنت گذار مزاØÙ… دارید Ù…ÛŒ توانید دامنه Ø¢ÛŒ Ù¾ÛŒ را ببندید. سعی نکنید تعداد این دامنه ها را بالا ببرید چون کاربران واقعی Ùارسی در بسیاری نقاط دنیا Øضور دارند.
منبع:
وب شهر
شاید جالب باشد Ú©Ù‡ بدانید کمتر از نیمی از تراÙیک وب توسط کاربران واقعی است Ùˆ Øدود ÛµÛ± درصد تراÙیک وب شامل تراÙیکی است Ú©Ù‡ به نوعی روبوتیک ایجاد شده است. موتورهای جستجو، اسپم سازهای کامنت گذار Ùˆ روبوتهای Ú©Ù¾ÛŒ کننده مطلب از مهمترین این Ùعالیتهای روبوتیک هستند. اما چگونه این Ùعالیتهای روبوتیک را روی سایت خود Ú©Ù… کنیم؟
ابتدا یک سئوال پیش Ù…ÛŒ آید Ùˆ آن اینکه چرا باید Ùعالیتهای روبوتیک روی سایت Ùˆ یا وبلاگ خود را Ú©Ù… کنیم؟
جواب خیلی ساده Ùˆ ÙˆØ§Ø¶Ø Ø§Ø³Øª! این روبوتها مانند باکتریهای مضر منابع سیستمی Ùˆ باند سایت شما را Ù…ÛŒ خورند Ùˆ موجب کندی وب سایت شما برای کاربران واقعی Ù…ÛŒ شوند. از آنجایی Ú©Ù‡ این روبوتها بر خلا٠انسانها توان کاوش همزمان بسیار بالایی دارند Ù…ÛŒ توانند به طر Ù…Øسوسی تا Û³Û° درصد بار Ùˆ تراÙیک سایت شما را مصرو٠خود کنند. این مطلب وقتی شما دارای یک خدمات هاستینگ اشتراکی باشید بسیار مهمتر است.
اما روبوتها چند مدل هستند؟
روبوتهای روی وب هم مانند انسانها دو نوع Ù…Øترم Ùˆ غیر Ù…Øترم هستند! نوع Ù…Øترم را اگر بگویی برو Ùˆ این طرÙها پیدایت نشود سریعاً سایت شما را ترک Ù…ÛŒ کنند، اما نوع غیر Ù…Øترم چنین نیستند Ùˆ گوششان بدهکار نیست. روبوتهای موتورهای جستجو همگی از نوع Ù…Øترم هستند. روبوتهای اسپم گذار هم همگی از نوع غیر Ù…Øترم هستند.
اما چگونه به روبوتها اعلام وضعیت کنیم؟
همه روبوتهای Ù…Øترم (شامل روبوتهای موتورهای جستجو مانند Ú¯ÙˆÚ¯Ù„ Ùˆ بینگ Ùˆ یاهو) ابتدا در Øین ورود به سایت شما به دنبال Ùایلی به نام robots.txt Ù…ÛŒ گردند Ùˆ اگر در آن دستور مبنی بر عدم ورود باشد بلاÙاصله سایت شما را ترک خواهند کرد. صد البته روبوتهای غیر Ù…Øترم برای Ùایل robots.txt تره هم خرد نمی کنند!
در Ùایل اعلام وضعیت Ú†Ù‡ چیزهایی باید باشد؟
در Ùایل robots.txt صراØتاً قید Ù…ÛŒ کنیم Ú©Ù‡ Ú†Ù‡ روبوتهایی ØÙ‚ کاوش دارند Ùˆ در کجاها ØÙ‚ کاوش ندارند! با توجه به اینکه روبوتهای Ù…Øترم با نام Ùˆ مشخصات وارد Ù…ÛŒ شوند امکان اعلام وضعیت به آنها وجود دارد.
چگونه Ùایل اعلام وضعیت را ایجاد کنیم؟
ایجاد آن خیلی خیلی ساده است. باید یک Ùایل متنی ایجاد کنید Ú©Ù‡ موتورهای جستجو را مجاز یا غیر مجاز اعلام کنید. برای کاربران معمولی وب Ùارسی معمولاً سه موتورجستجوی Ú¯ÙˆÚ¯Ù„ØŒ بینگ Ùˆ یاهو ارزشمند هستند Ùˆ سایر موتورهای جستجو مزاØÙ… Ùˆ بی Ùایده اند. از این رو کد زیر Ù…ÛŒ تواند یک Ùایل مناسب به طور Ú©Ù„ÛŒ باشد.
User-agent: Google
Disallow:
User-agent: Bing
Disallow:
User-agent: Yahoo
Disallow:
User-agent: *
Disallow: /
همان طور Ú©Ù‡ Ù…ÛŒ بینید موتورهای مذکور هیچ Ù…Øدودیتی ندارند. در آخر هم هر نوع موتور جستجوی دیگر از بیخ Ùˆ بن ممنوع شده است. کاÙÛŒ است این کد را Ú©Ù¾ÛŒ Ùˆ در یک Ùایل متنی به نام robots.txt ذخیره کنید Ùˆ آن را در Ùولدر اصلی وبلاگ Ùˆ یا وب سایت (مثلاً public_html Ùˆ یا http_docs) خود قرار دهید. دقت کنید Ú©Ù‡ نامها متنوع است. مثلاً به جای Google Ù…ÛŒ توانید GoogleBot بنویسید Ùˆ یا به جای بینگ MSNBot وارد کنید اما ساده ترین Ø´Ú©Ù„ آنها همان نام موتور جستجو است.
اگر تمایل دارید در کنار اعلام وضعیت به نوعی به Ú©Ù…Ú© موتورهای جستجوی مجاز بشتابید Ù…ÛŒ توانید آدرس XML SiteMap خود را در صورت وجود به آنها مستمقیماً اعلام کنید تا به سرعت Ùˆ راØتی سر وقت آن بروند. اگر تمایل دارید Ùایل روبوت را تخصصی تر تولید کنید Ù…ÛŒ توانید به اینجا Ùˆ اینجا سر بزنید تا با امکاناتی بیشتر Ùˆ سادگی این کار را انجام دهید.
اما در برابر روبوتهای غیر Ù…Øترم Ú†Ù‡ کنیم؟
کاری نمی توانید کنید جز اینکه روزگار را Ú©ÙˆÙتشان کنید! اما چگونه؟
Û±-با نصب اÙزونه هایی Ú©Ù‡ کامنت گذاران اسپم را Ù…ÛŒ شناسند آنها را ناکام کنید. Ù…ÛŒ توانید یک قدم جلوتر بروید Ùˆ برای کامنت سایت Ùˆ وبلاگ خود Captcha بگذارید. با این کار موقع درج کامنت باید یک سئوال پاسخ داده شود Ùˆ یا متنی وارد شود Ú©Ù‡ این کار از توان روبوتها خارج است. البته با این کار بازدبدکنندگان واقعی را هم به زØمت Ù…ÛŒ اندازید. پس اگر اوضاع خیلی ناراØت کننده است آن را به کار بگیرید.
Û²-روبوتهای Ú©Ù¾ÛŒ کننده مطلب از Ùید خروجی سایت شما اقدام به Ú©Ù¾ÛŒ Ù…ÛŒ کنند. Ùید وبلاگ Ùˆ یا سایت خود را به صورت کامل منتشر نکنید با این کار تا Øدی جلوی Ú©Ù¾ÛŒ روبوتیک را گرÙته اید. عکسهای سایت خود را با دستکاری در Ùایل htaccess به روی سایتهای Ú©Ù¾ÛŒ کننده ببندید. این کار را Hotlink protection Ù…ÛŒ گوییم.
Û³-Ù…ÛŒ توانید دامنه Ø¢ÛŒ Ù¾ÛŒ های مشخصی را ببندید. مثلاً اØتمال اینکه یک وبلاگ Ùارسی از برخی کشورهای جهان مانند ویتنام بازدیدکننده واقعی داشته باشد پایین است Ùˆ اگر مراجعه کننده کامنت گذار مزاØÙ… دارید Ù…ÛŒ توانید دامنه Ø¢ÛŒ Ù¾ÛŒ را ببندید. سعی نکنید تعداد این دامنه ها را بالا ببرید چون کاربران واقعی Ùارسی در بسیاری نقاط دنیا Øضور دارند.
منبع:
وب شهر