اطلاعیه

Collapse
No announcement yet.

روبوتها را از سایت خود بیرون کنید!

Collapse
X
 
  • Filter
  • زمان
  • Show
Clear All
new posts

  • روبوتها را از سایت خود بیرون کنید!

    روبوتها را از سایت خود بیرون کنید!



    شاید جالب باشد که بدانید کمتر از نیمی از ترافیک وب توسط کاربران واقعی است و حدود ۵۱ درصد ترافیک وب شامل ترافیکی است که به نوعی روبوتیک ایجاد شده است. موتورهای جستجو، اسپم سازهای کامنت گذار و روبوتهای کپی کننده مطلب از مهمترین این فعالیتهای روبوتیک هستند. اما چگونه این فعالیتهای روبوتیک را روی سایت خود کم کنیم؟




    ابتدا یک سئوال پیش می آید و آن اینکه چرا باید فعالیتهای روبوتیک روی سایت و یا وبلاگ خود را کم کنیم؟

    جواب خیلی ساده و واضح است! این روبوتها مانند باکتریهای مضر منابع سیستمی و باند سایت شما را می خورند و موجب کندی وب سایت شما برای کاربران واقعی می شوند. از آنجایی که این روبوتها بر خلاف انسانها توان کاوش همزمان بسیار بالایی دارند می توانند به طر محسوسی تا ۳۰ درصد بار و ترافیک سایت شما را مصروف خود کنند. این مطلب وقتی شما دارای یک خدمات هاستینگ اشتراکی باشید بسیار مهمتر است.

    اما روبوتها چند مدل هستند؟

    روبوتهای روی وب هم مانند انسانها دو نوع محترم و غیر محترم هستند! نوع محترم را اگر بگویی برو و این طرفها پیدایت نشود سریعاً سایت شما را ترک می کنند، اما نوع غیر محترم چنین نیستند و گوششان بدهکار نیست. روبوتهای موتورهای جستجو همگی از نوع محترم هستند. روبوتهای اسپم گذار هم همگی از نوع غیر محترم هستند.

    اما چگونه به روبوتها اعلام وضعیت کنیم؟

    همه روبوتهای محترم (شامل روبوتهای موتورهای جستجو مانند گوگل و بینگ و یاهو) ابتدا در حین ورود به سایت شما به دنبال فایلی به نام robots.txt می گردند و اگر در آن دستور مبنی بر عدم ورود باشد بلافاصله سایت شما را ترک خواهند کرد. صد البته روبوتهای غیر محترم برای فایل robots.txt تره هم خرد نمی کنند!

    در فایل اعلام وضعیت چه چیزهایی باید باشد؟

    در فایل robots.txt صراحتاً قید می کنیم که چه روبوتهایی حق کاوش دارند و در کجاها حق کاوش ندارند! با توجه به اینکه روبوتهای محترم با نام و مشخصات وارد می شوند امکان اعلام وضعیت به آنها وجود دارد.

    چگونه فایل اعلام وضعیت را ایجاد کنیم؟

    ایجاد آن خیلی خیلی ساده است. باید یک فایل متنی ایجاد کنید که موتورهای جستجو را مجاز یا غیر مجاز اعلام کنید. برای کاربران معمولی وب فارسی معمولاً سه موتورجستجوی گوگل، بینگ و یاهو ارزشمند هستند و سایر موتورهای جستجو مزاحم و بی فایده اند. از این رو کد زیر می تواند یک فایل مناسب به طور کلی باشد.

    User-agent: Google
    Disallow:

    User-agent: Bing
    Disallow:

    User-agent: Yahoo
    Disallow:

    User-agent: *
    Disallow: /

    همان طور که می بینید موتورهای مذکور هیچ محدودیتی ندارند. در آخر هم هر نوع موتور جستجوی دیگر از بیخ و بن ممنوع شده است. کافی است این کد را کپی و در یک فایل متنی به نام robots.txt ذخیره کنید و آن را در فولدر اصلی وبلاگ و یا وب سایت (مثلاً public_html و یا http_docs) خود قرار دهید. دقت کنید که نامها متنوع است. مثلاً به جای Google می توانید GoogleBot بنویسید و یا به جای بینگ MSNBot وارد کنید اما ساده ترین شکل آنها همان نام موتور جستجو است.

    اگر تمایل دارید در کنار اعلام وضعیت به نوعی به کمک موتورهای جستجوی مجاز بشتابید می توانید آدرس XML SiteMap خود را در صورت وجود به آنها مستمقیماً اعلام کنید تا به سرعت و راحتی سر وقت آن بروند. اگر تمایل دارید فایل روبوت را تخصصی تر تولید کنید می توانید به اینجا و اینجا سر بزنید تا با امکاناتی بیشتر و سادگی این کار را انجام دهید.

    اما در برابر روبوتهای غیر محترم چه کنیم؟

    کاری نمی توانید کنید جز اینکه روزگار را کوفتشان کنید! اما چگونه؟

    ۱-با نصب افزونه هایی که کامنت گذاران اسپم را می شناسند آنها را ناکام کنید. می توانید یک قدم جلوتر بروید و برای کامنت سایت و وبلاگ خود Captcha بگذارید. با این کار موقع درج کامنت باید یک سئوال پاسخ داده شود و یا متنی وارد شود که این کار از توان روبوتها خارج است. البته با این کار بازدبدکنندگان واقعی را هم به زحمت می اندازید. پس اگر اوضاع خیلی ناراحت کننده است آن را به کار بگیرید.

    ۲-روبوتهای کپی کننده مطلب از فید خروجی سایت شما اقدام به کپی می کنند. فید وبلاگ و یا سایت خود را به صورت کامل منتشر نکنید با این کار تا حدی جلوی کپی روبوتیک را گرفته اید. عکسهای سایت خود را با دستکاری در فایل htaccess به روی سایتهای کپی کننده ببندید. این کار را Hotlink protection می گوییم.

    ۳-می توانید دامنه آی پی های مشخصی را ببندید. مثلاً احتمال اینکه یک وبلاگ فارسی از برخی کشورهای جهان مانند ویتنام بازدیدکننده واقعی داشته باشد پایین است و اگر مراجعه کننده کامنت گذار مزاحم دارید می توانید دامنه آی پی را ببندید. سعی نکنید تعداد این دامنه ها را بالا ببرید چون کاربران واقعی فارسی در بسیاری نقاط دنیا حضور دارند.

    منبع:
    وب شهر

Working...
X