چگونه یک فایل Robots.txt بسازیم؟
صاحب یک وبسایت هستید، احتمالا نام فایل «robots.txt» (یا «استاندارد استثناء کردن رباتها») به گوشتان خورده است، اگر هم احیانا نخورده باشد فرق چندانی ندارد، چراکه در هر صورت زمان آشنایی با آن رسیده است. این فایل سادهی متنی که ممکن است به نظر ناچیز بیاید، یک تاثیر حیاتی در ...