خیلی سایتها و وبمسترها دوست ندارند بعضی از صفحات آنان در نتایج موتور جستجو آورده شود حال دلایلی دارند مثلا به خاطر عنوان های تکراری و نمرات منفی از این بایت برای وب سایت داده می شود
راهکارهایی که به کیفیت سایت شما در موتور جستجو کمک میکند و در سئو بهینه سازی سایت الویت بالایی دارد
1- بستن مسیرها و دایرکتوری های وبتون توسط ربات
User-agent: *
Disallow: /directory/name-of-file.html
2- بستن بعضی از صفحات در هد صفحه
<meta name="robots" content="noindex, follow">
<meta name="robots" content="noindex، nofollow">
دقت داشته باشید بستن این مسیر ها توسط ربات مانع نمی شود که بازدید کننده آن صفحات را ببیند
3- بستن مسیرها 403 و تغییر مسیر 301
وضعیت مسیرها از سرور باید 200 باشد
بستن مسیرها از طریق 403 یعنی سرور به پاسخ دادن به درخواست خودداری کند
و تغییر مسیرها از سرور یعنی تغییر مسیر دائمی 301
4- رمز عبور در صفحات خودتون
مثلا فقط بازدید کننده با رمز عبور را مشاهده کند البته باید دقت کنید که رباتهای و موتورهای استاندارد قادر به خزیدن در صفحات را داشته باشند
5- استفاده از کوکی ها و جاوا اسکریپ برای صفحات خودتون
همانطور میدانید خیلی از رباتها و موتورهای جاوا های پیچیده را را اجرا نمی کنند
و بستن بعضی از مسیرها از ورود خزیدن موتور ها به شما کمک خواهد کرد و آن صفحات آزاد باشد برای کاربران
البته موارد بسیاری هست در مقاله های آینده سعی میکنم مطالب مفیدتری ایجاد شود