صفحات مختلف یک وب سایت عناوین متناسب با خود را دارند. این عناوین مستقل سبب می شود گوگل آن صفحه را بهتر بررسی کرده و رتبه بهتری به آن بدهد. در نتیجه نرخ کلیک آن نیز افزایش میابد. در ادامه درباره اینکه کدام URL برای سئو بهتر است؟ URL فارسی یا انگلیسی؟ صحبت می کنیم.
احتمالا برای شما هم پیش آمده: روی لینکی کلیک می کنید، اما به جای دیدن نتیجه سایت مورد نظر، خطایی ظاهر می شود که نشان می دهد صفحه درخواست شده در دسترس نیست. چیزی مثل "404 صفحه پیدا نشد".
خطای 404 کد استاندارد HTTP است. پیام از سرور، به مرورگر وب (معمولاً سرویس گیرنده) که درخواست HTTP را ارسال کرده است، ارسال می شود. سپس مرورگر این کد خطا را نمایش می دهد.
محرک معمولی پیام خطا 404 زمانی است که محتوای وب سایت حذف شده یا به آدرس دیگری منتقل شده است.
فایل Robots.txt چیست؟ همانطور که همهی ما میدانیم، رباتهای موتورهای جستجو پررنگترین نقش ممکن برای معرفی کامل یک سایت به موتورهای جستجو را ایفا میکنند. گوگل به عنوان بزرگترین مرجع و گستردهترین شبکه در این زمینه، رباتهای اختصاصی و عمومی زیادی گسترش داده است. وبمسترهای موفق همواره عملکرد و تغییرات این رباتها را دنبال کرده و مطابق با استانداردهای آنان پیشروی میکنند.
اما این رباتها به چه صورت به سایتهای گوناگون دسترسی پیدا میکنند؟ چطور میتوان دسترسی این رباتها به محتوا یا صفحات خاصی از سایتمان را محدود کنیم یا به آنها دسترسی کامل بدهیم؟ برای این مورد، تکنیکی ساده و در عین حال فوقالعاده مهم و حیاتی وجود دارد. این تکنیک، استفاده از یک فایل متنی موسوم به Robots.txt است که با کمک آن و درج دستورات تحت وب میتوان کارهای مختلفی از جمله ایجاد دسترسی یا محدودسازی ربات موتورهای جستجو را انجام داد.
تو این وبلاگ قراره به موضوعات زیر بپردازیم: