Selain Sitemap
, robots.txt adalah bagian penting di salam sebuah struktur web . nah
saya akan membahas tentang Robots.txt , Robots.txt adalah Sebuah file
yang di gunakan untuk membatasi akses robot mesin pencari yang sedang
menjelajahi situs web . Sebelum mereka mengakses halaman web, mereka
memeriksa untuk melihat apakah sebuah file robots.txt ada / tidak , dan
di dalam robots.txt ada perintah yang mencegah mereka mengakses halaman
tertentu.
Kita memerlukan robots.txt agar
robot-robot itu tidak mengindex halaman yang tidak kita inginkan , wah
bisa kacau kalau sampai ada sesuatu yang rahasia ke index di mesin
pencari dan di temukan orang lain. Dan jika kita ingin semua content di
web kita di index oleh mesin pencari kita tidak membutuhkan robots.txt .
Meskipun Google / Mesin pencari lainnya
tidak akan meng-crawl atau mengindeks konten halaman yang diblokir oleh
robots.txt, masih mungkin URL kita di index , hal ini terjadi karena URL
kita di temukan di situs lain. Akibatnya, URL kita berpotensi menjadi
informasi publik & dapat muncul dalam hasil pencarian.
Tidak ada komentar:
Posting Komentar