Fungsi Dari Robot.txt Pada Situs.
Bicara soal optimasi website, robots.txt adalah salah satu file yang harus diperhatikan penggunaannya. |
| Robot.txt |
pasalnya dalam sebuah blog atau website terdapat perintah robot.txt.
(1) User-agent: Googlebot
Disallow: /nogooglebot/
Dan, robots.txt ini merupakan salah satu portal yang memungkinkan search engine untuk mengakses konten atau artikel di situsmu.
Kalau salah, bisa jadi konten atau artikelmu yang penting, yang ada di website justru tak terindeks dan tidak muncul di halaman hasil pencarian.
Siapa pun yang menjalankan search engine optimization (SEO) pasti tidak menginginkan hal tersebut terjadi ya.
Maka dari itu, penting bagi kamu untuk mempelajari apa itu robots.txt, cara menggunakannya, dan juga perbedaannya dengan salah satu komponen SEO lainnya.
Yuk, simak sampai benar benar paham.
Sebelum masuk lebih dalam, Saya akan menjelaskan terlebih dahulu mengenai apa itu robots.txt.
Sebenarnya, sudah ada sedikit bocoran dari namanya. “Robots” dan “txt” (text). Jadi, jelas kaitannya antara teks dan juga robot.
Akan tetapi, robot apa yang dimaksud?
Dikutip dari MOZ, robots.txt adalah sebuah kode atau file yang digunakan untuk memberi instruksi pada robot search engine.
Instruksi tersebut adalah untuk menjalankan web crawling menggunakan spider atau perayap, agar situs dan URL yang ada di dalamnya dapat terindeks atau terbaca.
Di awal sudah sempat disebutkan bahwa kalau tidak terdeteksi dan terindeks oleh crawler, situs atau konten yang dibuat tidak akan muncul di halaman hasil pencarian search engine.
Jangan Sampai seperti itu ya sobat androklik.
MOZ juga menyebutkan bahwa robots.txt akan menentukan software web crawling (user agent) mana saja yang dapat menelusuri sebuah website atau blog.
 |
| Robot.txt generator |
Contohnya.
Menurut Google Search Central, robots.txt berada di dalam root situsmu.
Misalnya, situs www.androklik.my.id, file Robots.txt berada di www.androklik.my.id/robots.txt.
Untuk penggunaan robots.txt itu sendiri, berikut ini adalah salah satu contohnya.
Banyak pertanyaan seperti berikut.
Apa Itu Robots.txt?
Apakah Kamu Membutuhkannya?
Robots.txt vs. Meta Tag
Bicara soal optimasi website, robots.txt adalah salah satu file yang harus diperhatikan penggunaannya.
Pasalnya, robots.txt ini merupakan semacam portal atau pintu masuk yang memungkinkan search engine untuk mengakses konten atau artikel di situsmu.
Kalau salah, bisa jadi konten penting yang ada di website justru tak terindeks dan tidak muncul di halaman hasil pencarian google.
Sebelum masuk lebih dalam lagi.
Dikutip dari MOZ, robots.txt adalah sebuah kode atau file yang digunakan untuk memberi instruksi pada robot search engine untuk menganalisa membaca dan menampilkan.
Instruksi tersebut adalah untuk menjalankan web crawling menggunakan spider, agar situs dan web atau blog yang ada di dalamnya dapat terindeks atau terbaca.
Untuk penggunaan robots.txt itu sendiri, berikut ini adalah salah satu contohnya.
(1) User-agent: Googlebot
Disallow: /nogooglebot/
(2) User-agent: *
Allow: /
Dari contoh tersebut, terlihat jelas bahwa contoh (1) terdapat website yang tidak memberi izin Googlebot untuk crawling di situsnya.
Pada contoh kedua, dapat dilihat bahwa user-agent lainnya bisa mengakses situs tersebut, ditandai dengan simbol (*) setelah tulisan user-agent.
Penggunaan robots.txt ini nantinya bisa diutak-atik, sesuai dengan konten yang ingin diatur.
Setelah membaca pengertian dan contohnya, mungkin sekarang kamu bertanya-tanya, “Butuh menggunakan robots.txt untuk website saya tidak, ya?”.
Sebenarnya, website kecil tak terlalu membutuhkan robots.txt. Akan tetapi, bukan berarti tidak boleh pakai sama sekali, ya.
Disarankan dari Ahrefs, berikut ini adalah manfaat robots.txt jika kamu memutuskan untuk menggunakannya:
mencegah crawling di konten duplikat.
meringankan beban server
memastikan ada bagian dari website yang sepenuhnya private untuk tes dan pengaturan
mencegah muncul gambar atau video di hasil pencarian Google (di kategori “All”, bukan “Images”)
Kalau ingin meringankan beban dan merasakan manfaat yang disebutkan, kamu bisa menggunakan robots.txt untuk optimasi situsmu.
Backlinko juga menjelaskan, kalau memang jumlah halaman terindeks sudah sesuai dengan yang diinginkan, tak perlu lagi menggunakan robots.txt.
Kamu bisa mengecek angka tersebut menggunakan Google Search Console, untuk tahu jumlah halaman terindeks, apakah ada eror atau tidak, dan mana saja yang sengaja tidak diindeks.
Tampilannya kurang lebih seperti ini:
Kalau kamu sudah cukup familier dengan istilah search engine optimization (SEO), perlu diingat bahwa robots.txt dan meta tag adalah dua hal yang berbeda.
Memang, sekilas terlihat bahwa fungsinya sama-sama saja, yaitu memberi tahu search engine konten mana yang bisa di-crawl dan mana yang tidak (contoh: “noindex”, “follow”, “nofollow” pada meta tag).
Akan tetapi, kedua komponen penting dalam SEO ini memiliki perbedaan yang cukup mendasar.
Menurut Search Engine Journal, robots.txt digunakan untuk memberi instruksi kepada web crawlers seputar seluruh situs, sedangkan meta tag hanya fokus untuk satu halaman spesifik.
Yang artinya robot.txt lebih luas ketimbang meta keyword ya sob.
Jadi, penggunaannya pun harus disesuaikan dengan kebutuhan situs itu sendiri. Jangan sampai tertukar, ya.
Robot.txt untuk URL Link Website atau Blog
Meta Deskripsion/Keywor untuk URL perhalaman atau perartikel.
Dari artikel ini, dapat disimpulkan bahwa robots.txt adalah file atau komponen website yang bisa berdampak baik pada praktik SEO.
BACA JUGA:
Perlu diingat bahwa penggunaan elemen ini tak selalu 100% berhasil, ya.
Robot.txt Tidak sepenuhnya menjadi Yang Utama Dalam situs kamu.
Pasalnya, kalau memang ada satu link yang mengarah ke satu halaman dengan larangan untuk crawling dan halaman yang mengarahkannya terindeks, bisa saja halaman tersebut tetap ada di hasil pencarian yang mungkin terbaca oleh Meta Keyword atau Kata kunci.
Jika kamu masih belum paham silahkan kamu cari tahu lagi lebih dalam di androklik.my.id.
Ok sobat androklik itulah sedikit pemahaman tentang apa itu Robot.txt.
semoga artikel ini bisa bermanfaat dan selamat mencoba.