deraone Deraone adalah penyedia managed vps dan web hosting yang memenuhi semua kebutuhan platform Anda. Kami memberikan layanan dengan teknologi terkini dengan layanan yang profesional. Temukan pengalaman terbaik Anda bersama kami.

Mengoptimalkan Robots.txt WordPress untuk SEO

4 min read

Mengoptimalkan Robots.txt

Sebagai seorang pemilik website atau blog, Anda tentu pernah berpikir tentang apa itu robots.txt dan bagaimana cara yang tepat dalam mengoptimalkan file robots.txt untuk meningkatkan SEO.

File Robots.txt memberi tahu mesin pencari cara merayapi situs web Anda yang menjadikannya alat SEO yang sangat kuat.

Pada artikel ini, kami akan menunjukkan cara membuat file robots.txt yang sempurna untuk SEO.

Apa itu file robots.txt?

Robots.txt adalah file teks yang dapat dibuat oleh pemilik situs web untuk memberi tahu bot mesin telusur cara merayapi dan mengindeks laman di situs mereka.

Biasanya disimpan di direktori root, juga dikenal sebagai folder utama, di situs Anda. Format dasar untuk file robots.txt terlihat seperti ini:

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
 
User-agent: [user-agent name]
Allow: [URL string to be crawled]
 
 
Sitemap: [URL of your XML Sitemap]

Anda dapat memiliki beberapa baris petunjuk untuk mengizinkan atau melarang URL tertentu dan menambahkan beberapa peta situs. Jika Anda tidak melarang URL, bot mesin pencari akan berasumsi bahwa mereka memiliki izin untuk merayapinya.

Berikut adalah tampilan file contoh robots.txt:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
 
Sitemap: https://domain.com/sitemap_index.xml

Pada contoh robots.txt di atas, kami telah mengizinkan mesin telusur untuk merayapi dan mengindeks file di folder unggahan WordPress kami.

Setelah itu, kami melarang bot pencarian untuk merayapi dan mengindeks plugin dan folder admin WordPress.

Terakhir, kami telah memberikan URL peta situs XML kami.

Apakah Anda Membutuhkan File Robots.txt untuk Situs WordPress Anda?

Jika Anda tidak memiliki file robots.txt, maka mesin telusur akan tetap merayapi dan mengindeks situs web Anda. Namun, Anda tidak akan dapat memberi tahu mesin telusur halaman atau folder mana yang tidak boleh mereka crawl.

Ini tidak akan berdampak banyak saat Anda pertama kali memulai blog dan tidak memiliki banyak konten.

Namun seiring pertumbuhan situs web dan Anda memiliki banyak konten, Anda mungkin ingin memiliki kontrol yang lebih baik atas cara situs web Anda dirayapi dan diindeks.

Inilah Alasan Mengapa Anda Harus Mengoptimalkan Robots.txt

Bot pencarian memiliki kuota penjelajahan untuk setiap situs web.

Ini berarti mereka merayapi sejumlah laman selama sesi perayapan. Jika mereka tidak selesai merayapi semua laman di situs Anda, mereka akan kembali dan melanjutkan perayapan di sesi berikutnya.

Ini dapat memperlambat laju pengindeksan situs web Anda.

Anda dapat memperbaikinya dengan melarang bot pencarian untuk mencoba merayapi halaman yang tidak perlu seperti halaman admin WordPress, file plugin, dan folder tema Anda.

Dengan melarang halaman yang tidak perlu, Anda menghemat kuota penjelajahan Anda. Ini membantu mesin telusur merayapi lebih banyak laman di situs Anda dan mengindeksnya secepat mungkin.

Alasan bagus lainnya untuk menggunakan file robots.txt adalah saat Anda ingin menghentikan mesin telusur agar tidak mengindeks postingan atau halaman di situs Anda.

Ini bukan cara teraman untuk menyembunyikan konten dari masyarakat umum, tetapi ini akan membantu Anda mencegahnya muncul di hasil pencarian.

Seperti Apa Tampilan File Robots.txt yang Ideal?

Banyak blog populer menggunakan file robots.txt yang sangat sederhana. Kontennya mungkin berbeda-beda, bergantung pada kebutuhan situs tertentu:

User-agent: *
Disallow:
  
Sitemap: http://www.domain.com/post-sitemap.xml
Sitemap: http://www.domain.com/page-sitemap.xml

File robots.txt ini memungkinkan semua bot mengindeks semua konten dan memberi mereka tautan ke peta situs XML situs web.

Untuk situs WordPress, kami merekomendasikan aturan berikut di file robots.txt:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
 
Sitemap: http://www.domain.com/post-sitemap.xml
Sitemap: http://www.domain.com/page-sitemap.xml

Ini memberi tahu bot pencarian untuk mengindeks semua gambar dan file WordPress. Itu melarang bot pencarian dari pengindeksan file plugin WordPress, area admin WordPress, file readme WordPress, dan tautan afiliasi.

Dengan menambahkan peta situs ke file robots.txt, Anda mempermudah bot Google untuk menemukan semua halaman di situs Anda.

Sekarang setelah Anda mengetahui seperti apa file robots.txt yang ideal, mari kita lihat bagaimana Anda dapat membuat file robots.txt di WordPress.

Bagaimana Cara Membuat dan Mengoptimalkan File Robots.txt di WordPress?

Ada dua cara untuk membuat file robots.txt di WordPress. Anda dapat memilih metode yang paling sesuai untuk Anda.

Metode 1: Mengoptimalkan File Robots.txt Menggunakan All in One SEO

All in One SEO juga dikenal sebagai AIOSEO adalah plugin SEO WordPress terbaik di pasar yang digunakan oleh lebih dari 2 juta situs web.

Mudah digunakan dan dilengkapi dengan pembuat file robots.txt.

Jika Anda belum menginstal plugin AIOSEO, Anda dapat melihat panduan langkah demi langkah kami tentang cara menginstal plugin WordPress.

Versi gratis dari AIOSEO juga tersedia dan memiliki fitur ini.

Setelah plugin terpasang dan aktif, Anda dapat menggunakannya untuk membuat dan mengedit file robots.txt Anda langsung dari area admin WordPress Anda.

Cukup buka All in One SEO > Tools untuk mengedit file robots.txt Anda.

all in one seo

Pertama, Anda harus mengaktifkan opsi pengeditan, dengan mengklik tombol ‘Aktifkan Robot.txt Kustom’ menjadi biru.

Dengan mengaktifkan tombol ini, Anda dapat membuat file robots.txt kustom di WordPress.

izinkan robots.txt

All in One SEO akan menampilkan file robots.txt Anda yang ada di bagian ‘Pratinjau Robots.txt’ di bagian bawah layar Anda.

Versi ini akan menampilkan aturan default yang ditambahkan oleh WordPress.

Aturan default ini memberi tahu mesin telusur untuk tidak merayapi file inti WordPress Anda, mengizinkan bot mengindeks semua konten, dan juga memberi mereka tautan ke peta situs XML situs Anda.

Sekarang, Anda dapat menambahkan aturan khusus Anda sendiri untuk meningkatkan robots.txt Anda untuk SEO.

Untuk menambahkan aturan, masukkan user agent di bidang ‘User Agent‘. Menggunakan * akan menerapkan aturan tersebut ke semua agen pengguna.

Kemudian, pilih apakah Anda ingin ‘Allow‘ atau ‘Disallow‘ mesin telusur untuk merayapi.

Selanjutnya, masukkan nama file atau jalur direktori pada bidang ‘Directory Path‘.

rule

Aturan tersebut akan diterapkan secara otomatis ke robots.txt Anda. Untuk menambahkan aturan lain, klik tombol ‘Add Rule‘.

Sebaiknya tambahkan aturan sampai Anda membuat format robots.txt ideal yang kami bagikan di atas.

Jika merasa sudah cukup dalam melakukan penyesuaikan kemudian klik tombol ‘Save Changes‘ untuk menyimpan perubahan.

Metode 2. Edit file Robots.txt Secara Manual Menggunakan FTP

Untuk metode ini, Anda perlu menggunakan klien FTP untuk mengedit file robots.txt.

Cukup sambungkan ke akun hosting WordPress Anda menggunakan klien FTP.

Setelah masuk, Anda akan dapat melihat file robots.txt di folder root situs Anda.

mengoptimalkan robots.txt dengan ftp

Jika Anda tidak melihatnya, kemungkinan Anda tidak memiliki file robots.txt.

Dalam hal ini, Anda dapat melanjutkan dan membuatnya.

membuat file

Robots.txt adalah file teks biasa, yang berarti Anda dapat mengunduhnya ke komputer dan mengeditnya menggunakan editor teks biasa seperti Notepad atau juga TextEdit.

Setelah menyimpan perubahan, Anda dapat menguploadnya kembali ke folder root situs Anda.

Bagaimana Menguji File Robots.txt Anda?

Setelah Anda membuat file robots.txt, ada baiknya untuk mengujinya menggunakan alat penguji robots.txt.

Ada banyak alat penguji robots.txt di luar sana, tetapi sebaiknya gunakan salah satu yang ada di dalam Google Search Console.

Pertama, Anda harus menghubungkan situs web Anda dengan Google Search Console. Kemudian, Anda dapat menggunakan Google Search Console Robots Testing Tool.

select website

Cukup pilih properti Anda dari dropdown.

Alat tersebut akan secara otomatis mengambil file robots.txt situs web Anda dan menyorot kesalahan dan peringatan.

Ulasan Akhir

Tujuan mengoptimalkan file robots.txt Anda adalah untuk mencegah mesin telusur merayapi laman yang tidak tersedia untuk umum. Misalnya, halaman di folder wp-plugins Anda atau halaman di folder admin WordPress Anda.

Mitos umum di antara pakar SEO adalah bahwa memblokir kategori, tag, dan halaman arsip WordPress akan meningkatkan kecepatan perayapan dan juga menghasilkan pengindeksan yang lebih cepat dan peringkat yang lebih tinggi.

Ini tidak benar. Itu juga melanggar pedoman webmaster Google.

Kami menyarankan Anda mengikuti format robots.txt di atas untuk membuat file robots.txt untuk situs Anda.

Kami harap artikel ini membantu Anda mempelajari cara mengoptimalkan file robots.txt WordPress untuk SEO.

deraone Deraone adalah penyedia managed vps dan web hosting yang memenuhi semua kebutuhan platform Anda. Kami memberikan layanan dengan teknologi terkini dengan layanan yang profesional. Temukan pengalaman terbaik Anda bersama kami.

Tinggalkan Balasan

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *