Upaya Pemblokiran Konten Dari Rayapan Robot Mesin Pencari

Ini hanya beberapa kasus di mana pengindeksan halaman web mungkin merupakan solusi yang baik. Sekarang Anda bertanya-tanya, “Bagaimana saya melakukannya?” Ada banyak cara untuk memblokir mesin pencari dari mengindeks halaman di situs web Anda. Kami akan mempelajari cara menghapus indeks halaman di HubSpot dan WordPress menggunakan beberapa metode umum: robots.txt, tag “noindex”, dan peta situs. Pertama, mari kita jalankan melalui rekap cepat masing-masing metode. Ini adalah file yang digunakan situs web untuk berkomunikasi dengan mesin pencari dan robot lainnya. Crawler membaca file untuk melihat halaman mana yang harus dan tidak seharusnya mereka indeks. Anda cukup mengetik, “Larang,” diikuti dengan titik dua dan spasi, lalu masukkan URL relatif.

Berikut adalah contoh situs web dengan 18 halaman yang telah diblokir dari index. Tag “noindex” adalah metode lain yang digunakan ketika Anda ingin memblokir mesin pencari agar tidak mengindeks halaman web Anda. Tag ini adalah baris kode yang dapat ditambahkan ke HTML halaman situs web — tag harus disalin ke bagian kepala untuk fungsionalitas yang tepat. String kode dapat ditemukan di berbagai digital marketing dengan jasa seo sebagai layanannya.

Peta situs adalah daftar semua halaman (atau URL) yang dapat ditavigasi oleh pengguna di situs web. Mesin pencari juga memanfaatkan peta situs saat mengindeks halaman situs web. Upaya Pemblokiran Konten Dari Rayapan Robot Mesin Pencari. Anda dapat mengirimkan peta situs Anda ke Google melalui Search Console dengan menavigasi ke “Optimasi” dan kemudian “Peta Situs.” Berikut ini sebuah contoh: Ingatlah bahwa hanya karena Anda memiliki peta situs tidak berarti semua halaman akan diindeks. Jika algoritma Google melihat konten halaman tertentu sebagai kualitas rendah, itu tidak akan mengisi halaman itu dalam hasil pencarian.

Sekarang setelah Anda memahami metode yang dapat digunakan untuk mende-indeks halaman, mari selami. Selanjutnya, kami akan menunjukkan kepada Anda cara melakukan de-indeks halaman menggunakan platform HubSpot dan WordPress. Untuk mengatur file robots.txt di HubSpot, navigasikan ke ikon roda gigi (Pengaturan) di sudut kanan atas. Di menu sebelah kiri, pilih Pemasaran> Halaman Web. Gulir ke bawah, dan sesuaikan bagaimana mesin pencari mengakses halaman Anda yang dipublikasikan dengan menggunakan fungsionalitas “disallow”. Pengaturan yang Anda sesuaikan di sini akan berlaku untuk semua halaman yang diterbitkan.

Salin string kode, dan masuk ke akun HubSpot Marketing Anda. Arahkan ke halaman yang ingin Anda blokir dari mesin pencari (Pemasaran> Situs Web> Halaman Arahan (atau Halaman Web)> Edit> Pengaturan> Opsi Lanjutan> Cuplikan kode tambahan> Head HTML. Tempelkan string kode seperti yang ditunjukkan di bawah ini. Semua Peta situs HubSpot dapat ditemukan dengan menambahkan /sitemap.xml di akhir domain. Misalnya: https://www.example.com/sitemap.xml. Untuk memperbarui halaman yang tercantum dalam peta situs, klik ikon roda gigi di navigasi utama. Anda kemudian dapat menavigasi ke Domain & URL, dan pilih Peta Situs. Untuk menghapus halaman dari peta situs Anda, cukup arahkan ke atas halaman dan klik Hapus.

Jika situs web di-host di WordPress, file robots.txt secara otomatis dibuat. Untuk mencari file Anda, tambahkan /robots.txt ke akhir URL. Meskipun file ini dapat ditemukan dengan mudah, karena dibuat secara default, Anda tidak dapat mengeditnya. Jika Anda tidak ingin menggunakan file default, Anda harus membuat file di server.

Upaya Pemblokiran Konten Dari Rayapan Robot Mesin Pencari. Membuat file di server akan memungkinkan Anda untuk mengedit file robots.txt Anda. Cara termudah untuk melakukannya adalah melalui plugin SEO Yoast. Pertama, aktifkan fitur-fitur canggih dengan menavigasi ke SEO> Dasbor> Fitur> Halaman pengaturan lanjutan> Diaktifkan. Selanjutnya, buka SEO> Tools> Editor file. Anda kemudian dapat membuat dan mengedit file robots.txt Anda. Baca juga bisnis online yang tidak berkembang.

Bagaimana jika saya tidak menggunakan plugin SEO? Kabar baik! Anda tidak beruntung. Anda masih dapat membuat file robots.txt dan menghubungkannya dengan situs web Anda melalui Secure File Transfer Protocol (FTP). Untuk melakukannya, gunakan editor teks untuk membuat file kosong, dan beri nama robots.txt. Dalam file Anda, gunakan dua perintah: agen-pengguna dan larang. Anda kemudian akan menghubungkan situs web WordPress Anda ke FTP dan mengunggah file robots.txt ke folder root. Jangan lupa untuk menguji file Anda menggunakan Google Search Console (Crawl> robots.txt Tester).

Secara default, setiap posting dan halaman WordPress diindeks. Cara lain untuk memblokir halaman dari mesin pencari adalah dengan menambahkan tag meta “noindex” melalui plugin Yoast SEO. Salin string kode, dan masuk ke akun WordPress Anda. Upaya Pemblokiran Konten Dari Rayapan Robot Mesin Pencari. Arahkan ke artikel atau posting yang ingin Anda hapus indeksnya. Saat berada di plugin Yoast SEO, klik ikon roda gigi (jika Anda tidak melihatnya, aktifkan fitur-fiturnya dengan menavigasi ke SEO> Dasbor> Fitur> Aktif). Anda kemudian dapat membuat tag meta “noindex” di bawah Meta robots advanced.