Microsoft Bing, Yandex Buat Protokol Pencarian Baru
Microsoft Bing dan mesin pencari Rusia Yandex pada hari Senin mengumumkan protokol baru yang dirancang untuk mempercepat pembaruan pencarian situs web.
Disebut IndexNow, protokol ini menggunakan API untuk memungkinkan situs web memberi tahu mesin telusur dengan mudah setiap kali konten dibuat, diperbarui, atau dihapus. Setelah mesin pencari diberitahu tentang pembaruan, mereka dapat dengan cepat merayapi dan mencerminkan perubahan situs web dalam indeks dan hasil pencarian mereka.
"Memastikan informasi tepat waktu tersedia untuk pencari sangat penting," Microsoft menjelaskan di Blog Bing-nya.
“Namun secara historis,” lanjutnya, “salah satu masalah terbesar bagi pemilik situs web adalah membuat mesin pencari dengan cepat menemukan dan mempertimbangkan perubahan situs web terbaru mereka. Diperlukan waktu berhari-hari atau bahkan berminggu-minggu agar URL baru ditemukan dan diindeks di mesin telusur, yang mengakibatkan hilangnya potensi lalu lintas, pelanggan, dan bahkan penjualan.”
Microsoft menyatakan bahwa IndexNow adalah inisiatif untuk internet yang lebih efisien dan terbuka.
Dijelaskan bahwa dengan memberi tahu mesin telusur apakah URL telah diubah, pemilik situs web memberikan sinyal yang jelas untuk membantu mesin telusur memprioritaskan perayapan mereka terhadap URL tersebut. Itu membatasi kebutuhan penjelajahan untuk menguji apakah konten telah berubah.
Selain itu, pencarian dibuka karena dengan memberi tahu satu mesin pencari, sebuah situs web memberi tahu semua mesin pencari yang telah mengadopsi IndexNow.
Kurangnya Standar
“IndexNow adalah ide yang bagus karena menyederhanakan proses pengindeksan konten baru,” kata Greg Sterling, wakil presiden wawasan pasar di Uberall, pembuat solusi pemasaran lokasi yang berbasis di Berlin.
“Ini juga memastikan bahwa konten baru akan diindeks dengan cepat — atau segera,” katanya kepada TechNewsWorld.
Saat ini tidak ada standar untuk memperbarui mesin pencari, jelas Jon Alexander, wakil presiden manajemen produk di Akamai Technologies, penyedia layanan jaringan pengiriman konten di Cambridge, Mass.
“Ribuan perayap yang berbeda mencoba memantau perubahan pada situs web di seluruh internet,” jelasnya kepada TechNewsWorld.
“Karena Akamai melayani begitu banyak situs tersebut, kami melihatnya secara langsung,” lanjutnya. “Ini adalah pekerjaan besar yang mendorong beban besar di situs web dan menghabiskan banyak daya yang menciptakan dampak lingkungan tambahan.”
“Kami lebih suka melihat standar terbuka yang memungkinkan semua orang memperbarui mesin pencari dengan cara yang sama,” tambahnya.
Kunjungan yang sia-sia
Mesin pencari telah menjelajahi internet untuk mencari informasi selama bertahun-tahun, tetapi tampaknya ini adalah pertama kalinya sebuah inisiatif besar diluncurkan untuk membuat prosesnya lebih efisien.
“Saya tidak dapat berbicara tentang motivasi Microsoft dan Yandex dalam menciptakan ini, tetapi itu adalah sesuatu yang tampaknya sudah terlambat,” kata Sterling.
Alexander menjelaskan bahwa untuk beberapa situs web, perayap membuat setengah lalu lintas di situs, dan terus bertambah.
"Ini bisa diatasi kapan saja selama 20 tahun terakhir," katanya. “Kami akhirnya mencapai titik kritis di mana skala dan inefisiensi memaksa solusi yang lebih baik.”
Perayap tidak hanya menghabiskan bandwidth di situs web, tetapi juga menyia-nyiakannya.
Blogger Cloudflare Abhi Das dan Alex Krivit mencatat di blog perusahaan bahwa setelah mempelajari seberapa sering bot mengunjungi kembali halaman yang tidak berubah, mereka menyimpulkan bahwa 53 persen lalu lintas perayap terbuang sia-sia untuk jenis kunjungan ke situs web tersebut.
Petunjuk Perayap
Cloudflare adalah kinerja web dan perusahaan keamanan di San Francisco. Ini memiliki program yang disebut Crawler Hints untuk menjaga mesin pencari tetap up to date pada perubahan di situs web pelanggannya.
Mesin pencari menggunakan jaringan bot yang kompleks untuk merayapi konten yang selalu berubah di internet sehingga orang dapat menemukan konten yang relevan dan tepat waktu, perusahaan menjelaskan dalam rilis berita. Saat ini, sekitar 45 persen lalu lintas internet berasal dari perayap web dan bot.
Untuk membantu meningkatkan efisiensi perayap di web, Cloudflare meluncurkan Crawler Hints — cara mudah untuk memberi sinyal kepada pengembang bot ketika konten telah diubah atau ditambahkan ke situs, sehingga mereka dapat membuat pilihan yang lebih efisien tentang apa yang harus dirayapi.
Terlebih lagi, lanjutnya, pemilik situs web akan dapat meningkatkan kinerja situs dengan mengurangi lalu lintas bot yang tidak perlu dan menyediakan konten tepat waktu, yang pada akhirnya membantu meningkatkan peringkat pencarian.
Sekarang, Cloudflare menggunakan standar IndexNow untuk membawa Crawler Hints ke mesin pencari utama, tambahnya.
“Situs web yang cepat, andal, dan hasil pencarian yang tepat waktu adalah inti dari setiap bisnis yang berkembang, baik itu perusahaan rintisan atau perusahaan Fortune 500,” kata CEO Cloudflare Matthew Prince dalam rilis berita.
“Sejak awal, kami telah bekerja untuk membantu pelanggan kami memberi mereka kecepatan, keandalan, dan keamanan yang mereka butuhkan untuk melakukan bisnis,” lanjutnya. “Hari ini, kami mengambil satu langkah lebih jauh dengan bekerja sama dengan Microsoft dan mesin pencari utama lainnya untuk membantu pemilik situs web mengurangi inefisiensi sambil juga memberikan pengalaman online yang andal, relevan, dan tepat waktu kepada penggunanya.”
Manfaat Bisnis
Bisnis online harus mendapat manfaat dari IndexNow, Sterling mencatat, karena perubahan inventaris produk dan informasi harga dapat dengan cepat dikomunikasikan dan diindeks oleh mesin pencari.
“Pengecer akan dapat lebih cepat memberi tahu mesin pencari tentang produk, harga, dan deskripsi baru sekarang karena mereka memberi tahu mesin tentang pembaruan daripada menunggu pengikisan,” tambah Alexander. “Itu berarti membuat lebih banyak informasi terkini tersedia untuk pelanggan potensial.”
Situs web juga harus melihat perubahan menjadi lebih baik dari protokol baru. “Semua situs web yang berpartisipasi harus mendapat manfaat tetapi terutama situs web yang memiliki konten sensitif waktu yang secara teratur diperbarui atau diubah, seperti situs dengan acara dan daftar pekerjaan,” kata Sterling.
“Ini juga memberi penerbit lebih banyak kontrol atas apa yang diindeks daripada di masa lalu,” katanya.
Situs web yang lebih kecil juga dapat memperoleh manfaat dari protokol karena perubahannya akan didaftarkan lebih cepat. “Saya menemukan dengan situs saya yang lebih kecil, saya bisa menunggu berminggu-minggu sampai Google datang dan memeriksa peta situs untuk perubahan. Mengindeks halaman baru dapat memakan waktu lebih dari sebulan, ”Colin McDermott, pendiri SearchCandy, perusahaan pemasaran pencarian dan hubungan blogger di Manchester, Inggris, menulis di Reddit.
Mesin pencari yang lebih kecil juga dapat menuai keuntungan dari IndexNow karena perayapan mahal dan sumber daya intensif. “Daripada mengambil pendekatan brute force dan memindai setiap bagian teks di setiap situs, mesin diperingatkan tentang apa yang baru,” jelas Alexander. “Ini adalah proses yang jauh lebih cepat, lebih efisien, dan efektif untuk memunculkan konten baru yang relevan.”
Google Tidak Tertarik
Mesin pencari terbesar dari semuanya, bagaimanapun, tidak akan mendapat manfaat dari IndexNow. Google telah memutuskan untuk tidak berpartisipasi dalam inisiatif tersebut.
“Sangat menarik bahwa Google telah menolak untuk berpartisipasi,” kata Sterling. “Perusahaan mungkin mengambil pendekatan menunggu dan melihat.”
“Mungkin juga percaya bahwa berpartisipasi akan menempatkan Bing dan kemungkinan mesin lain pada pijakan yang lebih setara dan akan mengurangi keunggulan kepemilikannya atas para pesaingnya,” tambahnya.
“Asumsi saya adalah satu-satunya alasan Google tidak terlibat adalah mereka terlalu berinvestasi dalam API pengindeksan mereka sendiri yang akan berusia hingga 3 tahun sekarang (namun masih hanya dirancang untuk bekerja untuk situs pekerjaan + streaming),” tulis McDermott.
Google tidak menanggapi permintaan kami untuk mengomentari cerita ini.
Sumber: technewsworld.com