Cara Kerja Search Engine

Setiap Search Engine  atau mesin pencari memiliki 3 fungsi utama, yaitu crawling (menemukan konten), indexing (untuk menyimpan dan melacak konten), dan retrieval (untuk mengambil konten relevan ketika seseorang bertanya pada search engine).

Crawling

Merupakan tahap pertama dari cara kerja search engine: ketika mesin pencari mengakuisisi data dari sebuah website. Tahap ini meliputi scanning dan mengumpulkan detail dari halaman website : judul, gambar, kata kunci, internal link, dan sebagainya. Setiap crawler(bot atau spider) mengumpulkan data yang berbeda. Bot atau spider yang mengunjungi setiap halaman pada website dengan sangat cepat, bahkan Google Spiders dapat membaca ribuan halaman per detik.

Crawler ini juga mengunjungi ulang halaman pada website untuk melihat perubahan yang dilakukan website. Sebagai halaman yang dapat ditandai dengan noindex, yaitu seperti memberikan sinyal pada bot agar tidak mengindeks halaman tersebut. Halaman yang tidak di indeks oleh search engin disebut dengan deep web.

Indexing

Adalah tahap dimana data yang sudah di crawl kemudian di proses dan diletakkan di database.
Crawling adalah proses ketika kita membaca data sedangkan indexing adalah ketika kita membuat catatan tentang data tersebut.

Retrieval & Ranking

Retrieval adalah proses ketika search engine seperti Google memproses permintaan dari pertanyaan yang biasa kita ketik di Google search, dan memberikan halaman dari website yang relevan.

Setiap search engine atau mesin pencari memiliki algoritma dan caranya sendiri dalam memilih halaman mana yang paling relevan dengan permintaan.