Karakteristik
Search Engines Berdasarkan Crawler Robot
(Crawler-Based Search Engines)
Karakteristik utama crawler-based search engines seperti Google adalah cara membuat listings secara otomatis. Search engine tersebut melakukan pencarian dan mendaftar (crawl atau spider) halaman-halaman website, kemudian basil listing digunakan oleh para pengguna internet ketika melakukan pencarian informasi tertentu melalui search engine tersebut. Crawler selalu melakukan pencarian halaman-halaman website secara teratur. Oleh karena itu, crawler akan menemukan perubahan yang kita buat pada halaman-halaman tertentu dan secara otomatis akan mengganti halaman-halaman lama dengan yang baru.Search engines berdasarkan crawler atau robot (crawler-based search engines) memiliki tiga elemen utama. Pertama, elemen spider yang sering disebut juga sebagai crawler: Cara kerja spider adalah dengan mengunjungi suatu halaman web tertentu, membacanya, kemudian mengikuti link-link menuju ke halaman-halaman lain dalam web tersebut, Pengertian tersebut adalah definisi dari website yang dikunjungi (spidered atau crawled) oleh crawler atau spider dari search engine tertentu. Spider akan kembali mengunjungi web tersebut secara teratur untuk memeriksa perubahan-perubahan dalam web tersebut.
Elemen kedua adalah tempat penyimpanan hal-hal yang di-temukan oleh spider saat mengunjungi website tertentu. Bagian kedua ini disebut sebagai index atau katalog, yaitu semacam buku besar yang berisi kopian setiap halaman web yang ditemukan oleh spider. Apabila terjadi perubahan pada sebuah halaman maka buku tersebut akan di-update dengan informasi terbaru dari perubahan tersebut. Melakukan perubahan pada index memerlukan jangka waktu tertentu. Meski halaman tertentu sudah dikunjungi, kadang halaman tersebut belum di-tambahkan. Halaman tersebut tidak akan ditemukan saat kita mencari ke search engine yang melakukan listing web kita hingga halaman tersebut ditambahkan ke dalam katalog.
Elemen ketiga adalah perangkat lunak search engine. Elemen ini adalah suatu program yang menyaring jutaan halaman yang disimpan dalam index untuk dicocokkan dengan suatu pencari-an tertentu dan diranking berdasarkan kesesuaian pencarian.
Direktori Didasarkan Cara Kerja Manusia
(Human-Powered Directories)
Karakteristik utama direktori seperti Open Directory, tergan-tung pada manusia dalam melakukan listings atau index. Salah satu caranya adalah kita daftarkan halaman-halaman web kita dengan memberikan deskripsi singkat mengenai halaman-ha-laman tersebut, kemudian pihak editor akan melakukan review. Dengan demikian, pencarian hanya cocok dengan deskripsi yang pernah diserahkan. Jika kita melakukan perubahan pada halaman-halaman tertentu di web kita; perubahan-perubahan tersebut tidak akan berpengaruh pada listing di direktori ter-sebut. Memberikan isi yang baik dan lengkap pada web, bukan sekedar link saja akan sangat membantu dalam melakukan listing secara efektif. Kelengkapan isi web akan mendorong reviewer melakukan penilaian terhadap web kita.
Search Engine Campuran (Hybrid Search Engines)
Saat ini ada banyak search engine yang menggabungkan antara crawler dan manusia sehingga dapat memberikan hasil yang berasal dari crawler maupun dari listing yang dilakukan oleh manusia. MSN Search adalah salah satu contoh search engine campuran tersebut. MSN Search mampu memberikan hasil dari crawler sekaligus listing yang dilakukan oleh manusia.
Kategori Search Engine Secara Umum
Terdapat tiga kategori search engine dalam teknologi World Wide Web, yaitu Meta Search Site, Search Engine, dan Subject Guides and Directories. Meskipun demikian, jika dilihat dari cara melakukan listing terhadap halaman-halaman World Wide Web, istilah "search engine" sering digunakan untuk meng-gambarkan secara umum mesin pencari berdasarkan cara kerja crawler atau robot dan direktori yang dikerjakan oleh manusia. Pengertian ini membedakan masing-masing mesin pencari da-lam mendaftar atau melakukan listing terhadap halaman-halaman yang ada di World Wide Web.Kategori Meta Search Sites
Meta search sites merupakan kumpulan beberapa search engine, khususnya untuk pencarian penelitian yang kompleks karena situs-situs ini memungkinkan pengguna mempercepat pencarian dengan cara mengurangi waktu yang dibutuhkan dalam pencarian jika dilakukan oleh alat-alat pencari dari situs lainnya. Prinsip pencarian meta ialah pencarian dilakukan oleh beberapa mesin pencari (search engine) yang dilakukan secara sekaligus. Keunggulan alat pencarian seperti ini ialah kita dapat menghemat waktu dan menghindari duplikasi basil pencarian. Kelemahan alat ini ialah hilangnya pilihan-pilihan hasil pencarian yang membedakan antara satu alat pencari dengan alat pencari lainnya.Beberapa alat pencarian yang termasuk dalam meta search sites, diantaranya ialah:
- MetaCrawler = http://www.metacrawler.com
- DogPile = http://www.dogpile.com
- c|net's Search.com = http://www.search.com
Kategori Search Engine
Pada umumnya search engine mempunyai karakteristik pencari-an yang sangat spesifik yang bergantung pada masing-masing situs yang menyediakan layanan pencarian secara online ter-sebut. Kesamaannya ialah secara umum mesin pencari tersebut menggunakan metode Boolean: metode yang memungkinkan pengguna membuat kombinasi kata kunci dengan operator, seperti AND, NOT dan OR untuk menghasilkan hasil pencarian yang sesuai dalam pencariannnya. Beberapa mesin pencari yang termasuk dalam kategori ini ialah:- AltaVista = http://www.altavista.com: AltaVista mulai ber-operasi sejak bulan Desember 1995 dan dalam beberapa tahun Altavista berfungsi seperti "Google" saat ini dalam kaitannya dengan menyediakan hasil-hasil pencarian yang cocok yang digunakan oleh banyak orang. Kondisi seperti ini hanya bertahan sampai pada tahun 1998 disebabkan pihak perusahaan tidak dapat memahami pentingnya pencarian dalam web.
Ciri utama AltaVista yang dapat mengindeks sebanyak lebih dari 550 juta halaman situs ialah penggunaan analisa relevansi teks dan juga penggunaan logika Boolean. Pencarian dapat dilakukan dengan menggunakan kata atau frasa yang tepat sesuai dengan topik yang dicari. Pencarian dapat dibatasi hanya pada bagian-bagian tertentu, misalnya judul, jangkar (anchor), host, link, applet, gambar, dan URL. Keunggulan utama Alta Vista ialah kemampuan menggabung pencarian hanya dengan satu kali pencarian saja. Saat ini Altavista berfokus hasil pencarian dari Yahoo karena Altavista sudah menjadi bagian dari Yahoo semenjak tahun 2003 pemiliknya Overture dibeli oleh Yahoo. Melalui Altavista, pengguna dapat mencari gambar, MP3 / Audio Video dan kategori lainnya.
- Northern Light = http://www.northernlight.com:
Northern Light mempunyai karakteristik utama, yaitu dapat melaku-kan pemotongan dan menampilkan bentuk plural secara otomatis dalam pencariannya. Northern Light menggunakan logika Boolean secara penuh dan dapat melakukan pembatas-an pencarian, misalnya hanya mencari judul atau URL saja.
- HotBot = http://www.hotbot.com:
HotBot mulai dioperasi-kan pada bulan May 1996. Saat itu HotBot sudah memper-oleh popularitas dalam hasil pencarian karena kualitasnya. Sayangnya HotBot mulai tidak terkenal lagi setelah menggunakan mesin pencari milik Direct Hit's "click-through" di hasil-hasil listing utamanya di tahun 1999. Sayangnya kualitas pencarian Direct Hit's tidak sesuai dengan konsep pencarian semula.
Sejak saat itu popularitas HotBot terus menurun sampai dengan diambil alih oleh Lycos. Lycos gagal dalam menentukan pencarian sebagai prioritasnya karena saat itu baik Lycos dan HotBot disepanjang tahun 1999 dan. 2000 malah berkonsentrasi pada penambahan fitur-fitur sebagai sebuah portal bukan sebagai search engine. Sekalipun demikian pihak perusahaan yang mengelolanya kembali melakukan fokus pada pencarian di tahun 2001. Ciri utama pencarian yang digunakan oleh HotBot ialah adanya pembagian bagian-bagian web yang terbaik dan dokumen-dokumen web yang lainnya.
Pencarian dilakukan dengan menggunakan logika Boolean tetapi kita tidak dapat melakukan pencarian fasilitas-fasilitas tersebut hanya dengan satu kali pencarian saja. HotBot menyediakan akses terhadap search engine milik Yahoo, Google dan Teoma. Untuk dapat di-listing oleh HotBot, kita dapat mengikuti link yang sudah disediakan.
- Google = http://www.google.com:
Google semula adalah sebuah proyek mahasiswa Stanford University yang bernama Larry Page dan Sergey Brin yang diberi nama BackRub. Nama tersebut pada tahun 1998 diubah menjadi Google, dan setelah itu proyek tersebut kemudian dijadikan sebagai perusahaan swasta Google milik perseorangan sampai saat ini. Google dikenal sebagai alat pencarian yang paling cerdas.
Meski kita hanya secara sederhana melakukan pencarian dengan memasukkan kata atau beberapa kata saja, Google akan secara otomatis melakukan pencarian dengan logika Boolean dengan menggunakan batasan-batasan AND, NOT, PHRASE, dan OR. Google tidak mendukung pemotongan (truncation), penambahan dan tidak membedakan bentuk huruf besar atau kecil (case sensitive). Kelebihan lain ialah Google menggunakan relevansi dan linking, yaitu jumlah
tertentu halaman-halaman sejenis yang berhubungan dengan halaman yang dicari. Google bahkan memungkinkan kita melakukan pencarian dengan menggunakan simbol-simbol tertentu, misalnya untuk stock quotes, peta, dan memberi-kan pilihan lebih dari 60 bahasa. Google juga menyediakan file-file berekstensi PDF yang jarang dihasilkan oleh alat-alat pencari lainnya.
Google juga menyediakan pilihan untuk dapat menemukan tidak hanya halaman-halaman dalam web saja; tetapi juga dapat menemukan gambar, diskusi dalam Usenet newsgroups, dan menemukan informasi berita atau mencari pro-duk-produk tertentu. Bahkan Google juga menyediakan informasi yang dikumpulkan dan diindeks oleh manusia yang berasal dari Open Directory. Disamping itu pula, Google juga dikenal dengan banyaknya fitur-fitur yang di-tawarkan, misalnya cached links yang memungkinkan pengguna dapat mengaktifkan lagi halaman-halaman yang "mati" dan melihat halaman-halaman versi lama sebelum halaman tersebut diubah menjadi bare. Google juga mem-berikan fasilitas untuk melakukan pengecekan pengejaan kata (spell checking), akses mudah ke definisi-definisi yang berasal dari kamus, integrasi stock quotes, peta jalan, nomor telepon dan masih banyak lagi fasilitas lainnya.
- Fast Search = http://www.alltheweb.com:
Search engine ini didukung oleh Yahoo. Fokusnya ialah pencarian dalam web, namun juga menyediakan berita, gambar, video, MP3 dan FTP. Metode pencarian dalam web ini menggunakan logika Boolean. Kita dapat membatasi pencarian hanya pada judul, teks, nama link, URL, link, bahasa dan domain. Ranking pencarian didasarkan pada relevansi, analisa link, penem-patan teks pada halaman tertentu, dan penggunaan kata kunci. AllTheWeb.com ini semula dimiliki oleh perusahaan yang bernama FAST. Kemudian perusahaan tersebut dibeli oleh Overture yang pada perkembangan berikutnya Overture dibeli oleh Yahoo. Dengan demikian perusahaan tersebut sekarang menjadi bagian dari milik Yahoo.
- Excite = http://www.excite.com:
Mesin pencari Excite me-lakukan review isi informasi halaman-halaman web, penggunaan meta-tags, teks jangkar, dan popularitas link untuk menentukan relevansi dan ranking basil pencarian.
- Lycos = http://www.lycos.com:
Lycos, yang diluncurkan pada tahun 1994, merupakan salah satu search engine tertua di web. Lycos berhenti melakukan crawling di web untuk membuat listing sendiri di bulan April 1999 dan akhirnya hanya menyediakan akses ke pencarian yang didasarkan manusia milik LookSmart dan basil pencarian didasarkan pada robot / crawler milik Yahoo. Lycos dimiliki oleh Terra Lycos, yang merupakan perusahaan yang dibentuk oleh Lycos dan Terra Networks di bulan Oktober 2000. Lycos saat ini sudah tidak mempunyai mesin pencarian sendiri. Web ini mengandalkan pencarian yang berasal dari Fast dan Inktomi.
- Ask = http://www.ask.com:
Ask Jeeves awalnya memperoleh popularitas antara tahun 1998 dan 1999 sebagai search engine yang mempunyai bahasa alami yang memungkinkan pengguna melakukan pencarian dengan bertanya dan mendapatkan jawaban dari pertanyaan yang disampaikan oleh pengguna tersebut. Hal ini dapat dilakukan karena di setiap titik perusahaan terdapat sekitar 100 editors yang melakukan pemantauan pencarian. Kemudian para editor tersebut membantu memberikan jawaban apa yang ditanyakan oleh pengguna.
Ask mengambil alih Direct Hit, yang pertama kali mengembangkan teknologi pencarian "click popularity' - Kemudian di 2001, Ask mengambil alih juga indeks uni k dan teknologi relevansi pencarian milik Teoma. Teoma didasar-kan pada konsep klustering popularitas subyek yang spesifik. Saat ini Ask tergantung pada teknologi yang didasarkan pada crawler untuk menyediakan hasil pencarian kepada pars penggunanya. Hasil ini berasal dari algoritma Teoma, yang dikenal sebagai ExpertRank.
- AOL Search = http://aolsearch.aol.com (internal) dan http://search.aol.com (external):
AOL Search menyediakan peng-guna dengan listing editorial yang berasal dari indeks didasarkan pada crawler milik Google. Itulah sebabnya pencarian yang sama dalam Google dan AOL Search akan menghasilkan kesamaan keluaran. Versi "internal" AOL Search menyediakan link menuju ke isi yang hanya tersedia dalam layanan online AOL. Sedang versi "external" tidak menyediakan link ke isi tersebut.
- Gigablast = http://www.gigablast.com:
Gigablast hanya mempunyai sedikit indeks di web. Sekalipun demikian, la-yanan yang diberikan dari hari ke hari semakin ditambah dengan fitur-fitur baru dan menarik.
- Live Search = http://www.live.com :
Live Search, yang lulu dikenal sebagai Windows Live Search adalah nama search engine milik Microsoft, versi lama dari MSN Search, yang dirancang untuk berkompetisi dengan search engine utama milik Google dan Yahoo. Live Search menawarkan beberapa fitur inovatif, seperti kemampuan melihat hasil pencarian tambahan di halaman yang sama dan kemampuan menye-suaikan jumlah informasi yang ditampilkan untuk masing-masing hasil pencarian (misalnya hanya judul saja, ringkasan singkat dan panjang). Disamping itu, Live Search juga mengijinkan pengguna menyimpan pencarian dan menggunakan lagi setelah diperbarui secara otomatis oleh Live.com.
- Netscape Search = http://search.netscape.com:
Netscape Search dimiliki oleh AOL Time Warner. Dalam listing-nya Netscape Search menggunakan milik Google sebagaimana situs pencari utama milik AOL. Perbedaan antara Netscape Search dan Google ialah bahwa Netscape Search akan me-nampilkan beberapa isi milik Netscape sendiri di bagian paling atas hasil pencarian. Lebih lanjut, Netscape juga mempunyai tampilan yang sangat berbeda dengan Google.
Search Engine dalam Kategori Subject Guides dan Directories
- Yahoo = http://www.yahoo.com:
Yahoo, yang diluncurkan pada tahun 1994 merupakan direktori web site yang dikerja-kan oleh manusia. Yahoo dalam membuat indeks halaman-halaman World Wide Web tidak menggunakan robot, web ini bergantung pada jumlah web site yang didaftarkan di direktori mereka secara manual. Sekalipun demikian Yahoo sangat selektif dalam menerima situs-situs yang didaftarkan Dalam perkembangannya pada bulan Oktober 2002, Yahoo mulai menggunakan listing yang didasarkan pada crawler untuk hasil pencarian utamanya. Listing ini berasal dari Google sampai dengan bulan Februari 2004. Saat ini Yahoo sudah menggunakan teknologi pencariannya sendiri.
Sekalipun demikian, sampai saat ini Yahoo Ditectory masih tetap dipertahankan. Hasil pencarian masih kadang memunculkan "category links" di bawah daftar situs-situs yang dimunculkan dari hasil pencarian. Situs-situs yang didaftarkan ke Yahoo Directory harus membayar untuk dapat dimasukkan ke dalam daftar situs komersial setelah disetujui oleh pihak editor. Sedang situs-situs non-komersial dapat didaftarkan secara gratis di direktori milik Yahoo.
- LookSmart = http://www.looksmart.com:
LookSmart dilun-curkan pada bulan Oktober 1996, yang saat itu selama satu tahun didukung oleh Reader's Digest, dan setelah itu pihak perusahaan melakukan buy back untuk melakukan kontrol layanannya sendiri. LookSmart dalam perkembangannya juga membeli WiseNut crawler-based search engine di bulan April 2002. LookSmart melakukan proses index lebih dari 200,000 kategori yang disusun secara hirarkis.
Kategori meliputi mulai dari masalah perkebunan dan buku-buku serta lomba mobil sampai ke masalah ruang angkasa. Teknik pencarian dalam web ini menggunakan kata kunci atau melacak melalui setiap kategori. LookSmart sebagaimana Yahoo direktori web site dikumpulkan oleh manusia bukan dengan menggunakan robot. Looksmart menyediakan listing dengan dua cara, pertama listing gratis yang dikelompokkan dalam situs Zeal dan kedua listing dengan membayar, khu-susnya untuk situs-situs komersial yang akan dimasukkan ke dalam kategori komersial di situs Looksmart.
- About.com = http://www.About.com:
Metode pencarian web ini mirip dengan LookSmart. Letak perbedaannya ialah dalam About terdapat situs-situs geografis negara, seperti Australia, Kanada, India, Irlandia, Inggris, Jepang dan lain-lainnya.
- Open Directory Project = http://www.dmoz.org:
Open Directory Project, semula dikenal dengan nama NewHoo, diluncurkan pada bulan Juni 1998. ODP mirip dengan Yahoo yaitu melakukan proses indeks dengan menggunakan manu-sia atau secara manual. Kategori subjek disusun berdasarkan hirarki dan berurutan secara abjad. Perusahaan pertama kali dimilki oleh AOL Time Warner, kemudian diambil alih oleh Netscape pada bulan November 1998 Isi kategori mirip dengan Yahoo dengan penambahan mengenai subyek World dengan menggunakan Bahasa Jerman, Spanyol, Perancis, Jepang, Cina, Itali, Portugis, Rusia, Polandia, dan Indonesia. Jika kita melakukan pencarian di sini, kita akan mendapat-kan hasil yang tidak maksimal karena sering tidak ada kecocokan antara pencarian dan data base yang ditampilkan.
- WWW Virtual Library: Data Sources by Subject. http://vlib.org/Overview.html:
Direktori ini disusun oleh para ahli di bidang masing-masing. Situs ini menggunakan metode pencarian berdasarkan teknik yang sederhana, yaitu dengan melakukan browsing didasarkan pada kategori, urutan abjad, dan kata kunci. Karena dikerjakan oleh manusia maka topik-topik dalam direktori ini sering sudah kedaluwarsa. Sekali-pun demikian karena disusun oleh para ahli, maka kualitas isi informasi dapat dipertanggungjawabkan kebenarannya.
Panduan Search Engine
• Search Engine Watch:
http://searchenginewatch.com/links/
URL ini akan menuntun kita ke panduan mengenai berbagai search engine yang ada di web.
• Yahoos Searching the Web
http://dir.yahoo.com/Computers_and_Internet/Intemet/World_Wide_Web/Searching_the_Web/
Link di atas bermanfaat untuk mencari informasi mengenai berbagai search engine dan direktori.
• Open Directory Search Engines
http://dmoz.org/Computers/Internet/Searching/Search_Engines/
Alamat di atas memberikan banyak link menuju sumber-sumber informasi berkualitas tentang search engine dan cara pencarian dalam search engine.
• Direct Search
http://www.freepint.com/gary/direct.html
Alamat di atas menunjukkan sekumpulan besar slat pencari-an (search tools) khusus yang berisi informasi tersembunyi dalam search engine. Informasi ini dikumpulkan oleh seorang ahli pencari informasi bernama Gary Price.
• SearchEngineGuide: Search Engine Directory
http://www.searchengineguide.com/searchengines.html
Link tersebut berisi panduan menuju ke berbagai search engines, portals, dan direktori.
• InfoGrid
http://www.infogrid.com.
InfoGrid menyediakan link-link yang langsung menuju ke situs-situs pencarian utama dan web-web berdasarkan topik dengan berbagai kategori, termasuk di antaranya meta search dan pencarian berita.
• SearchlQ
http://www.zdnet.com/searchiq/
Dalam link ini kita akan menemukan review tentang search engine, tutorial, dan direktori khusus search engine.
• Skworm
http://www.skworm.com/
Link ini menuntun ke sumber informasi mengenai search engine dengan kemampuan melakukan query dari halaman yang sama.
• CUT W3 Search Engines
http://cui.unige.ch/meta-index.html
Situs ini merupakan panduan tertua untuk layanan-layanan utama dan spesial dengan kemampuan melakukan query secara langsung dari halaman tersebut.
• AllSearchEngines.com
http://www.allsearchengines.com/
Situs di atas memiliki link ke semua search engine. Di sini kita dapat browsing kategori-kategori untuk menemukan search engine, tetapi tidak untuk melakukan pencarian.
• Big Search Engine Index
http://www.search-engine-index.co.uk/
Situs ini merupakan alamat untuk ratusan search engine yang diorganisir dalam suatu kategori.
• DirectoryGuide
http://www.siteowner.com/dgdefault.cfm
Directory Guide berisi ratusan search engine dan direktori yang diorganisir dalam kategori. Untuk memperoleh hasil yang maksimal, kita dapat menggunakan panduan untuk menemukan layanan yang mirip dengan pencarian atau kita dapat mengikuti link untuk memasang informasi di website kita.
• Indicateur
http://www.indicateur.com
Indicateur merupakan direktori search engine dengan meng-gunakan bahasa Perancis.
• SearchBug.com
http://www.searchbug.com
Search Bug merupakan koleksi situs-situs pencarian dan referensi, yang berkisar mulai dari pencarian nomor telepon hingga pelacakan paket serta search engine utama.
• Search Engine Colossus
http://www.searchenginecolossus.com
Situs ini berisi daftar search engine dunia.
EmoticonEmoticon