Bir ya da birkac kelimeyi dunyadaki tum internet siteleri icinde (genelde) bir saniyeden kisa surede aramayi becerebilen, bu yetmezmis gibi tam da aradiginiz seyi karsimiza getiren Google Arama Motoru ‘nun nasil calistigi hakkinda pek azimizin bir fikri vardir. Bakalim Google bunu nasil basariyor?
Google‘in alan adi sunucusu (dns) yazilimi tum dunyadaki sirkete ait ya da kiralanmis bilgisayarlarda (dedicated) calisir. Bunlarin gorevi, sorguyu en yakin ve en az mesgul olan Google sunucu kumesinden (cluster) gondermektir. Google Cluster kelimesi Türkçeye salkim ya da kumelerden olusan bir butun olarak cevrilebilir. Kucuk parcalardan meydana gelen buyuk bir yapiyi temsil etmek icin kullanilir diyebiliriz. Salkimlar uzum tanelerinden olusur ve basli basina bir seydir. Google’in dehasi binlerce ucuz ve yavas bilgisayari tek bir super bilgisayar gibi kullanabilen network yaziliminda yatar. Bu sistem salkimi olusturan kucuk bilgisayarlarin sisteme girip cikmasina izin verir. Bu sayede eger kucuk bilgisayarlardan biri bozulursa sistemin calismasi sekteye ugramadan tamir edilebilir veya degistirilebilir.
Googlebot, gorevi girebildigi butun siteleri gezmek ve istenmedigini belirtmedigi surece yazilarin kopyasini alan ve kolay ulasilabilir olmasi icin ”Indeks Verileri” olusturan web orumcegidir. Bu orumcekler bir siteden digerine linkler araciligiyla gecerler, populer siteleri ve oradaki linkleri yaklasik her saatte bir indekslerler. Tum Google cluster’lerinin icinde butun web’in toplam uc kopyasi vardir. Bu yaklasik yirmi petabyte tutar. (Kulaga kucuk geliyor degil mi? Eger Laptopunuzun yada Ipod’unuzun hafizasi (harddisc) 20 petabyte olsaydi tam 200 milyon sarkiyi cebinizde yada bilgisayarinizda barindirabilirdiniz.) Cluster’lardaki veriler surekli guncellenir, asla sabit degildir. Aramalar uzerinde ayni anda calismasi icin web server tarafindan yuz binlerce makinaya gonderilir. Bu markete gidip birsey istediginizde yuzlerce gorevlinin bir urun bulup alisveris arabaniza koymasina benzer. Google’in bildigi her sey devasa veritabanlarinda saklanir fakat bir bilgisayarin gigabyte’larca dosyayi islemesini beklemek yerine Google bu verileri binlerce bilgisayar tarafindan taranarak benzer aramalar icin indeks verileri olusturulur. Bunu bir kitapta neyin nerede oldugunu belirten icindekiler sayfasina benzetebiliriz. Bu sayede web’in kolayca ulasilabilir olmasi saglanir. Indeks server’den gelen verileri linklere ve siralama algoritmasina gore duzenler ve kullanicinin karsisina verileri cikarir. Butun bu islemler ortalama 0,5 saniye icinde gerceklesir.
Peki, Google web’i nasil bu kadar surede arar? Aslinda bir sorgu gerceklestirdiginizde Google web’de aramaz. Google zaten veritabanlarina web’in uc kopyasini almis ve kendi ozel algoritmalari sayesinde bunlari kolayca aranabilir hale getirmistir. Bu ”algoritma (program)” sayesinde Google hangi sitelerin onemli ve hangilerinin onemsiz oldugunu belirler. Google’in web aramasi ozelliklerini bilgisayara tasiyan Google Desktop adli bir uygulamasi vardir. Tam anlamiyla olmasada web aramalarini kullanir.
Harbiden ne zor calisiyo bu Google