dmoz.org, avoin www-sivujen hakemisto ja MozDex, avoin hakukone

Wikipedian lisäksi on tässä mainittava joitakin muita vastaavia projekteja. Wikipediaa ja Nupediaa vanhempi dmoz.org Open Directory Project⁷⁷ on internetin linkki-hakemisto. Ensimmäinen ja edelleenkin suosituin vastaava (suljettu) hakemisto on internet-buumin ikoniksikin noussut Yahoo!.⁷⁸

Vuonna 1998 näytti siltä, että automatisoidut hakukoneet olivat tulleet tiensä päähän. Suosituin hakukone Altavista ei pystynyt käsittelemään räjähdysmäisesti kasvavaa www-sivujen määrää, vaan hakutulokset olivat aina vaan käyttökelvottomampia. Jo pelkkä www-sivujen määrä aiheutti sen, että oli vaikea enää löytää hakemaansa ja tilannetta vielä pahensi se, että erilaiset markkinointifirmat olivat oppineet väärinkäyttämään www-sivujen avainsanaluetteloita päästäkseen hakutulosten kärkeen. Tilanne oli vähän niinkuin tänä päivänä sähköpostin kanssa: teitpä mitä tahansa niin asiallisimmillakin hakusanoilla hakutulosten kärjessä oli enimmäkseen pornoa ja... no, lähinnä pornoa, sillä Viagraahan ei vielä silloin tunnettu.⁷⁹

Niinpä tulevaisuus näyttikin olevan yhä enemmän Yahoo!n kaltaisten ihmistyövoimalla koottujen hakemistojen varassa. Tähän markkinarakoon iskivät Chris Tolles ja Rich Skrenta. Heille oli selvää, että räjähdysmäisesti kasvavan webin kokoaminen yhtään mihinkään hakemistoon suorastaan vaati Open Source -tyyppistä lähestymistapaa. Niinpä he kesäkuussa 1998 perustivat tarkoitusta varten projektin, jolle antoivat nimen – kuinka pieni maailma muuten onkaan – GnuHoo, eli avoin Yahoo!. Koska kyseessä ei kuitenkaan ollut virallinen Gnu-projekti, he Richard Stallmanin pyynnöstä vaihtoivat nimeksi NewHoo. Myöhemmin Yahoon kanssa kilpaileva Netscape luopui omista hakemistohankkeistaan ja osti NewHoon oman portaalinsa alustaksi, jolloin siitä tuli Open Directory ja lopuksi se sai kodin osoitteesta dmoz.org.

Dmoz, eli NewHoo, oli alusta asti menestys. Jo ensimmäisen kuukauden aikana se oli kerännyt 31 000 linkkiä, jotka 400 vapaaehtoista toimittajaa olivat järjestäneet 3 900 kategoriaan. Vain viikkoa myöhemmin toimittajia oli jo 1200 ja linkkejä 40 000!⁸⁰

Samana vuonna 1998 automatisoitujen hakukoneiden valtius siirtyi Altavistalta uudelle tulokkaalle Googlelle, jonka kehittyneen PageRank-algoritmin ansiosta hakutulosten järjestykseen saatiin taas jotain tolkkua. Samalla kisa automaattisten hakukoneiden ja toimitettujen hakemistojen välillä taisi taas kääntyä automatisoitujen hakukoneiden eduksi. Merkillepantavaa kuitenkin on, että Google ja monet muut hakukoneet käyttävät dmozia yhtenä tietolähteenä oman tietokantansa luonnissa. Käyttäessäsi Googlea käytät siis Open Sourcea monella tavoin. Ensinnäkin Googlen palvelimet perustuvat Linuxiin ja Open Source -koodiin⁸¹ ja toiseksi Googlen hakukone hyödyntää Open Source -tietolähdettä.

Vaikka toimitetut hakemistot hävisivät kisan Googlea vastaan, mutta Open Source yhteisö ei silti luovuttanut. Huhtikuussa 2004 putkahti hakukonekisaan uusi tulokas nimeltä MozDex.⁸²

MozDex on täydellisen avoin hakukone. Se ei ainoastaan perustu Open Source koodiin, vaan tarkoituksena on olla avoin myös mitä hakutulosten esittämiseen tulee. Mistä tiedämme, että hakutulos, jota Google tarjoaa ensimmäisenä, on oikeasti paras? Voimmeko olla varmoja, ettei joku Googlen työntekijä ole käynyt sorkkimassa tietokantaa, tai ettei ykköspaikkaa ole myyty parhaiten maksavalle? Vaikka luotammekin Googleen, niin emme voi tietää varmasti. MozDexin tavoitteena on tarjota meille hakutuloksia, joista jokainen voi tarkistaa, miksi parhaiten sijoittuneet linkit todella ovat parhaita. Jokaisen hakutuloksen vieressä on "explain"-linkki, josta pääsee tarkistamaan, millä perusteilla tietty hakutulos on saanut pisteitä tietokannan muihin sivuihin verrattuna.

MozDexin hakukoneen ohjelmoijan Doug Cuttingin sanoin: "Internet-hakukoneiden määrä on laskussa. Tämän päivän harvainvalta voi kohta muuttua monopoliksi, jolloin yksi yhtiö hallitsisi kaikkea tiedonhakua ja hyödyntäisi tätä asemaansa taloudellisesti omaksi edukseen. Tämä ei ole internetin käyttäjien kannalta toivottavaa kehitystä".

Tätä kirjoitettaessa MozDex on vasta kokeiluasteella, eikä sen tietokannasta vielä löydy läheskään kaikkia internetin www-sivuja. Mutta 9. huhtikuuta 2004 jää kuitenkin historiaan päivänä, jolloin Open Source tuli mukaan hakukonekisaan. Google voitti ensimmäisen erän, mutta iskeekö Open Source vielä takaisin? Se jää nähtäväksi.

Kirjan "Avoin Elämä: Näin toimii Open Source" verkkoversio on luettavissa ilmaiseksi.
Halutessaan siitä on kuitenkin mahdollista, ja suotavaakin, antaa kirjailijalle pientä tippiä.