Talán a legnépszerűbb alkalmazás a weben, ezért hatalmas üzlet az internetes keresés. A szolgáltatók rendíthetetlenül csiszolják a technológiájukat, folyamatosan bővül az általuk kereshető oldalak száma, ami immár több száz milliárdos nagyságrendű. De jó tudni, hogy a keresőknek vannak korlátaik.

Nem érhető el a webes tartalmak nagy része a legjobbnak tartott keresőkkel sem. A hatalmas méretek, a gyors változások miatt természetesen pontos számokat nem lehet mondani, egyes becslések szerint azonban a keresőkkel nem, vagy nehezen elérhető információforrások, oldalak száma 1 trillió körül mozoghat. Minden bizonnyal kijelenthetjük, hogy a keresőkkel elérhető mennyiség többszöröse nem lelhető fel ezen a módon.

Technológiai oka van, hogy láthatatlan a webes információk nagy mennyisége. Olyan oldalak, források ezek, amelyeket a keresőprogramok adatbázisát felépítő, összegyűjtő programok, alkalmazások valamilyen okból nem látnak, nem tudnak elérni. Ilyenek például a jelszóval védett oldalak, a nem kezelhető formátumot tartalmazó oldalak, a keresőktől technológiailag tudatosan elzárt, vagy külső linkekkel nem rendelkező oldalak, és bármi egyéb, ami megakadályozza, hogy a keresők begyűjthessék az oldalt.

Persze sok az olyan oldal is, amelyeknek a gazdái szántszándékkal rejtik el tartalmaikat a kíváncsi szemek elől. Vannak fejlesztők, akik technológiai támogatást is nyújtanak ehhez, a nonprofit Freenet Project például ilyen.

A kutatók jó szokásukhoz híven gyorsan frappáns nevet adtak a web kereshetetlen részének, ez a mély (deep) vagy láthatatlan (invisible) web, a keresőkkel elérhető web rész pedig a felszíni (surface) vagy látható (visible) web. A mélyben lévő, vagy láthatatlan oldalakhoz csak akkor juthatunk el, ha pontosan tudjuk, miként érhetjük el őket. A keresőkkel a mély webbe nem merülhetünk le, de magáról a jelenségről nagy mennyiségű anyag érhető el a felszínen is.

Miért érdekes mindez? Nyilvánvalóan azért, mert ha komolyan keresünk valamit a weben, főleg ha professzionális célból, jó, ha tisztában vagyunk azzal, hogy a szokásos keresőprogramok nem feltétlenül adják a legjobb találatokat, lesznek tehát tartalmak, amelyeket nem találunk meg velük. Vagyis ha tényleg jó eredményt akarunk elérni, azon túl, hogy beírjuk a Google-ba a keresett kifejezést és rákattintunk az első néhány találatra, máshol is utána kell járni a dolognak. Az is elképzelhető, hogy van, aki nem szeretné, hogy bárki és bármikor elérhesse a webes tartalmait – ez nem feltétlenül takar illegális tevékenységet, lehet, hogy csak nem akarja, hogy például a barátaival fenntartott fórumok és hasonlók bárki számára elérhetőek legyenek.

A láthatatlan web hatalmas mennyiségű és értékesnek számító információt tartalmaz. Természetesen a keresőprogramokat fejlesztő cégek tudják, hogy a weben létezik egy hatalmas, általuk még le nem fedett terület, így komoly erőfeszítéseket tesznek annak érdekében, hogy könnyen kereshetővé tegyék. A kisebb fejlesztő cégek pedig üzleti lehetőséget látnak abban, hogy a nagyok által még meg nem hódított résre dolgozhatnak ki új megoldásokat. A lehetséges nagy haszon miatt várható, hogy hamarosan a most nem elérhető tartalmak nagy része is a látható tartományba kerül.

A mély web nem érhető el a megszokott keresőkkel, azonban a felszíni weben referenciákat, adatbázisokat lehet találni a mély webes tartalmak eléréséhez. Természetesen még így is óriási számban maradnak oldalak, amelyek – a működtetők szándéka szerint, vagy éppen véletlenül – elérhetetlenek az egyszeri internetezők számára.

A teljesség kedvéért jegyezzük meg, hogy az elérhetetlen oldalak jelentékeny része valószínűleg csak működtetőiknek és használóiknak, illetve olykor a bűnüldözőknek érdekes, és az is megeshet, hogy egyébként érdektelen dolgokat tartalmaznak. Így nem feltétlenül érdemes célként kitűzni, hogy az eddig mélyben lapuló trilliónyi oldal mindegyike elérhető legyen a keresők számára.