Ha egy városról megfelelő, tehát minél nagyobb és jobb minőségű képekből álló adatbázissal rendelkezik, az amerikai Carnegie Mellon Egyetem (CMU) algoritmusa automatikusan megtalálja a földrajzi szempontból információértékű elemeket, az adott hely sajátosságait, hogy milyen vizuális jegyek és azokhoz kapcsolódó érzetek jellemzik például Párizst vagy Londont. E stílusjegyek alapján azonosít.

A képi adatbányász szoftvernek nincs könnyű dolga, hiszen a megkülönböztető vonások sokszor a részletekben rejlenek: utcanév-táblák, lámpák, erkélykorlátok és hasonlók speciális mintázatai. Egy program számára ráadásul még azt sem evidens megállapítani, hogy az összes képen található minden lehetséges elemkombináció közül melyek relevánsak, melyek nem.

A főteszt során a Párizsról, Londonról, New Yorkról, Barcelonáról és további nyolc nagyvárosról összegyűjtött 40 ezer felcímkézett Google Street View kép mintegy 250 millió vizuális elemet tartalmazott. Ebből az adatbázisból véletlenszerűen kiválogattak 25 ezer vizuális elemet. A gépitanulás-módszereket használó szoftver egyrészt azt próbálta megállapítani, hogy melyek fordulnak elő gyakran, és vannak-e olyanok köztük, amelyek alapján kizárható-e egy város, azaz, mely részletek miatt különülnek el egymástól hasonló elemek. E logika mentén haladva, többszörös iterációt követően egyes mintázatok egyértelművé váltak: London viktoriánus, San Francisco öbölre néző ablakai, New York tűzlétrái stb., Párizst pedig (többek között) a speciális lámpaoszlopok, a sötétkék alapon fehér szöveget tartalmazó utcanév-táblák, a védőkorlátos ablakok teszik egyedivé. Legalábbis a szoftver szerint, amelynek komoly gondot okozott az Egyesült Államok városainak azonosítása. A kutatók úgy vélik, a stílusbeli koherencia relatív hiánya miatt – valószínűleg azért, mert az amerikai metropoliszok építészetét sokkal szerteágazóbb hatások határozzák meg, mint az ebből a szempontból homogénebb Párizsét.

Az így „felfedezett" vizuális jegyek, mintázatok különböző számítógépes földrajzi, művészettörténeti stb. feladat elvégzésekor (építészeti párhuzamok kimutatásakor, eltérő geográfiai koordinátákkal rendelkező területek, például kontinensek, városok vagy speciális kerületek reprezentatív jegyeinek meghatározásánál) hasznosíthatók. A CMU kutatói távolabbi célként az egész Földet megjelenítő digitális vizuális atlasz létrehozását tervezik. Elképzeléseik szerint az atlasz geográfiai-térbeli építészeti jellemzők mellett természeti/természetföldrajzi jellemzőket is tartalmazna.

A szoftver egy másik, fontosabb szempontból szintén komoly eredmény: mivel egyre nagyobbak az adatbázisok, kezelésük, áttekintésük nagy és a jövőben csak súlyosbodó problémákat okoz. Az úgynevezett Big Data jelenségre ugyan már találtak ki módszereket, csakhogy azok általában az információkinyerés szempontjából könnyebb szöveges és numerikus adatokra vonatkoznak. Képi adatok elemzése sokkal nehezebb, nem véletlen, hogy például a vizuális keresés sem fejlődik olyan mértékben, mint a szöveges. A vizuális adatbányászat pedig kifejezetten gyerekcipőben jár még – és itt egyelőre csak állóképekről van szó, mozgóképek kezelése nagyságrendekkel bonyolultabb, sokkal több hibalehetőségre ad okot.

A kutatók szerint a szakterületben óriási potenciál rejlik. Szoftverük automatikusan vizsgált át egymilliónál több képkombinációt – olyan mennyiséget, amely az emberi türelem végső határait feszegeti. Szemünk sokkal hamarabb tévedne, mint a CMU speciális algoritmusa. A munkafolyamat egyébként kifejezetten sok számítást és időt igényel, a főteszt során 150 processzor dolgozott megállás nélkül.

A projektben a párizsi INRIA/École Normale Supérieure kutatói is részt vettek. Az eredményeket augusztus 9-én, a számítógépes grafika és animáció legnagyobb éves seregszemléjén, a Los Angelesben megrendezett SIGGRAPH 2012-n mutatták be.