Per què es diu rastrejador?

Introducció

T'has preguntat mai per què a determinats dispositius o equips tecnològics se'ls dóna noms o termes específics? Per exemple, per què el cercador Google es diu Google o la plataforma de missatgeria WhatsApp coneguda com WhatsApp? De la mateixa manera, per què els rastrejadors web s'anomenen rastrejadors? En aquest article, respondrem la pregunta: "Per què s'anomena rastrejador?" en detall.

Què és un Crawler?

Abans d'endinsar-nos en la història del terme "rastreador", primer entenem què significa realment. Un rastrejador, també conegut com aranya o bot, és un programa automatitzat utilitzat pels motors de cerca per recopilar informació de pàgines web. Les dades recollides s'analitzen i s'indexen per crear un motor de cerca més ràpid i eficient per als usuaris.

Els rastrejadors o aranyes dels motors de cerca analitzen el contingut de les pàgines web i segueixen els hiperenllaços disponibles a la pàgina per descobrir contingut nou per indexar. Aquest procés continu de rastreig i indexació garanteix que les pàgines de resultats del motor de cerca (SERP) estiguin sempre actualitzades i mostrin els resultats més rellevants per a les consultes dels usuaris.

Origen del terme "Crawler"

L'ús més antic del terme "rastreador" es remunta a mitjans-1990. En aquell moment, alguns motors de cerca utilitzaven programes automatitzats anomenats "aranyes" per rastrejar-se per les pàgines web i indexar-les. Tanmateix, calia un programa més eficient i potent per mantenir-se al dia amb el contingut de ràpid creixement de la World Wide Web.

El 1994, un estudiant d'informàtica de la Universitat de Washington anomenat Brian Pinkerton va desenvolupar un programa anomenat WebCrawler. Va ser el primer motor de cerca web de text complet del món que va indexar tot el contingut d'una pàgina web en lloc de només les metadades o les paraules clau. El programa es va anomenar encertadament "rastreador", ja que es va rastrejar per pàgines web seguint hiperenllaços.

WebCrawler va guanyar popularitat ràpidament i va inspirar el desenvolupament d'altres rastrejadors i motors de cerca, com ara Lycos, AltaVista i Yahoo! Amb el temps, "crawler" es va convertir en el terme estàndard utilitzat per referir-se als robots web que s'exploraven per les pàgines web.

Tipus de crawlers

Els rastrejadors web es poden classificar generalment en tres categories: de propòsit general, especialitzats i en temps real. Fem una ullada de prop a cadascun d'ells.

- Exploradors de propòsit general: són els tipus de rastrejadors web més comuns utilitzats pels motors de cerca. Rastregen els llocs web i indexen el contingut per oferir resultats de cerca rellevants als usuaris. Alguns exemples de rastrejadors de propòsit general inclouen Googlebot, Bingbot i Yandexbot.

- Exploradors especialitzats: aquests rastrejadors estan dissenyats per recopilar informació específica de llocs web i s'utilitzen principalment en investigacions i mineria de dades. Per exemple, es pot utilitzar un rastrejador especialitzat per recopilar dades sobre els preus dels productes venuts pels minoristes en línia o per fer un seguiment dels canvis realitzats als llocs web al llarg del temps.

- Exploradors en temps real: aquests rastrejadors supervisen contínuament els llocs web per obtenir actualitzacions i canvis de contingut, i indexen els canvis en temps real. S'utilitzen principalment a la indústria de notícies i mitjans de comunicació per oferir articles de notícies actualitzats als lectors.

Conclusió

En conclusió, el terme "crawler" es va originar a partir del programa WebCrawler, que va ser desenvolupat per Brian Pinkerton l'any 1994. El terme es referia a la capacitat del programa per rastrejar pàgines web i recopilar informació per crear un índex de motor de cerca. Amb el temps, es va convertir en el terme estàndard utilitzat per referir-se a tot tipus de rastrejadors web. Avui en dia, milers de rastrejadors o aranyes s'estenen per la web, indexen contingut i ofereixen resultats als usuaris de motors de cerca de tot el món.