Vad gör en webbsökare
En webbsökare, ibland även kallad spindel, är ett datorprogram som systematiskt surfar på World Wide Web, vanligtvis i syfte att söka på webben (t.ex. webbsökning). Det är meningen med att krypa; sökrobotar indexerar webbsidor så att sökmotorer effektivt kan söka efter information. En sökmotor, eller indexerare, tar en ögonblicksbild av en webbplatss innehåll och söker sedan efter relevant information baserat på ett antal faktorer. Till exempel kan indexeraren söka efter specifika termer eller nyckelord, eller bläddra igenom hela webbplatsen för att hitta relevanta länkar.
Ett exempel på en sökrobot är Googlebot, som vanligtvis kallas Google. Googlebot kan göra många saker som att indexera RSS-flöden, samla in e-postadresser, skanna webbplatser efter innehåll och kategorisera sökresultat och mycket mer. Googlebot är oftast känd som Google, eller dess alternativa form Google News. Googles andra systerföretag, som Overture och Yahoo, är inte bara ansvariga för mycket av webbutvecklingen och söktekniken bakom Google, utan de kan också skapa mycket sofistikerade sökrobotar som kallas Google scrappers. Yahoo och Overture skrotar också webbplatser för reklam.
En separat komponent känd som en spindel kommer att följa länkarna från indexsidorna och följa de ursprungliga länkarna från webbsidor, den skannar för indexeringsändamål. För att slutföra denna uppgift måste spindeln besöka varje webbsida flera gånger, eller följa en väg med flera indexsidor tillbaka till början. En sökrobot är programvara som använder olika tekniker och program för att söka och besöka World Wide Web och hitta relevanta webbplatser. En sökrobot kan genomsöka alla typer av webbsidor, även om några av de mest populära sökmotorerna bara kan genomsöka ett fåtal webbplatser samtidigt.
Sökmotorerna använder sökrobotar för att utföra en omfattande del av sin analys, som inkluderar information om var en webbsida finns, hur länge den har funnits på webben, hur populär den är och vilka andra webbplatser som länkar till den. Sökmotorerna använder sökrobotar för att hjälpa dem att samla in och organisera data från alla olika webbplatser på webben så att de kan producera sökordsfokuserat innehåll. Detta är känt som sökmotoroptimering eller SEO, och genomsökningsbotarna ansvarar för att samla in informationen från de olika webbplatserna.
Webbsökare ansvarar också för att samla in statistik om sidorna på webben så att sökmotorerna kan göra de mest effektiva ändringarna av sina algoritmer. Utöver denna statistik övervakas varje webbsida så att ändringar kan tillämpas så snart som möjligt vid behov. Varje webbplats utvärderas oberoende för att avgöra vilka sökord som drar in mest trafik. Denna statistik och algoritmer är kända som “robotlogik” av sökmotorer och “webbanalys” av användare.
Syftet med spindeln är att hitta specifika länkar till webbsidor och indexera innehållet så att dessa kan ses av mänskliga besökare på webbplatsen. När den genomsökande roboten rör sig genom en webbplats läser och skannar den text, bilder, logotyper, videor och länkar för att hjälpa den att avgöra vad sidan handlar om. Om någon till exempel letade efter information om en dators inre funktion, skulle sökmotorn inte vilja visa bara vanliga textdokument. Istället skulle den vilja presentera navigeringsfält och detaljerade grafer som alla är länkade till annat relevant innehåll så att användaren kan få hela bilden.
