Googlebot

Hvad er Googlebot?

“Googlebot” er betegnelsen for Googles søgerobot, der crawler hjemmesider på internettet.

I realiteten er “Googlebot” dog ikke blot en enkelt bot, som navnet kunne antyde, men derimod tusindvis, og måske endda millioner, af computere med “Googlebot” softwaren installeret, som crawler internettet.

Googlebots opgaver er at opdage nye sider på internettet, gencrawle sider med evt. opdateret indhold og herunder indsamle information omkring disse sider, således Googles database konstant holdes opdateres, og deres algoritmer altid kan servere det bedste indhold for deres brugere.

Hvordan fungerer Googlebot?

Googlebot fungerer ved at softwaren tilgår sider på internettet og “scanner” deres indhold. Måden hvorpå Googlebot finder frem til sider at scanne, er primært ved at følge links på de sider, den tilgår.

Udover at følge links på sider, der crawles, benytter Googlebot også sitemaps til at finde nye sider, der skal crawles.

Det er altså en process, som aldrig stopper, da Googlebot altid kan finde nye sider sider som skal crawles.

Se evt. nedenstående illustration som bedre viser dette:

Søgemaskiner crawling og indeksering

Hvor tit besøger Googlebot mit website?

Hvis du er interesseret i at vide, hvor ofte Googlebot crawler dit website, kan det gøres gennem Google Search Console under “Forældede værktøjer og rapporter” -> “Statistik for crawl”:

Herefter vil du blive præsenteret tre grafer der viser diverse informationer omkring hvor ofte Google crawler din hjemmeside.

Det kan være en god idé løbende at holde øje med disse grafer, da en stor stigning eller et stort fald i dem, kan pege i retning af at der er opstået et problem på din hjemmeside som bør undersøges nærmere.

Hvis du ser en stor stigning i graferne, uden selv at have tilføjet en masse nyt indhold, kan det typisk pege i retning af, at der er blevet åbnet op for at Google kan crawle sorterings- og filtreringssider eller andre sider med tyndt indhold. Dette er noget som der bør håndteres hurtigst muligt, hvis det er tilfældet.

Hvis du ser et stort fald i graferne, uden selv at have fjernet indhold på din hjemmeside, kan det pege i retning af at Google er blevet forment adgang til bestemte sider igennem robots.txt, eller at indhold er blevet slettet fra dit website.

Forskellige Googlebots

Der findes ikke kun en Googlebot, der findes mange forskellige Googlebots med forskellige “user-agents” tilknyttet. Der findes f.eks. både en Googlebot til desktop og mobil, samt Googlebots til billeder og video.

Her kan du se en oversigt over de mest gængse Googlebots:

 

Navn User-agent
Googlebot (Desktop) Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot (mobil) Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot News Googlebot-News
Googlebot video Googlebot-Video/1.0
Googlebot billeder Googlebot-Image/1.0

Simon Nielsen
CCO & Partner
📱 + 45 60 40 10 04

Vil du høre mere? Bliv ringet op