Sådan virker søgemaskinerne: Alt du skal vide om indeksering, crawling og rangering

For at kunne slå søgemaskinernes algoritmer, og i sidste ende dine konkurrenter, skal du kende arenaen, hvor kampen finder sted.

Arenaen her er: Søgemaskinerne. Med andre ord; når Google og andre søgemaskinerne tilgår din hjemmeside og læser den. På “SEO-sprog” kaldes dette, at søgemaskinerne crawler og indekserer siderne på din hjemmeside.

Hvordan fungerer dette helt konkret i praksis, og hvad kan du gøre for at optimere søgemaskinernes crawling og indeksering af din hjemmeside, og dermed i sidste ende komme foran dine konkurrenter i søgeresultaterne? Alt dette, og mere til, kan du få svar på i blogindlægget her!

Victor Kjeldgaard

Chief Technical Officer

📧 victor@aspera-digital.dk

Victor er ansvarlig for alt det tekniske i firmaet. Han arbejder primært med SEO, konverteringsoptimering, opsætning af sporingsværktøjer og andre tekniske discipliner.

Hvad er en søgemaskine?

Først og fremmest; hvad er en søgemaskine? En søgemaskine er kort fortalt et værktøj, der hjælper brugere med at finde relevante informationer på internettet. Nutidens søgemaskiner er hyper komplekse algoritmer, der gennemgår, sorterer og rangerer indhold på internettet. Den mest kendte den dag i dag er selvfølgelig Google, som også må siges at være den bedste til netop ovenstående.

Nutidens mest populære søgemaskiner:

#1 Google

#2 Bing 

#3 Baidu

#4 Yahoo

Når en bruger begiver sig ind på søgemaskinen og foretager en given søgning, vil søgemaskinen forsøge at finde de mest relevante resultater frem fra dets indeks og præsentere brugeren for netop disse. I langt de fleste tilfælde formår søgemaskinerne nu til dags, at finde en masse relevante resultater frem for den pågældende søgning.

Hvorfor du skal vide, hvordan søgemaskinerne virker

Men hvorfor skal du så egentlig vide helt præcist hvordan søgemaskinerne virker? Er det ikke ligemeget, så længe de fungerer?

Faktisk ikke helt.

Hvis du driver, eller er ansvarlig for, at drive en hjemmeside eller arbejder med søgemaskineoptimering, SEM eller lignende, er det en stor konkurrencemæssig fordel at have en indgående kendskab til, hvordan søgemaskinerne virker.

Ved at blive klogere på, netop hvordan søgemaskinerne virker, kan du bruge denne viden til at slå dine konkurrenter i søgemaskinerne.

Med andre ord; ved at kende arenaen hvori slagene mod dine konkurrenter skal udkæmpes, kan du opnå en fordel, som i sidste ende kan hjælpe dig med at udkonkurrere dine konkurrenter, og rangere over dem i søgeresultaterne.

Med andre ord; ved at kende arenaen hvori slagene mod dine konkurrenter skal udkæmpes, kan du opnå en fordel, som i sidste ende kan hjælpe dig med at udkonkurrere dine konkurrenter, og rangere over dem i søgeresultaterne.

Hvordan virker en søgemaskine?

I grove træk fungerer langt de fleste moderne søgemaskiner på følgende måde:

Sådan virker en søgemaskine helt lavpraktisk:

  1. Først og fremmest crawler (læser) søgemaskine-algoritmerne indholdet af URL’er på internettet. 
  2. Herefter indekserer søgemaskinerne den URL, den har crawlet. 
  3. Efter URL’en er blevet indekseret, og nu “opbevares” i søgemaskinens database, rangerer søgemaskinen URL’en.

Lyder det lidt forvirrende? Fortvivl ikke. I afsnittene herunder gennemgår vi disse tre faser mere dybdegående.

#1 Crawling

Crawling er som nævnt i ovenstående første step i søgemaskinernes process i at forstå din hjemmesides indhold.

Her går søgemaskinerne ind og læser indholdet af en given URL. Crawling er altså, når søgemaskinerne besøger en given side på en hjemmeside og “læser” den.

Hvad er søgemaskine crawling?

“Crawling” som på dansk betyder “at kravle” benyttes til at beskrive processen, hvori søgemaskinens algoritmer læser indholdet af en given URL.

URL’erne der skal crawles finder algoritmerne frem til gennem links fra andre URL’er og links i sitemaps. Derudover crawler søgemaskinerne også URL’er, der allerede eksisterer i deres indeks.

TIP!

Bliv klogere på; sitemaps, backlinks og interne links ved at klikke på dem her.

Hvad er crawl budget?

Et vigtigt begreb at være bekendt med indenfor søgemaskiner og crawling er “crawl budget”.

“Crawl budget” dækker over den mængde af allokeret computerkraft, som søgemaskinerne har tildelt et givent domæne.

Sagt med andre ord; hvor mange sider på et domæne Googlebot crawler og indekserer indenfor en given tidsperiode.

Typisk vil sider med en stærk linkprofil og generel høj autoritet i søgemaskinernes øjne, være tildelt et stort crawl budget.

Dette betyder, at søgemaskinerne hurtigt vil crawle nye sider på domænet, og disse domæner risikerer derfor sjældent at skulle vente særlig lang tid på at få nyt indhold crawlet, eller gammelt, opdateret indhold gencrawlet. Det er en stor fordel.

For langt de fleste domæner er dette dog ikke tilfældet. Mindre domæner med en svagere linkprofil vil oftest ikke være allokeret et særligt stort crawl budget. Er man derfor ikke opmærksom på hvilke, og hvor mange sider, man sender søgemaskinerne ind på risikerer man at spilde sit crawl budget.

Dette kan føre til, at nye sider ikke vil blive crawlet og indekseret i det omfang, de ellers ville have været det. Det kan også føre til, at det tager længere tid for søgemaskinerne at “opfange” ændringer på allerede eksisterende sider.

Men hvad kan man så gøre ved dette? Svaret er at optimere sin hjemmesides crawl budget.

Hvordan optimerer man crawl budget?

Bag begrebet “At optimere crawl budget”, som kan lyde forholdsvist avanceret, ligger faktisk blot at sørge for, at man giver søgemaskinerne så lidt unødvendigt arbejde som muligt i forhold til de sider, der skal crawles på ens domæne.

Dette gør man helt konkret på følgende måde.

Duplicate content og tyndt indhold

Man skal sørge for at have så lidt tyndt indhold og duplicate content på sit domæne som muligt. Faktisk skal man stile efter kun at have indhold, som man rent faktisk gerne vil sende besøgende fra søgemaskinerne ind på.

Har man f.eks. en webshop, bør man som udgangspunkt kun sende søgemaskinerne ind på ens forside, kategorisider, produktsider, blogindlæg og eventuelle CMS sider såsom “Handelsbetingelser mv.”.

Man behøver ikke, at sende søgemaskinerne ind på kurv siden, checkout siden, autogenererede sider mv.

Men hvordan sørger man så for, at søgemaskinerne ikke bliver sendt ind på disse sider?

Først og fremmest bør sider, der ikke giver værdi til brugerne eller søgemaskinerne, slettes fra ens system. Dette kunne f.eks. være autogenererede indlægssider, og sider såsom den famøse “Hej verden” side, som automatisk genereres i en ny WordPress installation.

Robots.txt

Et af dine stærkeste værktøjer, når det kommer til at styre, hvordan søgemaskinerne crawler din hjemmeside, er din robots.txt fil.

Robots.txt er en tekstfil, der skal placeres i roden af dit webhotel. Herigennem har du mulighed for at skrive instruktioner til crawlere, og altså herunder søgemaskiner, i forhold til hvordan de skal crawle din hjemmeside.

Eksempel på en standard WordPress robots.txt fil:

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

I robots.txt filen kan du blokere sider og sidetyper, du ikke vil have skal crawles og dermed indekseres i søgemaskinerne. Disse blokeringer er det mest effektive middel, du har til rådighed, når det kommer til at styre, hvordan søgemaskinerne crawler og indekserer din hjemmeside.

TIP!

Hvis du vil læse mere om robots.txt filen og se eksempler på hvordan du kan lave blokeringer deri, kan det gøres her.

Har man har sider, som ikke er nødvendige for søgemaskinerne at crawle og indeksere, men nødvendige for brugerne, såsom kurv- og checkout siderne, så kan man blokere disse sider i ens robots.txt fil. Hermed vil Google bliver oplyst om, at de ikke skal tilgå disse sider, og vil på den måde ikke spilde crawl budget herpå.

TIP!

Hvis du vil se robots.txt filen for din egen hjemmeside kan det gøres ved at skrive /robots.txt efter dit domænenavn i adressefeltet.

Har man allerede fået indekseret sider, som ikke skulle have været indekseret, er det dog vigtigt, at man først får dem fjernet fra indeks, ved at indsætte noindex i kildekoden af disse sider. Således:

<meta name="robots" content="noindex">

Dernæst kan man blokere dem i robotst.txt, for at forhindre, at søgemaskinerne i fremtiden crawler disse sider og spilder crawl budget på dem.

Kort fortalt kan du altså optimere dit crawl budget ved at holde styr på hvilke sider på dit domæne søgemaskinerne kan tilgå, og sørge for at det kun er relevante sider de kan tilgå.

#2 Indeksering

Efter at søgemaskinerne har crawlet en given URL bliver denne som udgangspunkt indekseret. Men hvad er dette helt præcist, og hvad kan du gøre for at fortælle søgemaskinerne, hvilke sider på dit domæne de skal indeksere?

Hvad er søgemaskine indeksering?

Efter algoritmerne har crawlet en given adresse/URL og læst dens indhold indekseres URL’en.

Det betyder, at den figurerer i søgemaskinens resultater, også kaldet søgemaskinernes “Indeks”. “Indeks” dækker over alle de URL’er der findes i søgemaskinens database, og som man kan søge sig frem til på søgemaskinen.

Fortæl søgemaskinerne hvordan de skal indeksere din hjemmeside

Lidt i forlængelse af ovenstående afsnit om “optimering af crawl budget”, er det vigtigt, at du hjælper søgemaskinerne med at forstå, hvordan de skal indeksere din hjemmeside.

Dette kan gøres på et par forskellige måder, som vi herunder vil gennemgå.

Robots meta tag

Det stærkeste værktøj, du har til rådighed, i forhold til at styre, hvilke sider der indekseres på dit website, er det såkaldte robots meta tag. I dette tag har du mulighed for at give instruktioner til søgemaskinerne vedr., om siden skal indekseres eller ej, samt om de skal følge linksene på siden eller ej.

Dette tag ser således ud:

<meta name="robots" content="noindex,nofollow">

I dette eksempel bedes søgemaskinerne om hverken at indeksere eller at følge linksene på den pågældende side.

Robots meta tagget er altså et lille kode-snippet, der indsættes i kildekoden af en given side, som informerer søgemaskinerne om, hvorvidt de skal indeksere siden eller ej, og om de skal følge links på den pågældende side, eller ej.

Er der ikke lavet nogen meta robots opmærkning på en given side, vil det af søgemaskinerne typisk tolkes som en side, der skal indekseres.

I langt de fleste tilfælde efterkommer søgemaskinerne robots meta tag anmodninger, men i visse tilfælde kan de vælge at ignorere en noindex instruktion, hvis de mener den givne side bør indekseres.

“Fjernelser” i Google Search Console

Hvis du står i en situation hvor du har brug for hurtigst muligt at få fjernet indekseret indhold fra din hjemmeside – som f.eks. følsomt indhold, personligt indhold eller lign. – og du derfor ikke kan vente på, at Google gencrawler den pågældende side og finder dit robots noindex tag, kan du benytte dig af værktøjet “Fjernelser” i Google Search Console.

Du finder værktøjet under “Indeks” -> “Fjernelser” i venstremenuen: 

Herefter kan du trykke på knappen “Ny anmodning” og indsætte den URL du vil have fjernet fra søgeresultaterne og anmode om dette:

Efter man har indsendt URL’en i værktøjet plejer Google typisk at fjerne den indsendte URL fra deres indeks, inden for en dag.

“Anmod om indeksering” i Google Search Console

Hvis du netop har tilføjet en ny side til din hjemmeside, eller opdateret indholdet af en gammel side, og gerne vil have dette indekseret hurtigst muligt, har du mulighed for at benytte dig af funktionen “Anmod om indeksering” i Google Search Console.

Gennem denne funktion kan du tilføje en given URL til en såkaldt “Prioriteret crawler kø”, som i de fleste tilfælde fører til, at URL’en vil blive crawlet (eller gencrawlet) og indekseret (eller reindekseret) hurtigere.

I skrivende stund (10. oktober 2020) er denne funktion dog midlertidig deaktiveret, men det forventes, at den aktiveres igen indenfor en overskuelig fremtid.

XML sitemap

XML sitemaps er også et brugbart redskab, når du skal hjælpe søgemaskinerne med at forstå, hvordan de skal crawle, og herunder indeksere, din hjemmeside.

Særligt hvis du har en meget stor side, som ofte opdateres med nyt indhold, kan det være en stor hjælp for søgemaskinerne, hvis du giver dem et XML sitemap, hvor de konstant kan se alle de URL’er på dit website du ønsker crawlet og indekseret.

Vi anbefaler at man holder sig til blot at lave <loc> (Location = URL’erne) og <lastmod> (Last modified = Hvornår URL’en sidst er blevet ændret) opmærkninger i ens sitemap.

Det er derudover vigtigt, at man i ens XML sitemap kun inkluderer URL’er, som man gerne vil have indekseret, og at det altid holdes opdateret med nye URL’er, samt at man sørger for at slette gamle URL’er fra det.

Undgå Orphan pages

Det er vigtigt, at man undgår at have såkaldte “Orphan pages” på ens hjemmeside.

Orphan pages er URL’er, som ikke har nogle interne links på ens hjemmeside. Har man orphan pages og f.eks. ikke noget XML sitemap risikerer man nemlig, at søgemaskinerne aldrig kan finde frem til disse sider, medmindre der f.eks. bliver lavet et eksternt link til dem, som søgemaskinerne kan følge og herefter crawle og indeksere siden. For husk: søgemaskinerne finder netop hjemmesider vha. links (eksterne som interne).

Derudover bliver disse sider ikke tildelt nogen intern linkværdi, hvilket kan skade deres muligheder for at rangere i søgeresultaterne. Interne links er nemlig en væsentlig faktor, når det kommer til rangering.

TIP!

Læs mere om interne links og intern linkbuilding her.

#3 Rangering

Efter at indekseringen har fundet sted, går søgemaskinen, ved hjælp af avancerede algoritmer, ind og rangerer den pågældende side, der er indekseret.

Her vurderer søgemaskinen altså hvilken placering URL’en skal have for diverse søgninger. Dette sker ud fra over 200 forskellige faktorer.

Hvordan fungerer søgemaskinernes rangering?

Søgemaskinernes rangering fungerer helt lavpraktisk ved at avancerede algoritmer sørger for at sortere alle resultaterne i søgemaskinernes indeks for en given forespørgsel, med det formål altid at servere de mest relevante søgeresultater for brugerne.

Dette gør de som sagt ud fra over 200 forskellige faktorer, hvoriblandt indgående links til siden og sidens indhold er blandt de 3 vigtigste.

Hvad er søgemaskinernes formål?

Søgemaskinernes vigtigste formål er, og vil altid være, at servere de mest relevante resultater for deres brugere, således brugerne altid vender tilbage og benytter sig af den pågældende søgemaskine.

Noget som netop Google har haft størst success med af alle søgemaskinerne, og som ligeledes spiller en væsentlig faktor i deres position på markedet i dag.

For at søgemaskinerne kan servere de mest målrettede og relevante resultater for enhver søgning er det alfa omega, at søgemaskinerne formår at forstå søgeintentionen bag enhver søgning. Og netop dette kan du bruge i dit SEO arbejde i høj grad. Læs evt. vores indlæg omkring netop search intent og bliv klogere på, hvordan du kan gøre netop dette.

TIP!

Læs vores komplette guide til search intent, og hvordan du optimerer ift. dette her.

Men hvis du vil have success i søgemaskinerne og slå dine konkurrenter er det ikke nok blot at have styr på søgemaskinernes crawling, indeksering og rangering.

Hertil kommer nemlig også det tekniske setup på din side, som f.eks. hastighed, samt arbejdet med off-site (linkbuilding) og on-site SEO.

Teknisk

I forhold til det tekniske setup på din side er det først og fremmest vigtigt, at din hjemmesides kode er bygget op på en SEO-venlig måde, så din hjemmeside er så let som mulig for søgemaskinerne at forstå. Dette indebærer f.eks. eventuelle rel=”canonical” og hreflang opmærkninger.

Herudover kommer ting såsom PageSpeed (hjemmesidens hastighed), alt-tekster til dine billeder og meget andet, som ikke som sådan er synligt på selve siden for den almindelige bruger, men som primært er til for søgemaskinerne.

Alt vedr. teknisk SEO har vi lavet en guide til, som du kan du læse her.

On site   

Udover det tekniske setup på din side er det også vigtigt, at have styr på det onsite mæssige arbejde. Dette inkluderer blandt andet title-tags og meta beskrivelser, tekstindhold/content og det generelle indhold såsom billeder og navigation på dine sider.

Da onsite arbejdet, også blot kaldet content/indhold, er det indhold brugerne bliver præsenteret for på din side, er dette selvfølgelig også noget, der vægtes højt, når søgemaskinerne skal vurdere hvor relevant en given side er, for en given søgning.

Læs evt. mere herom i vores komplette SEO guide.

Off site 

Sidst, men ikke mindst, er der off-site SEO delen. Ofte også kaldet “linkbuilding”.

Dette er al omtale, både med og uden links, af din hjemmeside på andre hjemmesider end din egen.

Et af de stærkeste ranking signals er nemlig indgående links til din hjemmeside, da søgemaskinerne ser disse som værende anbefalinger fra den hjemmeside, der linkes fra, til den hjemmeside, der linkes til. Jo flere og jo bedre “anbefalinger” jo bedre rangering (i meget grove træk).

Denne omtale kan dog oftest være svær at skabe naturligt på egen hånd, hvorfor off-site delen tit er den tungeste del af ens SEO indsats. Off-site delen er derfor i mange tilfælde noget som kan være en god idé at få professionel hjælp og sparring til.

Hvis du vil vide mere om off-site SEO og linkbuilding, så læs vores komplette guide til linkbuilding i 2020.

Få hjælp til at vinde kampen i søgemaskinerne

Oftest er det muligt at komme et godt stykke af vejen selv med ens SEO-indsats. Blandt andet ved at læse diverse guides online og selv implementere lavthængende frugter på ens hjemmeside mv.

Dog vil der komme et tidspunkt, hvor det for manges vedkommende, vil være en god idé at søge professionel hjælp til ens SEO og optimering heraf hos specialister med mange års erfaring indenfor området.

Kunne du tænke dig professionel hjælp til at vinde slaget om de gode placeringer i søgemaskinerne over dine konkurrenter?

Så tøv ikke med at tage kontakt til os. Vi er et dedikeret team bestående af specialister med mange års erfaring indenfor SEO, hvor vi har hjulpet hundredvis af virksomheder i alle størrelser, brancher og markeder, med at opnå bedre placeringer i søgemaskinerne, og vinde terræn over deres konkurrenter.

Skal din virksomhed være den næste?