Hvorfor crawler Screaming Frog sider med noindex? [Brevkasse]

192 Total
visninger

I den her brevkassevideo skal vi se på, hvordan du kan konfigurere Screaming Frog sådan, at programmet kun viser de sider, som du har brug for i dit analysearbejde.

Velkommen til Onlinepartners.tv. Vi har fået et spørgsmål fra Casper fra Karat24.dk, og han spørger os om følgende:

Hej Onlinepartners

Jeg har set jeres video angående Screaming Frog, og jeg er helt hooked på at tage arbejdshandskerne på og begynde at rette eventuelle fejl på min side. Jeg har førhen arbejdet med Screaming Frog, men ikke i så stort et omfang.
Hver gang jeg skal bruge Screaming Frog, støder jeg dog på et problem. ALLE mine sider bliver indekseret, dvs. også dem, som er definerede via filtrering, på trods af, at der er sat meta robots noindex på.
Har jeg gjort noget forkert, eller er der noget, jeg kan gøre for at få Screaming Frog til at crawle mit site uden at tage filtrering og andre landingssider, som ikke bør indekseres, med?

Det er et rigtig godt spørgsmål, Casper, og jeg vil nu vise dig, hvordan du kan konfigurere Screaming Frog til netop at undgå det her.


For ligesom at kunne svare bedst på det her spørgsmål, så har jeg forinden selv crawlet hele sitet på Karat24.dk for at se, hvordan og hvorledes det er struktureret. Jeg når op på, når det er, at jeg siger til Screaming Frog spideren; du skal overhovedet ikke tage nogen hensyn til nogen former for blokering af indeksering, hvilket typisk er noget man sætter op for at forebygge dobbeltindhold.

Her har jeg så konfigureret Screaming Frog til, at den skal læse rub og stub. Når jeg læser rub og stub fra Karat24.dk, så kommer jeg op på over en halv million sider, som spideren gennemlæser, og når jeg så går ind og kigger, hvad der er sat op af det, du nævner i dit spørgsmål, hvad er der sat op af sider med af meta robots, som er sat til noindex. Ud af den halve million sider, er det faktisk kun 100 sider, hvor det er sat op, og de er kun sat op for sider, der har med de interne søgeresultater at gøre, og så er det klart, at hvis du konfigurerer Screaming Frog og tror; “jamen på mit site, der bruger jeg meta robots noindex til at forebygge dobbeltindhold med”, så får du ikke det resultat i Screaming Frog, som du gerne vil have. I stedet bruges der canonical, hvilket du sikkert har bedt Screaming Frog om ikke at tage hensyn til, og så er det klart, at du får det forkerte resultat.

Det, jeg nu vil vise dig, er, hvordan du konfigurerer Screaming Frog således, at det er canonical, du tager hensyn til, og at hvis Screaming Frog støder på det, jamen så kommer det ikke med i det søgeresultat, du får, når du kører igennem Screaming Frog. Lad os prøve at kigge på det.

Det, du skal gøre, er at gå ind under Configuration, og så vælge Spider. Her vælger du det første punkt, der hedder Basic. Det, du skal sikre dig nede på den her liste, er, at du klikker på den, der hedder Crawl Canonicals. Det betyder så ikke, at; jamen når jeg crawler canonical, får jeg så alle dem med i mit søgeresultat herinde i Screaming Frog? Det er ikke tilfældet.

Det, du sikrer dig, er, at Screaming Frog sættes til at læse alle typer af sider – også dem, der er canonical på, fordi der kan godt være links til andre sider derinde fra, som du stadig ønsker, at spideren skal gennemlæse og vurdere, om de skal med i dit Screaming Frog søgeresultat eller ej. Det er det, du sikrer her.

Den måde, hvor du forebygger på, at Screaming Frog ikke medtager sider, der står canonical på, er ved at klikke på Advanced, og det, som du plejer at gøre er at sætte et faneblad i Respect Noindex, som er det, der sørger for, at sider med meta robots noindex på ikke kommer med i Screaming Frog søgeresultat, men det, du har glemt at gøre, er at sætte et flueben i den, der hedder Respect Canonicals. Det vil jeg anbefale, at du gør, for hvis både i den ene, for du bruger jo noindex, så det skal du tage hensyn til, men du skal også huske det i den anden, der hedder Respect Canonicals, således at de ikke kommer med i dit interne søgeresultat eller i dit Screaming Frog søgeresultat, når du crawler.

Sørg for at have et flueben med, så får du ikke det problem inde i Screaming Frog, når du laver din analyse, som du skriver i dit spørgsmål.

Casper, jeg håber, det var et fyldestgørende svar på dit spørgsmål, og skulle der sidde andre derude med spørgsmål til brevkassen, så kan du indsende det ved at gå ind på Onlinepartners.tv, og så gå op i menuen, hvor der er et punkt, der hedder “indsend dit spørgsmål”, og så kan det være, at det næse gang er dit spørgsmål, som vi optager på Onlinepartners.tv.

Tak, fordi du så med.

Læs mereSkriv en kommentar

4 svar til “Hvorfor crawler Screaming Frog sider med noindex? [Brevkasse]

  1. Kan det være rigtigt, at jeg faktisk skal indtaste de her settings hver gang? Jeg har det problem med screaming frog, at programmet ikke gemmer de indstillinger jeg laver.

    1. Hej Michael

      I den betalte udgave kan du gemme dine standard-indstillinger, det gør du således:

      [File] -> [Default Config] -> [Save Current Configuratoin As Default]

      Venlig hilsen
      Grosen

      1. Fedt, tak. Jeg havde ikke lige set der var en gem-knap. Jeg har bruger den betalte version – dette kommer til at spare mig for meget tid fremover.

Skriv et svar

Din e-mailadresse vil ikke blive publiceret. Krævede felter er markeret med *

Tip a friend
Felter markeret med en * skal udfyldes

NYESTE VIDEOER

Grosen Friis
I DENNE VIDEO
Grosen Friis

Grosen Friis er en af danmarks dygtigste SEO-eksperter, og med en baggrund som programmør er teknisk SEO en af Grosens stærkeste sider.

MERE OM GROSEN FRIIS