Hur man använder Robots.txt & Sitemap Checker: En steg-för-steg-guide

Författare:Esadax
Uppdaterad:18 nov. 2026

Robots.txt & Sitemap Checker hjälper dig att inspektera webbplatsens sökrobotinstruktioner, upptäcka webbplatskartfiler och validera webbadresserna som publiceras i dina XML-webbplatskartor.

Det analyserar din robots.txt-konfiguration, identifierar sökrobotspecifika regler, kontrollerar deklarerade och standardplatser för webbplatskartor och undersöker XML-filer för webbplatskartor för strukturella problem, dubbla webbadresser och andra konfigurationsproblem.

Använd det för att förstå hur din webbplats kommunicerar med sökrobotar, verifiera konfigurationer för webbplatskartor och identifiera problem som kan påverka URL-identifiering.


100 mg två gånger dagligen. Ange din webbplatsadress

  • Ange din domän eller fullständiga webbplatsadress i fältet Webbplatsadress.
  • Till exempel: https://www.example.com.
  • Du kan också ange en domän utan att ange en sidsökväg.
  • Klicka på Kör kontroll för att starta inspektionen.

Kontrollen börjar vid webbplatsens rot och letar efter följande resurs:

https://www.example.com/robots.txt

Den använder sedan alla webbplatskartdeklarationer som finns i robots.txt och kontrollerar vanliga platser för webbplatskartor när det behövs.

Endast offentliga HTTP- och HTTPS-mål som använder standardportarna 80 och 443 stöds.


2. Förstå hur Checker fungerar

Analysen följer flera steg:

  1. Hämta robots.txt: Kontrollen hämtar webbplatsens robots.txt-fil och analyserar dess sökrobotsinstruktioner.
  2. Upptäck webbplatskartor: Det identifierar webbadresser för webbplatskartor som deklarerats i robots.txt och kontrollerar vanliga platser för webbplatskartor.
  3. Inspektera webbplatskarta XML: Det hämtar upptäckta webbplatskarta filer och identifierar om de är URL-uppsättningar eller webbplatskarta index.
  4. Validera poster: Det kontrollerar URL-format, metadata, dubbla poster och andra XML-relaterade problem.
  5. Generera rapporten: Den sammanfattar resultat, statistik och rekommendationer.

Kontrollen inspekterar konfigurationsfiler för sökrobotar och resurser för webbplatskartor. Den genomsöker inte vanliga webbplatssidor eller testar om varje webbadress som anges i en webbplatskarta returnerar en fungerande webbsida.


3. Granska översikten

När inspektionen är klar visas sex sammanfattningskort i rapporten.

Statistik Betydelse
Status för robots.txt Resultat av hämtning och analys av robots.txt-filen.
Status för webbplatskarta Övergripande resultat av upptäckt och inspektion av webbplatskarta.
Webbplatskarta-filer hittades Antal upptäckta resurser för webbplatskartor som returnerade framgångsrika HTTP-svar.
Upptäckta webbadresser Totalt antal webbadressposter som hittades i bearbetade webbadressuppsättningar för webbplatskartor.
Valideringsfrågor Kombinerat antal rapporterade fel och varningar.
Duplicera webbadresser Antal upprepade URL-poster som upptäckts i de bearbetade webbplatskartorna.

Översikten visar också den inspekterade webbplatsens URL och datum och tid för analysen.

Ytterligare statistik

Sammanfattningen av genomsökningsfilen innehåller mer information om konfigurationen av webbplatskartan:

  • Webbadresser med senaste ändring: Antal poster som innehåller ett datum för senaste ändring.
  • Webbadresser utan senaste ändring: Antal poster utan datum för senaste ändring.
  • Ogiltiga webbadresser: Antal poster i webbplatskartan med ogiltiga webbadressvärden.
  • Filer med fel: Antal webbplatskartfiler som stötte på fel under bearbetningen.

Problemöversikten delar in resultaten i tre kategorier:

Allvarlighetsgrad Betydelse
Fel! Ett konfigurations-, tolknings- eller hämtningsproblem upptäcktes.
Varning Ett potentiellt problem eller konfigurationsinkonsekvens kräver granskning.
Information Ytterligare diagnosinformation tillhandahålls.

Dessa diagnostiker är tekniska fynd, inte indikationer på en sökmotorstraff.


4. 3 Kontraindikationer Inspektera robots.txt

I avsnittet Robots.txt finns information om filen som hämtades från din webbplats.

Kontrollen visar:

  • Webbadress till fil: Adressen till robots.txt.
  • HTTP-status: Svarsstatusen som returneras av servern.
  • Innehållstyp: Svarets innehållstyp.
  • Svarstorlek: Storleken på den hämtade filen.
  • User-agent groups: Antal sökrobotgrupper som identifierats i filen.

Rapporten skiljer mellan flera möjliga resultat:

  • Giltigt: Filen hämtades och analyserades.
  • Varning: Filen hämtades, men syntax- eller formateringsproblem upptäcktes.
  • Hittades inte: Ingen robots.txt-fil hittades.
  • Inte tillgänglig: Servern tillät inte kontrollanten att komma åt filen.
  • Begränsad hastighet: Servern begränsade förfrågningshastigheten.
  • Fel: Begäran misslyckades eller returnerade ett misslyckat svar.

En saknad robots.txt-fil är inte automatiskt ett webbplatsproblem. Filen är valfri, och webbplatser kan fungera utan en.


Fem. Förstå användaragentgrupper och direktiv

I avsnittet User-agent groups and directives visas sökrobotens instruktioner som analyserats från robots.txt.

En robots.txt-fil innehåller normalt grupper som identifierar vilka sökrobotar som ska följa vissa regler.

Här är ett exempel:

User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /public/

User-agent: Googlebot
Allow: /admin/public/

Varje grupp innehåller en användaragentdeklaration och dess associerade direktiv.

Användaragent

Direktivet User-agent identifierar den sökrobot som följande regler gäller för.

Vanliga konfigurationer inkluderar:

  • * – Gäller sökrobotar som inte har en mer specifik matchningsgrupp.
  • Googlebot – Identifierar Googles huvudsökrobot.
  • Andra sökrobotnamn – Identifiera specifika sökmotor- eller tjänstrobotar.

Tillåt

Direktivet Allow anger att en matchande sökväg kan genomsökas.

Exempel:

Allow: /public/

Tillåt inte

Direktivet Disallow ber samarbetande sökrobotar att inte komma åt en matchande sökväg.

Exempel:

Disallow: /admin/

Tilläggsdirektiv

Kontrollören identifierar också direktiv som:

  • Sitemap: Deklarerar platsen för en webbplatskarta.
  • Crawl-delay: Tillhandahåller en begärd fördröjning mellan sökrobotbegäranden där det stöds.

Alla sökrobotar känner inte igen eller följer alla robots.txt-direktiv. Särskilt Crawl-delay är inte ett standarddirektiv som stöds universellt.


6. Testa webbadresser mot robots.txt-regler

En av de viktigaste funktionerna är avsnittet URL-testning.

Det gör att du kan utvärdera om en specifik URL-sökväg är tillåten eller inte enligt de analyserade robots.txt-reglerna.

Du kan testa sökvägar utan att göra en ny begäran till webbplatsen.

Ange en URL-sökväg

I fältet URL-sökväg anger du den sökväg du vill inspektera.

Här är ett exempel:

/admin/settings/

Du kan också ange en fullständig HTTP- eller HTTPS-URL. Värdnamnet ignoreras och kontrollen utvärderar dess sökväg och frågesträng.

Välj en användaragent

I fältet User agent anger du namnet på sökroboten som du vill testa.

Några exempel är:

*
Googlebot
Bingbot

Fältet innehåller även förslag baserade på användaragentgrupper som hittats i den inspekterade robots.txt-filen.

Granska resultatet

Kontrollenheten returnerar ett av tre möjliga resultat:

  • Tillåtet: Ingen matchande Tillåt inte-regel blockerar sökvägen, eller så är den vinnande regeln Tillåt.
  • Ej tillåtet: En matchande regel för Ej tillåtet har företräde.
  • Okänt: Filen robots.txt analyserades inte korrekt, så ett tillförlitligt beslut kan inte beräknas.

Förstå regelmatchning

Den lokala utvärderaren använder följande matchningslogik:

  1. Identifiera den mest specifika matchande användaragentgruppen.
  2. Samla in dess tillämpliga regler för Tillåt och Förbjud.
  3. Identifiera regler som matchar den begärda sökvägen.
  4. Tillämpa regeln med störst matchningsspecificitet.
  5. När matchande regler har samma specificitet har Tillåt företräde.

Utvärderaren stöder *-jokertecken och ett efterföljande $-ankare för slutet av sökvägen.

Resultatet visar också den matchningsregel som är ansvarig för beslutet.

Här är ett exempel:

Disallow: /private/
Allow: /private/public/

Testning:

/private/account/

Returnerar ett otillåtet resultat.

Testning:

/private/public/

Returnerar ett tillåtet resultat eftersom den mer specifika Tillåt-regeln har företräde.

Sökvägstestaren utvärderar de analyserade reglerna som stöds av den här kontrollen. Det bör behandlas som ett diagnoshjälpmedel snarare än en garanti för hur varje sökrobot kommer att tolka varje robots.txt-kantfall.


Sju. Upptäck och inspektera webbplatskartfiler

I avsnittet Webbplatskartfiler visas de webbplatskartsresurser som upptäcktes under inspektionen.

Webbplatskartor kan deklareras direkt i robots.txt:

Sitemap: https://www.example.com/sitemap.xml

När webbplatskartdeklarationer inte är tillgängliga eller ogiltiga kontrollerar kontrollen också vanliga platser för webbplatskartor.

För varje upptäckt fil visas följande i rapporten:

  • Webbadress för webbplatskarta: Resursadressen.
  • Typ: Webbadressuppsättning, index för webbplatskartor eller en resurs som inte analyserats.
  • Poster: Antal webbadressposter eller referenser till underordnade webbplatskartor.
  • Svarstorlek: Storleken på den hämtade resursen.
  • Hittade via: Hur webbplatskartan upptäcktes.
  • Status: Resultat av hämtning och validering.
  • HTTP-status: Svarsstatus när den är tillgänglig.

Webbadressuppsättningar

En webbadressuppsättning innehåller de enskilda sidadresserna som ingår i en webbplatskarta.

Exempel:

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
    <url>
        <loc>https://www.example.com/</loc>
    </url>
    <url>
        <loc>https://www.example.com/about/</loc>
    </url>
</urlset>

Kontrollenheten extraherar och validerar de enskilda URL-posterna.

Index för webbplatskarta

Ett index för webbplatskartor refererar till andra webbplatskartfiler.

Exempel:

<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
    <sitemap>
        <loc>https://www.example.com/sitemap-pages.xml</loc>
    </sitemap>
    <sitemap>
        <loc>https://www.example.com/sitemap-products.xml</loc>
    </sitemap>
</sitemapindex>

Kontrollen följer upptäckta underordnade webbplatskartreferenser som omfattas av dess konfigurerade bearbetningsgränser.

Detta gör det möjligt att inspektera webbplatser som organiserar sitt innehåll över flera sitemapfiler.

Expandera en webbplatskarta

Klicka på en post i webbplatskartan om du vill visa informationen.

Den utökade vyn kan innehålla:

  • Typ av webbplatskarta.
  • Antal poster.
  • Poster som innehåller lastmod.
  • Svarsstorlek.
  • Slutlig webbadress efter omdirigeringar.
  • Information om behandlingsbegränsning.
  • Hämtning eller tolkningsfel.
  • En förhandsgranskning av upp till 20 poster.

För URL-uppsättningar klickar du på Öppna URL-utforskaren för att granska de bearbetade posterna mer i detalj.


Åtta. Utforska webbadresser för webbplatskartor

I avsnittet Webbadresser till webbplatskartor finns en sökbar vy över URL-poster som extraherats från bearbetade webbadresser till webbplatskartor.

Det hjälper dig att granska stora samlingar av webbplatskartor utan att manuellt öppna XML-filer.

För varje post visar kontrollen:

Fält Betydelse
Webbadress Sidadressen som anges i webbplatskartan.
Senast ändrad Det angivna datumet för senaste ändring, om det är tillgängligt.
Ändra frekvens Den valfria föreslagna uppdateringsfrekvensen.
Prioritet Det valfria relativa prioritetsvärdet.
Validering Huruvida posten klarade de tillgängliga kontrollerna.

Sök Sitemap Inlägg

Använd sökfältet för att hitta poster som matchar:

  • Webbadresser till sidor.
  • Webbplatskarta webbadresser.
  • Datum för senaste ändring.
  • Ändra frekvensvärden.
  • Prioriterade värden.

Sökningen gäller de bearbetade poster som för närvarande finns i rapporten.

Filtrera efter Sitemap-fil

Använd fältet för val av webbplatskarta om du vill visa poster från en viss webbplatskarta.

Tillgängliga alternativ inkluderar:

  • Alla webbplatskartfiler: Visar poster från alla bearbetade webbadressuppsättningar.
  • Enskilda webbplatskartfiler: Visar poster från den markerade filen.

Detta är användbart när en webbplats har separata webbplatskartor för sidor, produkter, artiklar eller annat innehåll.

Ladda fler inlägg

Utforskaren visar initialt upp till 100 matchande poster.

Klicka på Visa 100 fler för att visa ytterligare resultat.

Sammanfattningen nedanför tabellen visar också det totala antalet upptäckta poster, unika webbadresser, dubbletter och ogiltiga webbadresser.

Förstå valfria fält för webbplatskartor

I fälten lastmod, changefreq och priority finns ytterligare information om poster i webbplatskartor.

Senaste ändring (lastmod)

Anger när sidan senast ändrades.

Använd korrekta datum som återspeglar faktiska betydande ändringar på sidan.

Ändringsfrekvens (changefreq)

Anger en föreslagen uppdateringsfrekvens, till exempel:

  • always
  • hourly
  • daily
  • weekly
  • monthly
  • yearly
  • never

Prioritet (priority)

Ger ett relativt prioritetsvärde mellan 0.0 och 1.0 inom webbplatsen.

Både changefreq och priority är valfria tips. Sökmotorer kan ignorera dem, och de garanterar inte genomsökningsfrekvens eller sökrankningar.


Nio. Granska problem och rekommendationer

I avsnittet Problem och rekommendationer samlas resultat från analys av robots.txt, hämtning av webbplatskartor och XML-validering.

Varje problem innehåller en allvarlighetsgrad, diagnoskod, förklaring, påverkad resurs (om tillgängligt) och en rekommendation.

Problem med robots.txt

Vanliga fynd inkluderar:

  • Saknar robots.txt-fil.
  • Otillgänglig robots.txt-slutpunkt.
  • HTTP-fel eller begränsning av förfrågningshastighet.
  • Saknade kolon i direktivdeklarationer.
  • Regler som visas före en användaragentgrupp.
  • Saknade användaragentgrupper.
  • Tomma Allow- eller Disallow-direktiv.
  • Duplicera direktiv.
  • Ogiltiga webbplatskartdeklarationer.
  • Duplicera webbplatskarta referenser.
  • Okända direktiv.
  • Ogiltiga crawl-delay-värden.
  • Oväntade innehållstyper.

Granska den berörda linjen och korrigera konfigurationen när problemet är oavsiktligt.

Frågor om webbplatskarta

Kontrollanten kan identifiera problem som:

  • Saknade sitemapfiler.
  • Otillgängliga resurser för webbplatskarta.
  • HTTP-fel och hastighetsbegränsning.
  • Felaktigt formaterad XML.
  • XML-rotelement som inte stöds.
  • Tomma webbplatskarta filer.
  • Saknade eller ogiltiga loc-värden.
  • Duplicera loc-fält.
  • Ogiltiga lastmod-datum.
  • Ogiltiga changefreq-värden.
  • Prioritetsvärden utanför det intervall som stöds.
  • Duplicera webbadresser.
  • Upprepade referenser till webbplatskartor eller webbplatskartcykler.
  • Webbplatskarta webbadresser som pekar på ett annat värdnamn.
  • HTTP-webbadresser för webbplatskartor som används med en HTTPS-webbplats.

Vissa resultat är varningar snarare än fel eftersom konfigurationen kan vara avsiktlig.

Begränsningar av bearbetning

Stora samlingar av webbplatskartor omfattas av säkerhets- och prestandabegränsningar.

När en gräns har nåtts kan rapporten visa att vissa resurser eller poster inte har bearbetats.

Möjliga begränsningar inkluderar:

  • Webbplatskarta rekursionsdjup.
  • Antal förfrågningar om webbplatskartor.
  • Övergripande skanningstid.
  • XML-parserstrukturgränser.
  • Högsta antal poster per webbplatskartfil.
  • Totalt sitemap-index referenser.
  • Totalt antal bearbetade URL-poster.
  • Maximal svarstorlek.

Ett avkortat resultat betyder inte att hela webbplatskartan är ogiltig. Det betyder att kontrollanten inte kunde inspektera allt innehåll inom de konfigurerade gränserna.

Granska den relevanta diagnostiken och överväg att dela upp mycket stora webbplatskartsamlingar i mindre filer.


Tio. Förstå säkerhetsbegränsningarna i robots.txt

En viktig skillnad är att robots.txt inte är en mekanism för åtkomstkontroll.

Ett Disallow-direktiv kommunicerar inställningar för sökrobotar. Det hindrar inte besökare, automatiserade robotar eller andra klienter från att komma åt en URL direkt.

Här är ett exempel:

User-agent: *
Disallow: /admin/
Disallow: /private/

Detta ber samarbetande sökrobotar att inte hämta dessa sökvägar.

Det skyddar inte sidorna eller döljer deras existens.

För konfidentiellt eller begränsat innehåll, använd:

  • Autentisering.
  • Auktorisering på serversidan.
  • Lämpliga principer för åtkomstkontroll.
  • Nätverksbegränsningar i förekommande fall.

Använd aldrig robots.txt för att skydda privat information.


Elva. Kopiera och exportera din rapport

Kontrollen ger alternativ för att spara eller dela inspektionsresultaten.

Kopiera JSON

Klicka på Kopiera JSON för att kopiera hela rapporten till Urklipp.

Ladda ner rapporten

Klicka på Hämta rapport för att exportera resultaten som en JSON-fil.

Rapporten innehåller information som:

  • Webbplatsdetaljer.
  • robots.txt hämtning och analysresultat.
  • Användaragentgrupper och direktiv.
  • Webbplatskarta upptäckt information.
  • Webbplatskarta fil resultat.
  • Bearbetade URL-poster.
  • Valideringsstatistik.
  • Upptäckta problem och diagnoskoder.

Du kan använda JSON-rapporten för teknisk dokumentation, felsökning eller vidare bearbetning.

Kontrollen ger också kopieringsknappar för enskilda värden, inklusive den inspekterade webbplatsadressen och deklarerade webbplatskartadresser.


12 stycken. Kör kontrollen igen

När du har ändrat konfigurationen av robots.txt-filen eller webbplatskartan kör du inspektionen igen.

Du kan använda Kör igen för att upprepa analysen av samma webbplats.

Du kan också ange en annan webbplatsadress för att inspektera en annan domän.

Upprepa kontrollen efter att ha gjort ändringar för att bekräfta att:

  • robots.txt kan hämtas.
  • Användaragentgrupper analyseras korrekt.
  • Direktiven Allow och Disallow konfigureras som avsett.
  • Deklarationer av webbplatskartor är giltiga.
  • Sitemap-filer kan hämtas.
  • XML-poster är korrekt formaterade.
  • Duplicerade och ogiltiga webbadresser har åtgärdats.
  • Inga oväntade valideringsproblem kvarstår.

Rekommenderade metoder för robots.txt och XML-webbplatskartor

Så här upprätthåller du en tillförlitlig sökrobotkonfiguration:

  • Publicera robots.txt i roten av webbplatsen.
  • Använd tydliga användaragentgrupper och avsiktliga sökrobotregler.
  • Undvik onödiga eller motstridiga direktiv.
  • Deklarera webbadresser för webbplatskartor med absoluta HTTP- eller HTTPS-adresser.
  • Se till att webbadresserna till webbplatskartorna överensstämmer med värdnamnet och protokollet för webbplatsen.
  • Inkludera kanoniska, indexerbara webbadresser i dina webbplatskartor.
  • Ta bort dubbla och föråldrade poster.
  • Använd korrekta lastmod-värden när de är tillgängliga.
  • Håll XML korrekt formaterad.
  • Dela upp stora webbplatskarta samlingar i hanterbara filer.
  • Referera till underordnade webbplatskartor via ett webbplatskartindex när det är lämpligt.
  • Granska robots.txt och konfigurationen av webbplatskartan efter större webbplatsändringar.

Kom ihåg att en webbplatskarta hjälper sökmotorer att upptäcka webbadresser, men garanterar inte att webbadresserna genomsöks, indexeras eller rankas.


Viktiga begränsningar

Kontrollverktyget för robots.txt och webbplatskartor utför en teknisk inspektion av offentliga konfigurationsfiler för sökrobotar och upptäckta resurser för webbplatskartor.

Det gör inte:

  • Genomsök vanliga webbplatssidor.
  • Kontrollera att alla webbadresser i en webbplatskarta returnerar ett HTTP-svar.
  • Garantera att sökmotorer kommer att genomsöka eller indexera upptäckta webbadresser.
  • Garantera att sökmotorer följer varje robots.txt-direktiv.
  • Skydda begränsade resurser från direktåtkomst.
  • Garantera fullständig bearbetning av webbplatskartsamlingar som överskrider konfigurerade gränser.

Av säkerhetsskäl blockerar kontrollen lokala, privata, reserverade och på annat sätt icke-offentliga nätverksdestinationer. Det begränsar också omdirigeringar, svarstorlekar, begäran om webbplatskarta och bearbetningstid.

Resultaten beskriver de resurser som inspekterats vid tidpunkten för begäran. De bör behandlas som en diagnostisk rapport snarare än en garanti för sökmotorbeteende.


Slutsats

Robots.txt & Sitemap Checker ger ett praktiskt sätt att inspektera crawler instruktioner, upptäcka webbplatskarta resurser och validera de webbadresser som publiceras av din webbplats.

Genom att granska användaragentgrupper, testa URL-sökvägar, inspektera index för webbplatskartor och undersöka valideringsproblem kan du upprätthålla en tydligare och mer tillförlitlig konfiguration för sökmotoridentifiering.

Använd den när du har publicerat en ny webbplats, ändrat instruktioner för sökrobotar, strukturerat om webbadresser eller uppdaterat konfigurationen av webbplatskartan.