Robots.txt & Sitemap Checker hjälper dig att inspektera webbplatsens sökrobotinstruktioner, upptäcka webbplatskartfiler och validera webbadresserna som publiceras i dina XML-webbplatskartor.
Det analyserar din robots.txt-konfiguration, identifierar sökrobotspecifika regler, kontrollerar deklarerade och standardplatser för webbplatskartor och undersöker XML-filer för webbplatskartor för strukturella problem, dubbla webbadresser och andra konfigurationsproblem.
Använd det för att förstå hur din webbplats kommunicerar med sökrobotar, verifiera konfigurationer för webbplatskartor och identifiera problem som kan påverka URL-identifiering.
https://www.example.com.Kontrollen börjar vid webbplatsens rot och letar efter följande resurs:
https://www.example.com/robots.txt
Den använder sedan alla webbplatskartdeklarationer som finns i robots.txt och kontrollerar vanliga platser för webbplatskartor när det behövs.
Endast offentliga HTTP- och HTTPS-mål som använder standardportarna 80 och 443 stöds.
Analysen följer flera steg:
Kontrollen inspekterar konfigurationsfiler för sökrobotar och resurser för webbplatskartor. Den genomsöker inte vanliga webbplatssidor eller testar om varje webbadress som anges i en webbplatskarta returnerar en fungerande webbsida.
När inspektionen är klar visas sex sammanfattningskort i rapporten.
| Statistik | Betydelse |
|---|---|
| Status för robots.txt | Resultat av hämtning och analys av robots.txt-filen. |
| Status för webbplatskarta | Övergripande resultat av upptäckt och inspektion av webbplatskarta. |
| Webbplatskarta-filer hittades | Antal upptäckta resurser för webbplatskartor som returnerade framgångsrika HTTP-svar. |
| Upptäckta webbadresser | Totalt antal webbadressposter som hittades i bearbetade webbadressuppsättningar för webbplatskartor. |
| Valideringsfrågor | Kombinerat antal rapporterade fel och varningar. |
| Duplicera webbadresser | Antal upprepade URL-poster som upptäckts i de bearbetade webbplatskartorna. |
Översikten visar också den inspekterade webbplatsens URL och datum och tid för analysen.
Sammanfattningen av genomsökningsfilen innehåller mer information om konfigurationen av webbplatskartan:
Problemöversikten delar in resultaten i tre kategorier:
| Allvarlighetsgrad | Betydelse |
|---|---|
| Fel! | Ett konfigurations-, tolknings- eller hämtningsproblem upptäcktes. |
| Varning | Ett potentiellt problem eller konfigurationsinkonsekvens kräver granskning. |
| Information | Ytterligare diagnosinformation tillhandahålls. |
Dessa diagnostiker är tekniska fynd, inte indikationer på en sökmotorstraff.
I avsnittet Robots.txt finns information om filen som hämtades från din webbplats.
Kontrollen visar:
Rapporten skiljer mellan flera möjliga resultat:
En saknad robots.txt-fil är inte automatiskt ett webbplatsproblem. Filen är valfri, och webbplatser kan fungera utan en.
I avsnittet User-agent groups and directives visas sökrobotens instruktioner som analyserats från robots.txt.
En robots.txt-fil innehåller normalt grupper som identifierar vilka sökrobotar som ska följa vissa regler.
Här är ett exempel:
User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /public/
User-agent: Googlebot
Allow: /admin/public/
Varje grupp innehåller en användaragentdeklaration och dess associerade direktiv.
Direktivet User-agent identifierar den sökrobot som följande regler gäller för.
Vanliga konfigurationer inkluderar:
* – Gäller sökrobotar som inte har en mer specifik matchningsgrupp.Googlebot – Identifierar Googles huvudsökrobot.Direktivet Allow anger att en matchande sökväg kan genomsökas.
Exempel:
Allow: /public/
Direktivet Disallow ber samarbetande sökrobotar att inte komma åt en matchande sökväg.
Exempel:
Disallow: /admin/
Kontrollören identifierar också direktiv som:
Sitemap: Deklarerar platsen för en webbplatskarta.Crawl-delay: Tillhandahåller en begärd fördröjning mellan sökrobotbegäranden där det stöds.Alla sökrobotar känner inte igen eller följer alla robots.txt-direktiv. Särskilt Crawl-delay är inte ett standarddirektiv som stöds universellt.
En av de viktigaste funktionerna är avsnittet URL-testning.
Det gör att du kan utvärdera om en specifik URL-sökväg är tillåten eller inte enligt de analyserade robots.txt-reglerna.
Du kan testa sökvägar utan att göra en ny begäran till webbplatsen.
I fältet URL-sökväg anger du den sökväg du vill inspektera.
Här är ett exempel:
/admin/settings/
Du kan också ange en fullständig HTTP- eller HTTPS-URL. Värdnamnet ignoreras och kontrollen utvärderar dess sökväg och frågesträng.
I fältet User agent anger du namnet på sökroboten som du vill testa.
Några exempel är:
*
Googlebot
Bingbot
Fältet innehåller även förslag baserade på användaragentgrupper som hittats i den inspekterade robots.txt-filen.
Kontrollenheten returnerar ett av tre möjliga resultat:
Den lokala utvärderaren använder följande matchningslogik:
Utvärderaren stöder *-jokertecken och ett efterföljande $-ankare för slutet av sökvägen.
Resultatet visar också den matchningsregel som är ansvarig för beslutet.
Här är ett exempel:
Disallow: /private/
Allow: /private/public/
Testning:
/private/account/
Returnerar ett otillåtet resultat.
Testning:
/private/public/
Returnerar ett tillåtet resultat eftersom den mer specifika Tillåt-regeln har företräde.
Sökvägstestaren utvärderar de analyserade reglerna som stöds av den här kontrollen. Det bör behandlas som ett diagnoshjälpmedel snarare än en garanti för hur varje sökrobot kommer att tolka varje robots.txt-kantfall.
I avsnittet Webbplatskartfiler visas de webbplatskartsresurser som upptäcktes under inspektionen.
Webbplatskartor kan deklareras direkt i robots.txt:
Sitemap: https://www.example.com/sitemap.xml
När webbplatskartdeklarationer inte är tillgängliga eller ogiltiga kontrollerar kontrollen också vanliga platser för webbplatskartor.
För varje upptäckt fil visas följande i rapporten:
En webbadressuppsättning innehåller de enskilda sidadresserna som ingår i en webbplatskarta.
Exempel:
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://www.example.com/</loc>
</url>
<url>
<loc>https://www.example.com/about/</loc>
</url>
</urlset>
Kontrollenheten extraherar och validerar de enskilda URL-posterna.
Ett index för webbplatskartor refererar till andra webbplatskartfiler.
Exempel:
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<sitemap>
<loc>https://www.example.com/sitemap-pages.xml</loc>
</sitemap>
<sitemap>
<loc>https://www.example.com/sitemap-products.xml</loc>
</sitemap>
</sitemapindex>
Kontrollen följer upptäckta underordnade webbplatskartreferenser som omfattas av dess konfigurerade bearbetningsgränser.
Detta gör det möjligt att inspektera webbplatser som organiserar sitt innehåll över flera sitemapfiler.
Klicka på en post i webbplatskartan om du vill visa informationen.
Den utökade vyn kan innehålla:
lastmod.För URL-uppsättningar klickar du på Öppna URL-utforskaren för att granska de bearbetade posterna mer i detalj.
I avsnittet Webbadresser till webbplatskartor finns en sökbar vy över URL-poster som extraherats från bearbetade webbadresser till webbplatskartor.
Det hjälper dig att granska stora samlingar av webbplatskartor utan att manuellt öppna XML-filer.
För varje post visar kontrollen:
| Fält | Betydelse |
|---|---|
| Webbadress | Sidadressen som anges i webbplatskartan. |
| Senast ändrad | Det angivna datumet för senaste ändring, om det är tillgängligt. |
| Ändra frekvens | Den valfria föreslagna uppdateringsfrekvensen. |
| Prioritet | Det valfria relativa prioritetsvärdet. |
| Validering | Huruvida posten klarade de tillgängliga kontrollerna. |
Använd sökfältet för att hitta poster som matchar:
Sökningen gäller de bearbetade poster som för närvarande finns i rapporten.
Använd fältet för val av webbplatskarta om du vill visa poster från en viss webbplatskarta.
Tillgängliga alternativ inkluderar:
Detta är användbart när en webbplats har separata webbplatskartor för sidor, produkter, artiklar eller annat innehåll.
Utforskaren visar initialt upp till 100 matchande poster.
Klicka på Visa 100 fler för att visa ytterligare resultat.
Sammanfattningen nedanför tabellen visar också det totala antalet upptäckta poster, unika webbadresser, dubbletter och ogiltiga webbadresser.
I fälten lastmod, changefreq och priority finns ytterligare information om poster i webbplatskartor.
Senaste ändring (lastmod)
Anger när sidan senast ändrades.
Använd korrekta datum som återspeglar faktiska betydande ändringar på sidan.
Ändringsfrekvens (changefreq)
Anger en föreslagen uppdateringsfrekvens, till exempel:
alwayshourlydailyweeklymonthlyyearlyneverPrioritet (priority)
Ger ett relativt prioritetsvärde mellan 0.0 och 1.0 inom webbplatsen.
Både changefreq och priority är valfria tips. Sökmotorer kan ignorera dem, och de garanterar inte genomsökningsfrekvens eller sökrankningar.
I avsnittet Problem och rekommendationer samlas resultat från analys av robots.txt, hämtning av webbplatskartor och XML-validering.
Varje problem innehåller en allvarlighetsgrad, diagnoskod, förklaring, påverkad resurs (om tillgängligt) och en rekommendation.
Vanliga fynd inkluderar:
Granska den berörda linjen och korrigera konfigurationen när problemet är oavsiktligt.
Kontrollanten kan identifiera problem som:
loc-värden.loc-fält.lastmod-datum.changefreq-värden.Vissa resultat är varningar snarare än fel eftersom konfigurationen kan vara avsiktlig.
Stora samlingar av webbplatskartor omfattas av säkerhets- och prestandabegränsningar.
När en gräns har nåtts kan rapporten visa att vissa resurser eller poster inte har bearbetats.
Möjliga begränsningar inkluderar:
Ett avkortat resultat betyder inte att hela webbplatskartan är ogiltig. Det betyder att kontrollanten inte kunde inspektera allt innehåll inom de konfigurerade gränserna.
Granska den relevanta diagnostiken och överväg att dela upp mycket stora webbplatskartsamlingar i mindre filer.
En viktig skillnad är att robots.txt inte är en mekanism för åtkomstkontroll.
Ett Disallow-direktiv kommunicerar inställningar för sökrobotar. Det hindrar inte besökare, automatiserade robotar eller andra klienter från att komma åt en URL direkt.
Här är ett exempel:
User-agent: *
Disallow: /admin/
Disallow: /private/
Detta ber samarbetande sökrobotar att inte hämta dessa sökvägar.
Det skyddar inte sidorna eller döljer deras existens.
För konfidentiellt eller begränsat innehåll, använd:
Använd aldrig robots.txt för att skydda privat information.
Kontrollen ger alternativ för att spara eller dela inspektionsresultaten.
Kopiera JSON
Klicka på Kopiera JSON för att kopiera hela rapporten till Urklipp.
Ladda ner rapporten
Klicka på Hämta rapport för att exportera resultaten som en JSON-fil.
Rapporten innehåller information som:
Du kan använda JSON-rapporten för teknisk dokumentation, felsökning eller vidare bearbetning.
Kontrollen ger också kopieringsknappar för enskilda värden, inklusive den inspekterade webbplatsadressen och deklarerade webbplatskartadresser.
När du har ändrat konfigurationen av robots.txt-filen eller webbplatskartan kör du inspektionen igen.
Du kan använda Kör igen för att upprepa analysen av samma webbplats.
Du kan också ange en annan webbplatsadress för att inspektera en annan domän.
Upprepa kontrollen efter att ha gjort ändringar för att bekräfta att:
Så här upprätthåller du en tillförlitlig sökrobotkonfiguration:
lastmod-värden när de är tillgängliga.Kom ihåg att en webbplatskarta hjälper sökmotorer att upptäcka webbadresser, men garanterar inte att webbadresserna genomsöks, indexeras eller rankas.
Kontrollverktyget för robots.txt och webbplatskartor utför en teknisk inspektion av offentliga konfigurationsfiler för sökrobotar och upptäckta resurser för webbplatskartor.
Det gör inte:
Av säkerhetsskäl blockerar kontrollen lokala, privata, reserverade och på annat sätt icke-offentliga nätverksdestinationer. Det begränsar också omdirigeringar, svarstorlekar, begäran om webbplatskarta och bearbetningstid.
Resultaten beskriver de resurser som inspekterats vid tidpunkten för begäran. De bör behandlas som en diagnostisk rapport snarare än en garanti för sökmotorbeteende.
Robots.txt & Sitemap Checker ger ett praktiskt sätt att inspektera crawler instruktioner, upptäcka webbplatskarta resurser och validera de webbadresser som publiceras av din webbplats.
Genom att granska användaragentgrupper, testa URL-sökvägar, inspektera index för webbplatskartor och undersöka valideringsproblem kan du upprätthålla en tydligare och mer tillförlitlig konfiguration för sökmotoridentifiering.
Använd den när du har publicerat en ny webbplats, ändrat instruktioner för sökrobotar, strukturerat om webbadresser eller uppdaterat konfigurationen av webbplatskartan.