GSiteCrawler s een programma waarmee je gratis je eigen website kan crawlen om een sitemap te maken voor de zoekmachines.

Werken alle links op de site?
Er zijn meerdere goede opties in het programma die aangeven of je site goed werkt, zo kan je kijken of alle links werken. en Wanneer links niet werken kan je aangeven dat deze niet moeten worden opgenomen in je sitemap.

Gegevens opslaan
Daarnaast heeft GSiteCrawler de mogelijkheid om de gegevens van je website op te slaan zodat je niet je hele site opnieuw moet crawlen bij een volgende sessie.
De sitemap van je site kan je importeren en bewerken wanneer er fouten in zitten, dit bespaard weer tijd om te crawlen.

Robots.txt
Met GSiteCrawler kan je robots.txt bestanden aanmaken zodat je de zoekmachines kan sturen in wat ze mogen indexeren.
GSiteCrawler is freeware en beschikbaar in het Engels en Duits.

Nadelen GsiteCrawler
Een groot nadeel van dit programma is dat het crawlen van sites erg langzaam kan gaan.