stiu ca am facut odata cu g-mapper si mi-a facut crawl pe 50 mii urluri cand l-am oprit...
Asadar la mine problema nu este ca nu am tool pentru asta..ci n`am net pentru asa ceva ;) Daca reuseste cineva cu mai mult de 4000 pagini .. ;)
Versiune printabilă
stiu ca am facut odata cu g-mapper si mi-a facut crawl pe 50 mii urluri cand l-am oprit...
Asadar la mine problema nu este ca nu am tool pentru asta..ci n`am net pentru asa ceva ;) Daca reuseste cineva cu mai mult de 4000 pagini .. ;)
Cea mai mare tampenie... ca la un site dinamic sa faci sitemap prin crawling.... cel mai bine un cronjob.... care iti ia din DB si iti creaza sitemap-ul odata pe zi.... odata la cateva ore... etc... sau.... daca site-ul nu e foarte foarte mare (ex. sub 5000 de pagini), poti genera sitemap-ul si on the fly, daca serverul e cat de cat capabil.
un exemplu de scripturi sau programe care fac asa ceva?:)
pai ce exemplu vrei ? doar tu stii cum e baza ta de date, si cum ti se formeaza linkurile, nu ? faci un SELECT (mysql) la toate produsele, "calculezi" linkurile corespunzatoare fiecaruia (ex: www.siteultau.ro/produs-Megabengos-1342.html), si le bagi pe toate in sitemap...
Eu folosesc GSiteCrawler si sunt foarte multumit de el. Recomand.
La GSiteCrawler se poate reduce numarul Crawlerilor ?