Ambasador
Junior SeoPedia
Adika ce sa intelegem ca google stie ca nu trebuie sa indexe acele directoare de administrare a sitului ?
Ambasador
Junior SeoPedia
Bun am citit pe acolo .. dar ar trebui sa spunem noi pe forum mai in cuvinte romanesti asa ca este destinat si celor .. care nu prea au experienta ...
Ambasador
Ion e cioban. Intr-o seara dupa 5 sticle de palinca i-a venit ideia sa isi numeasca turma de oi "miorita.com". Ion, evident.. are si un caine, pe care tot in noapte cu palinca l-a numit "robots.txt", nici el nu stie de ce.
In mijlocul padurii intunecate sta "lupul cel mare si rau" care isi trimite periodic lupii aia mai mici sa caute turmele de oi, sa le numere, sa vada cat de grase sunt oile, le catalogheaza, le da "pagerank", etc. sa vada daca pot fi de vre-un folos "lupului cel mare si rau".
Ion se supara si zice "ba, nu mai arunca nici un lup un ochi in ograda mea" si il pune pe "robots.txt" sa pazeasca.
In continuare, restul e poveste... "robots.txt" intampina frumos lupul care vine sa faca statistica, ii arata de foarte aproape un pumn pe care scrie mare "disallow", lupul se intoarce dezorientat si gata.
Toti au trait fericiti pana la adanci batraneti.
Ambasador
Tare rau faza!!!)))))))))))))) Nice thinking necropsique.
Boingeanu Ben
Ambasador
The Robots Exclusion Protocol
2/22/2007 01:14:00 PM
Posted by Dan Crow, Product Manager
This is the second in a short series of posts about the Robots Exclusion Protocol, the standard for controlling how web pages on your site are indexed. This post provides more details and examples of mechanisms to control access and indexing of your website by Google.
In the first post in this series, I introduced robots.txt and robots META tags, giving an overview of when to use them. In this post, I'll look at some examples of the power of the protocol. These examples illustrate the detailed and fine-grain control online publishers have over how their websites are indexed.
Krumel - apeleaza la serviciile oferite de mine prin formularul de pe blog.
Guest
eu care ignorasem robots.txt ... am intrat in google cu majoriatea paginilor : acces interzis, necesita cont.
totusi, cum cineva a mentionat anterior, daca incluzi in robots.txt directoarele "sensibile" nu reprezinta cumva un factor de risc ?
poti restrictiona cumva accesul la robots.txt doar clientilor care se autentifica drept crawlere ? din apache, din php, de oriunde...
thnx!
Membru SeoPedia
Salutare prieteni ,
Hehe treaba complicata cu robots.txt Incerc in aceasta perioada sa fac si eu un fisier robots si binenteles sa-l supun aprobarii voastre.
Florin
Am 2 siteuri in turism : Tomis Travel si Oferte Antalya
Ambasador
Bafta... sper ca nu ai reinviat acest topic doar ca sa te lauzi
Daca nu ai nicio pagina pe care nu doresti sa ti-o indexeze google, nu ar trebui sa pui prea mare aspect pe robots.txt
Momentan este/sunt 1 utilizator(i) care navighează în acest subiect. (0 membrii și 1 vizitatori)
Permisiuni postare
Răspunde cu citat