Salut Iskander,
Nu ai nevoie de meta-ul robots in pagina daca folosesti robots.txt, decat in cazurile unor pagini care vrei sa faca exceptie de la regulile generale.
Membru SeoPedia
Salut Iskander,
Nu ai nevoie de meta-ul robots in pagina daca folosesti robots.txt, decat in cazurile unor pagini care vrei sa faca exceptie de la regulile generale.
Cu stima,
Razvan Pop
Membru SeoPedia
asa ma gandeam si eu.
mai am o intrebare
daca accesez http://www.insoft.ro/robots.txt pot observa structura directoarelor care webmasterul le considera importante
teoretic reprezinta un risc pentru securitatea site-ului oferind informatii suplimentare.
s-ar putea face intr-un fel ca acest fisier sa fie accesat doar de spiderul motoarelor de cautare?
Ghid de optimizare SEO pentru începători și nu doar!
Ambasador
Junior SeoPedia
Adika ce sa intelegem ca google stie ca nu trebuie sa indexe acele directoare de administrare a sitului ?
Ambasador
Junior SeoPedia
Bun am citit pe acolo .. dar ar trebui sa spunem noi pe forum mai in cuvinte romanesti asa ca este destinat si celor .. care nu prea au experienta ...
Ambasador
Ion e cioban. Intr-o seara dupa 5 sticle de palinca i-a venit ideia sa isi numeasca turma de oi "miorita.com". Ion, evident.. are si un caine, pe care tot in noapte cu palinca l-a numit "robots.txt", nici el nu stie de ce.
In mijlocul padurii intunecate sta "lupul cel mare si rau" care isi trimite periodic lupii aia mai mici sa caute turmele de oi, sa le numere, sa vada cat de grase sunt oile, le catalogheaza, le da "pagerank", etc. sa vada daca pot fi de vre-un folos "lupului cel mare si rau".
Ion se supara si zice "ba, nu mai arunca nici un lup un ochi in ograda mea" si il pune pe "robots.txt" sa pazeasca.
In continuare, restul e poveste... "robots.txt" intampina frumos lupul care vine sa faca statistica, ii arata de foarte aproape un pumn pe care scrie mare "disallow", lupul se intoarce dezorientat si gata.
Toti au trait fericiti pana la adanci batraneti.
Ambasador
Tare rau faza!!!)))))))))))))) Nice thinking necropsique.
Boingeanu Ben
Ambasador
The Robots Exclusion Protocol
2/22/2007 01:14:00 PM
Posted by Dan Crow, Product Manager
This is the second in a short series of posts about the Robots Exclusion Protocol, the standard for controlling how web pages on your site are indexed. This post provides more details and examples of mechanisms to control access and indexing of your website by Google.
In the first post in this series, I introduced robots.txt and robots META tags, giving an overview of when to use them. In this post, I'll look at some examples of the power of the protocol. These examples illustrate the detailed and fine-grain control online publishers have over how their websites are indexed.
Krumel - apeleaza la serviciile oferite de mine prin formularul de pe blog.
Guest
eu care ignorasem robots.txt ... am intrat in google cu majoriatea paginilor : acces interzis, necesita cont.
totusi, cum cineva a mentionat anterior, daca incluzi in robots.txt directoarele "sensibile" nu reprezinta cumva un factor de risc ?
poti restrictiona cumva accesul la robots.txt doar clientilor care se autentifica drept crawlere ? din apache, din php, de oriunde...
thnx!
Momentan este/sunt 1 utilizator(i) care navighează în acest subiect. (0 membrii și 1 vizitatori)
Permisiuni postare
Răspunde cu citat