als er in de root van je hosting provider robots.txt staat..

Plaats hier berichten die in eerste instantie niets te maken hebben met Mozilla, de activiteiten van ProMozilla en ThunderbirdNL of met de artikelen op MozBrowser.
Gebruikersavatar
Tjaard
Berichten: 710
Lid geworden op: 6 november 2004, 17:26
Locatie: In Christ
    unknown unknown

als er in de root van je hosting provider robots.txt staat..

Bericht door Tjaard » 2 december 2004, 0:15

...wtf ga ik daaraan doen :? ?

Code: Selecteer alles

# A robots.txt for the fmf
User-agent: *  # applies to all robots
Disallow: /    #disallowing indexing of all pages
Ik ben er niet zo blij mee, m'n tutorials staan in subdirectories van deze root, kan ik ervoor zorgen dat de googlebot toch bij me langs kan komen...? Ik ga ze alvast maar mirrorren op m'n betaalde webspace waar ik die ongein niet heb... :roll:
Maak zelf goeie adblockfilters, mail veilig met OpenPGP in Thunderbird!
As for me and my house, we will serve the LORD (Jozua 24:14).

Gebruikersavatar
nirwana
Beheerder
Berichten: 11348
Lid geworden op: 19 september 2003, 5:09
    unknown unknown

Bericht door nirwana » 2 december 2004, 0:30

Als je aan Google jouw directe adres doorgeeft, zal Google dan alsnog van de hoofddirectory de robots.txt opvragen ? Ik zou denken dat Google dan jouw robots.txt opvraagt (indien aanwezig). Ik zou daarom in jouw eigen directory een robots.txt plaatsen die juist alles toestaat (of in elk geval jouw eigen regeltjes toepast).

Met een .htaccess in je eigen directory kun je ook bepalen welke instellingen op dat niveau gelden. Zo kun je iedere directory alsnog eigen Apache-instellingen geven. Maar ik weet niet of een robots.txt op vergelijkbare wijze werkt.
Met vriendelijke groet,

Martijn
[ Mede-oprichter + webmaster MozBrowser | beheerder Startpagina's over freeware, GIMP, Mozilla en OpenOffice.org / LibreOffice, Ubuntu

Gebruikersavatar
nirwana
Beheerder
Berichten: 11348
Lid geworden op: 19 september 2003, 5:09
    unknown unknown

Bericht door nirwana » 2 december 2004, 0:36

OK, vergeet mijn opmerking maar weer:
Note that there can only be a single "/robots.txt" on a site. Specifically, you should not put "robots.txt" files in user directories, because a robot will never look at them. If you want your users to be able to create their own "robots.txt", you will need to merge them all into a single "/robots.txt". If you don't want to do this your users might want to use the Robots META Tag instead.
http://www.robotstxt.org/wc/exclusion-admin.html
Het was leuk bedacht, maar helaas niet de harde realiteit.

Heb je enig idee waarom jouw host het zo heeft ingericht ? Hekel aan zoekmachines ofzo ?
Met vriendelijke groet,

Martijn
[ Mede-oprichter + webmaster MozBrowser | beheerder Startpagina's over freeware, GIMP, Mozilla en OpenOffice.org / LibreOffice, Ubuntu

Gebruikersavatar
Tjaard
Berichten: 710
Lid geworden op: 6 november 2004, 17:26
Locatie: In Christ
    unknown unknown

Bericht door Tjaard » 2 december 2004, 1:04

Geen idee, ik heb de boel net verhuisd naar m'n betaalde host en waar ik kan de url aangepast. Ik wil wel een hoge page ranking natuurlijk ;) .

Misschien heb je gezien dat ik het nieuwsartikel van een opmerking voorzien heb :) .

Volgens mij komen er op die host waar ze stonden ook foto's van feestjes van de vereniging waarvan ze misschien niet willen dat ze geindexeerd worden ofzo :?
Maak zelf goeie adblockfilters, mail veilig met OpenPGP in Thunderbird!
As for me and my house, we will serve the LORD (Jozua 24:14).

Gebruikersavatar
nirwana
Beheerder
Berichten: 11348
Lid geworden op: 19 september 2003, 5:09
    unknown unknown

Bericht door nirwana » 2 december 2004, 7:22

ucchan schreef:Misschien heb je gezien dat ik het nieuwsartikel van een opmerking voorzien heb.
Ik heb geen idee wat je bedoelt.
Met vriendelijke groet,

Martijn
[ Mede-oprichter + webmaster MozBrowser | beheerder Startpagina's over freeware, GIMP, Mozilla en OpenOffice.org / LibreOffice, Ubuntu

Gebruikersavatar
Tjaard
Berichten: 710
Lid geworden op: 6 november 2004, 17:26
Locatie: In Christ
    unknown unknown

Bericht door Tjaard » 2 december 2004, 11:24

Maak zelf goeie adblockfilters, mail veilig met OpenPGP in Thunderbird!
As for me and my house, we will serve the LORD (Jozua 24:14).