View previous topic :: View next topic |
Author |
Message |
Crazy Man
Joined: 02 Jun 2005 Posts: 68 Location: Croatia, Osijek
|
Posted: 04.05.2006 21:52 Post subject: robots.txt |
|
|
Ovako imam jedno pitanje vezano za robots.txt:
U page/ folderu se nalaze news.php, downloads.php...
Imam linkove ovoga oblika - index.php?page=news, index.php?page=downloads...
pomocu .htaccess sam napravio da mi ti linkovi budu kao - news/, downloads/
i sada u robots.txt moram napisati sta da trazilice tj crawleri ne gledaju i sada sta da stavim? index.php?page=nesto ili nesto/ ili mozda page/news.php. Ali opet nesto/ je folder pa opet sada neznam sta da stavim.. moze li me netko uputiti ? |
|
|
Back to top |
|
|
carr
Joined: 13 Nov 2003 Posts: 1397 Location: Karlovac
|
Posted: 04.05.2006 22:38 Post subject: |
|
|
bot ti se ponasa isto kao posjetitelj, dakle .htaccess i za njega rewritea urlove najnormalnije.
dakle stavi
news/
downloads/
pr0n/
itd. |
_________________ Bolje biti malo lud, nego malo pametan. |
|
Back to top |
|
|
lekke
Joined: 17 Jun 2004 Posts: 860 Location: 25th floor
|
Posted: 04.05.2006 22:44 Post subject: |
|
|
ne... u robots.txt stavi neki admin direktorij ako imas, direktorije u koje si trpao konfiguracijske fileove i sl... znas ono, ko kad radis sa dreamweaverom pa ti napravi Connections direktorij |
_________________ You need more bass. |
|
Back to top |
|
|
Gaston
Joined: 14 Dec 2003 Posts: 619 Location: 10310
|
Posted: 04.05.2006 23:21 Post subject: |
|
|
hm, kad ste vec pokrenuli to pitanje, da li je ovo ok:
Code: | User-agent: *
Disallow: /cgi-bin/
Disallow: /admin/ |
znaci te direktorije sam zabranio
google ovdje kaze da, ako sam dobro shvatio, i u blokiranom direktoriju mogu odrediti file koji ce biti indexiran ? |
|
|
Back to top |
|
|
unLog!c
Joined: 27 May 2004 Posts: 185 Location: Osijek
|
Posted: 05.05.2006 08:22 Post subject: |
|
|
Ja pošto imam htaccess dozvolio sam pristup samo onim fileovima koji imaju neki sadržaj koji se nemože prije htaccessa includati, recimo slike, css, mp3, avi itd te admin panel i onda samo zabranim robotsima da mi prčkaju po tome..
Code: | User-agent: *
Disallow: /images/
Disallow: /cgi-bin/
Disallow: /bulletproof/
|
|
_________________ Why dont you go out and play hide and go fuck your self like all other NORMAL kids? |
|
Back to top |
|
|
Crazy Man
Joined: 02 Jun 2005 Posts: 68 Location: Croatia, Osijek
|
Posted: 05.05.2006 08:30 Post subject: |
|
|
lekke wrote: | ne... u robots.txt stavi neki admin direktorij ako imas, direktorije u koje si trpao konfiguracijske fileove i sl... znas ono, ko kad radis sa dreamweaverom pa ti napravi Connections direktorij |
Ne koristim drimviver Znaci tražilice se prema robots.txt tj. prema tim fajlovima sto sam ispisao ponaša kao da su to folderi tj određeni fajlovi, znaci nisu vezani za .htaccess ? jer mi je samo to bitno.. znaci gledaju li .htaccess kod robota ili ne... |
|
|
Back to top |
|
|
Sulien
Joined: 04 Jan 2004 Posts: 2905 Location: Zagreb
|
Posted: 05.05.2006 14:35 Post subject: |
|
|
.htaccess pravila vrijede za SVE requestove, bili oni od tvoje mame, mene ili od robota
URL rewriting se može ponašati drugačije za neke robote ako mu ti to eksplicitno kažeš - što sigurno nisi
pomoglo bi ti u shvaćanju stvari kad bi znao kako serveri funkcioniraju |
|
|
Back to top |
|
|
Crazy Man
Joined: 02 Jun 2005 Posts: 68 Location: Croatia, Osijek
|
Posted: 05.05.2006 14:37 Post subject: |
|
|
Puno ti hvala
Quote: | pomoglo bi ti u shvaćanju stvari kad bi znao kako serveri funkcioniraju |
Ali sta ces, neznam |
|
|
Back to top |
|
|
|