このサイトのrobots.txt

Home > このサイトのrobots.txt

このサイトのrobots.txt

2010-01-16(2010-01-16 01:01:58)

最近naverさんが激しいので追加。


User-agent: ia_archiver
Disallow: /

User-agent: Feedpath/1.0
Disallow: /

User-agent: Baiduspider
Disallow: /

User-agent: BaiduImagespider
Disallow: /

User-agent: Modiphibot/0.9
Disallow: /

User-agent: Megalodon
Disallow: /

User-agent: Yeti
Disallow: /

User-agent: NaverBot
Disallow: /

Yandexも追加しようか迷ったけど様子見。

Comment

Comment Form

Trackback

TrackBackPingURL:

Referer

11hit: http://netaya.jp/robots.txt
4hit: http://reader.livedoor.com/reader/
2hit: http://project-p.jp/
1hit: http://project-p.jp/halt/anubis/blog_show/1269
1hit: http://www.google.co.jp/search?hl=ja&source=hp&q=robots.txt++Yeti/1.0+disallow&lr=&aq=f&oq=&rlz=1R2SKPB_zh-CNCN352
1hit: http://project-p.jp/halt/anubis/blog_show/1372
1hit: http://project-p.jp/halt/
1hit: http://www.google.co.jp/search?q=User-agent:+*+Disallow:+/&hl=ja&safe=off&lr=lang_ja&ei=aVZsS6naL9GGkAX_taD_Aw&sa=X&oi=lrtip&ct=restrict&cad=9&ved=0CAYQuAE
1hit: http://www.google.co.jp/ig?hl=ja&t=1
1hit: http://www.google.co.jp/ig?hl=ja&refresh=1

Sun	Mon	Tue	Wed	Thu	Fri	Sat
	1	2	3	4	5	6
7	8	9	10	11	12	13
14	15	16	17	18	19	20
21	22	23	24	25	26	27
28	29	30	31