Программа iNETsHOP - обработка, сравнение, анализ прайс листов поставщиков, создание каталога товаров интернет магазина Форум - Тонкости электронной коммерции - Прайсобменники - размещение прайс-листов на сервере Price.ua


http://inetshop.in.ua/index.php?p=showtopic&toid=53&fid=20&area=1&print_post=263
18.12.2008 15:01

support
Support


Количество сообщений   1199
Зарегистрирован:   11-04-2008, 19:11:57 		Список ботов или как бороться с нечесностью прайсобменников
Методы борьбы конечно есть, например как периодический просмотр статистики подаваемой пайс-обменниками на предмет выявления ботов. Но т.к. и до этого прайсобменники не брезговали надувательством клиентов предоставляя к оплате переходы поисковых и других ботов, то что им мешает создать десяток другой-пятый-двадцаный своих роботов, которые под видом обычных пользователей будут осуществлять переход с их площадки на сайт магазина? Тем более в кризисной обстановке это кажется всё большей и большей реальностью.

Можно например собирать такую статистику со всех заинтересованых клиентов и обрабатывать её в специальной программе, тогда можно выявить и таких "мнимых" пользователей.

Вот список некоторых ботов:

googlebot=Google Bot
slurp@inktomi=Hot Bot
archive_org=Archive.org Bot
Ask Jeeves=Ask Jeeves Bot
Lycos=Lycos Bot
WhatUSeek=What You Seek Bot
ia_archiver=IA.Archiver Bot
GigaBlast=Gigablast Bot
Yahoo!=Yahoo Bot
Yahoo-MMCrawler=Yahoo-MMCrawler Bot
TurtleScanner=TurtleScanner Bot
TurnitinBot=TurnitinBot
ZipppBot=ZipppBot
StackRambler=StackRambler Bot
oBot=oBot
rambler=Rambler Bot
Jetbot=Jet Bot
NaverBot=Naver Bot
libwww=Punto Bot
aport=Aport Bot
msnbot=MSN Bot
MnoGoSearch=mnoGoSearch Bot
booch=Booch Bot
Openbot=Openfind Bot
scooter=Altavista Bot
WebCrawler=Fast Bot
WebZIP=WebZIP Bot
GetSmart=GetSmart Bot
grub-client=GrubClient Bot
Vampire=Net_Vampire Bot
Rambler=Rambler Bot
appie=Walhello appie
architext=ArchitextSpider
jeeves=AskJeeves
bjaaland=Bjaaland
ferret=Wild Ferret Web Hopper #1, #2, #3
googlebot=Googlebot
gulliver=Northern Light Gulliver
harvest=Harvest
htdig=ht://Dig
linkwalker=LinkWalker
lycos_=Lycos
moget=moget
muscatferret=Muscat Ferret
myweb=Internet Shinchakubin
nomad=Nomad
scooter=Scooter
slurp=Inktomi Slurp
voyager=Voyager
weblayers=weblayers
antibot=Antibot
digout4u=Digout4u
echo=EchO!
fast-webcrawler=Fast-Webcrawler
ia_archiver=Alexa (IA Archiver)
jennybot=JennyBot
mercator=Mercator
msnbot=MSNBot
netcraft=Netcraft
petersnews=Petersnews
unlost_web_crawler=Unlost Web Crawler
voila=Voila
webbase=WebBase
wisenutbot=WISENutbot
fish=Fish search
abcdatos=ABCdatos BotLink
acme.spider=Acme.Spider
ahoythehomepagefinder=Ahoy! The Homepage Finder
alkaline=Alkaline
anthill=Anthill
arachnophilia=Arachnophilia
arale=Arale
araneo=Araneo
aretha=Aretha
ariadne=ARIADNE
arks=arks
aspider=ASpider (Associative Spider)
atn.txt=ATN Worldwide
atomz=Atomz.com Search Robot
auresys=AURESYS
backrub=BackRub
bbot=BBot
bigbrother=Big Brother
blackwidow=BlackWidow
blindekuh=Die Blinde Kuh
bloodhound=Bloodhound
borg-bot=Borg-Bot
brightnet=bright.net caching robot


Так же если вы посмотрите логи своего сайта, то увидите ещё и других ботов, типа:

IP: 216.69.181.131, Host: ip-216-69-181-131.ip.secureserver.net
IP: 64.1.215.165, Host: crawl-9.cuill.com (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)
IP:66.231.188.140 (http://www.gigablast.com/spider.html)