亚马逊⽹站robots协议解读
⽹络爬⾍引发的问题：性能骚扰、法律风险、隐私泄露。
⽹络爬⾍的"性能骚扰"：web服务器默认接受⼈类访问，受限于编写⽔平和⽬的，⽹络爬⾍将会为web服务器带来巨⼤的资源的开销。
⽹络爬⾍的法律风险：服务器上的数据有产权归属，⽹络爬⾍获取数据后牟利将会带来法律的风险。
最后是⽹络爬⾍的隐私泄露：⽹络爬⾍可能具备突破简单访问的控制能⼒，获取被保护的数据，从⽽泄露个⼈隐私。
在分析亚马逊的robots协议之前我们先应该明确的是⽹络爬⾍会带来的风险和问题，这样才能更好的理解亚马逊为什么禁⽌⽹络爬⾍访问这些内容，如果访问的话会造成什么危害。
最简单的只有两个规则：
User-agent：指定对哪些爬⾍⽣效
Disallow：指定要屏蔽的⽹址
cladding
接下来以亚马逊的robots协议为例，分析其内容。
⾸先，先来分析亚马逊对于⽹络爬⾍的限制。是否有有“特殊权限”的爬⾍？
User-agent: *
爬⾍抓取时会声明⾃⼰的⾝份，这就是User-agent，就是http协议⾥的User-agent。利⽤User-agent来区分各个引擎的爬⾍。
爬虫软件 app
*代表该内容下⾯Disallow的部分是禁⽌所有爬⾍爬取的。因此robots协议中提及的“禁区”是针对于所有⽹络爬⾍的，没有单独提及的爬⾍。
construct翻译中文
输⼊robots协议中不允许爬取的部分的⽹页出现的页⾯
与之对应来看，我们会发现淘宝的robots协议中明确禁⽌百度的⽹络爬⾍爬取。⽽百度的⼀些⽹站是允许百度爬⾍任意爬取的。
redis指令集接下来分析亚马逊向⽹络爬⾍屏蔽的内容有哪些。
Disallow ⾏列出的是要拦截的⽹页，以正斜线 (/) 开头，可以列出特定的⽹址或模式。要屏蔽整个⽹站，使⽤正斜线即可；要屏蔽某⼀⽬录以及其中的所有内容，在⽬录名后添加正斜线；要屏蔽某个具体的⽹页，就指出这个⽹页。
下⾯代表wishlist中允许访问的⽬录universal*、 vendor-button* 、get-button*
Disallow: /wishlist/
Allow: /wishlist/universal*
Allow: /wishlist/vendor-button*
Allow: /wishlist/get-button*
仔细观察禁⽌访问，发现了⼀些“看得懂”的内容：
Disallow: /dp/e-mail-friend/
mysql数据库引擎面试Disallow: /dp/manual-submit/
Disallow: /dp/product-availability/
Disallow: /dp/rate-this-item/
Disallow: /dp/shipping/
Disallow: /gp/history
int定义的数据为Disallow: /gp/offer-listing
Disallow: /gp/product/e-mail-friend
Disallow: /gp/product/product-availability
Disallow: /gp/product/rate-this-item
Disallow: /gp/twitter/
其中禁⽌了⽹络爬⾍模仿⽤户的⾏为进⾏诸如给商品评分、发送电⼦邮件、分享到twitter的⾏为，这是⼗分合理的。试想若是不禁⽌⽹络爬⾍模仿⽤户的⾏为，不仅可能会给⽹站的性能造成影响，可能会出现爬⾍造成的恶意评分，以亚马逊名义发送内容⽆法保证的邮件的事件的发⽣。这样的⾏为会对亚马逊的交易环境和形象产⽣影响。
同时禁⽌爬⾍访问历史、物流信息的请求可以避免⽤户的交易信息泄露造成⿇烦。
下⾯禁⽌访问的内容诸如登陆、退出账户，⾝份，订单地址、详细信息、历史、修改、记录，推荐浏览，浏览量，选择⽀付⽅式，选择物流，物流查询，购物车等。
Disallow: /mn/bookLookInsideApp
Disallow: /mn/checkInitApp
Disallow: /mn/checkoutAlertMsgApp
Disallow: /mn/checkoutredirectApp
Disallow: /mn/loginApplication
Disallow: /mn/loyaltyApp
Disallow: /mn/orderAddrApp
Disallow: /mn/orderDetailAppDisallow: /mn/orderHistoryApp
Disallow: /mn/orderModifyApp
Disallow: /mn/orderSummaryApp
Disallow: /mn/paymentRedriveApp
Disallow: /mn/recommendReviewApp
Disallow: /mn/releaseReviewApp
Disallow: /mn/reviewVoteApplication
Disallow: /mn/selectPaymentMethodApp
Disallow: /mn/selectShippingOpptionApplication
Disallow: /mn/shipmentTraceApp
Disallow: /mn/shoppingCartApplication
Disallow: /mn/virtualAccountApp
Disallow: /mn/yourAccountApp
其中的很多禁⽌爬取的都是已登录的账户才可以访问的内容，若是不禁⽌⽹络爬⾍进⾏访问，则可能会出现⽹络爬⾍模拟⽤户操作进⾏操作的现象发⽣，造成⽤户隐私泄露。
禁⽌爬⾍爬取浏览量，浏览内容，推荐浏览等内容是亚马逊防⽌信息被爬取后被挪作他⽤牟利，⽐如“复制⽹站”的情况发⽣。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。