nodejs实现磁⼒链接资源搜索BT磁⼒链接爬⾍
项⽬简介
前端站点项⽬效果预览
使⽤ nodejs 实现磁⼒链接爬⾍磁⼒链接解析成 torrent种⼦信息，保存到数据库，利⽤ Elasticsearch 实现中⽂检索。koa2 搭建磁⼒链接搜索引擎
源码地址
后端脚本磁⼒链接获取磁⼒链接解析⼊库 Mongodb 定时同步 Elasticsearch
源码地址
此项⽬仅⽤学习交流技术使⽤不做商业⽤途。
上线
2018-06-01 ⽹站正式上线。暂时想不到什么名字各位⼤⼤可以推荐下哦。域名是，
两台 VPS （都是某些云做活动买的配置低）
第⼀台部署了 FindCl 站点本⾝（ koa2、nginx ）和单个节点的 Elasticsearch
第⼆台部署了磁⼒链接爬⾍ hashinfo 解析⼊库 Mongodb
Mongodb 数据库在套路云（⽬前有 300W 数据库，每⽇新收录 3W+的数据）
项⽬依赖
Mongodb
mongoose
Elasticsearch
nginx
koa2
vue
DHT BT 资源爬⾍磁⼒链接解析 manget2torrent
crontab 定时执⾏ Mongodb 与 Elasticsearch 的数据同步nginx部署前端项目
...
存在的问题
manget2torrent
依赖的 dhtspider 爬⾍长时间使⽤⼀个端⼝的时，由于 P2P ⽹络的特性，越来越多的节点来访问会导致带宽跑满（其主要是活动买的云主机 1M 的），如果活⼒全开不做闲置⼤概稳定在 10M 左右。解决⽅案就是每次采集 5000 条不重复的磁⼒ hashindo 就暂停爬⾍，取解析获取信息。等⼩于 1000 条时候，再随机端⼝开启服务。
解析磁⼒链接缓慢且成功率很低，失败的⼤概在 3 成左右且需要好⼏秒
其他
有其他问题请交流。
本⽂转载于：猿2048

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。