2016百度云网盘百度搜索引擎源代码,附加Python网络爬虫 PHP网址 Xunsearch百度搜索引擎,Python百度云网盘百度搜索引擎,网络爬虫 网址,百度搜索引擎选用Xunsearch高效率检索,源代码非常简单,附加使用教程,可二开,自动式升级百度云內容,自动式收集哦!很多人都再找的源代码。
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
# 爱百应 - 百度搜索云搜索引擎,安裝布署实例教程
## 软件环境
刚开始以前你需要安裝
* PHP 5.3.7
* MySQL
* Python 2.7 ~
* [xunsearch](http://xunsearch.com/) 百度搜索引擎
## 获得源代码
git clone git@github.com:k1995/BaiduyunSpider.git
或手动式免费下载
https://github.com/k1995/BaiduyunSpider/archive/master.zip
免费下载结束后,___新项目的文件目录构造___大概是那样的
--- indexer/ #数据库索引
--- spider/ #网络爬虫
--- sql/
--- web/ #网址
--- application/
--- config/ # 配备有关
--- config.php
--- database.php # 数据库查询配备
...
...
--- static/ # 储放静态数据資源,css|js|font
--- system/
--- index.php
...
## 刚开始布署
### 建立数据库
建立名叫pan的数据库查询,编号设成utf-8。随后导进sql,进行表的建立。
### 网址布署
适用nginx,apache 网络服务器。
__apache__ 必须打开 *mod_rewrite* 。
__nginx__ 配备以下
location /
{
index index.php;
try_files $uri $flash素材图片uri/ /index.php/$uri;
}
location ~ [^/]\.php(/|$)
{
fastcgi_pass 127.0.0.1:9000;
fastcgi_index index.php;
include fastcgi.conf;
include pathinfo.conf;
}
#### 环境变量改动
config.php 文档改动网址题目,叙述等信息内容
database.php 改动数据库查询账户,登陆密码等信息内容
> 网址网址并发测试专用工具是根据CodeIgniter 架构开发设计的,如安裝,布署,或二次开发有什么问题,请参照[官方网站文本文档]( http://codeigniter.org.cn/user_guide/general/welcome.html)
### 起动网络爬虫
进到 spider/文件目录,改动spider.py 中数据库查询信息内容。
__假如你是次布署,需运作下边指令,进行做种__
python spider.py --seed-user
上边实际上便是爬取百度云盘受欢迎共享客户的基本信息,随后从她们刚开始下手抓取数据信息
随后运作
python spider.py
这时网络爬虫早已开始工作了
### 安裝xunsearch
现阶段应用__xunsearch__做为百度搜索引擎,后边会拆换为elasticsearch。
安裝全过程请参照(不用安裝,PHP SDK,我已经融合到web里了)
http://xunsearch.com/doc/php/guide/start.installation
### 数据库索引数据信息
上边大家完成了网络爬虫的数据收集,网址的构建,但还不可以检索,下边刚开始一步,数据库索引的创建。
进到 indexer/文件目录,在indexer.php里将$prefix,更换给你web的根途径
require ’$prefix/application/helpers/xs/lib/XS.php’;
并改动数据库查询账户密码
随后运作
python ./index.php
到这里程序流程已所有安裝结束
热门源码