抓取微信公众号文章
pre： 没有用框架，直接clone 就可以用
catch_allList.py： 推荐使用，抓取指定 公众号url (持续更新)
延伸：
dailydown.py： 采集配置的公众号的文章效果dailydownbyKeywords.py： 采集热点关键词，热门文章效果
wget --no-check-certificate https://github.com/pypa/pip/archive/1.5.5.tar.gz
tar zvxf 1.5.5.tar.gz
cd pip-1.5.5/
python setup.py install
pip install --upgrade pip
pip install requests
pip install lxml
pip install BeautifulSoup
# Ubantu
apt-get install libmysqld-dev
easy_install MySQL-python
# Centos
yum install python-devel
yum install mysql-devel
cd /home/wwwroot
git clone https://github.com/leon0204/catchWecaht.git
cd catchWecaht
mysql -uroot -p weixin < ./weixin.sql
抓取公众号的列表在
weixin数据库的subscription表中
配置所需要用到的库，没有的用 pip 基本都可以满足
// 需要设置一下 dailydown.py 中的数据库设置
python dailydown.py
数据会存在 subcatch 表中
1 资源删除，热点抓取bug 修复
TODO :
dailyKeyword 采集热点关键词时，空数据时候插入，没数据是不会插入，没有写插入语句- ~~图片采集的优化 ~~
- 添加TDK
- 优化图片采集规则，更全面抓取图片
- 修复一些bug
如果对你有帮助的话，帮忙右上角star一下，谢谢！ 欢迎 PR ～