博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
web crawling(plus5) crawling wechat
阅读量:6251 次
发布时间:2019-06-22

本文共 1218 字,大约阅读时间需要 4 分钟。

#Author:Mini #!/usr/bin/env python import re import urllib.request import time import urllib.error def use_proxy(proxy_addr,url):     try:         req=urllib.request.Request(url)         req.add_header("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:56.0) Gecko/20100101 Firefox/56.0")         proxy=urllib.request.ProxyHandler({'http':proxy_addr})         opener=urllib.request.build_opener(proxy,urllib.request.HTTPHandler)         urllib.request.install_opener(opener)         data=urllib.request.urlopen(req).read()         return data     except urllib.error.URLError as e:         if hasattr(e, "code"):             print(e.code)             if hasattr(e, "reason"):                 print(e.reason)             time.sleep(1) key="Galaxy Macau" key=key.replace(" ","+") proxy="127.0.0.1:8888" for i in range(1,100):     key=urllib.request.quote(key)     thispageurl="http://weixin.sogou.com/weixin?oq=&query="+key+"&_sug_type_=1&sut=0&lkt=0%2C0%2C0&s_from=input&ri=0&_sug_=n&type=2&sst0=1507173318682&page="+str(i)+"&ie=utf8&p=40040108&dp=1&w=01015002&dr=1"     thispagedata=use_proxy(proxy,thispageurl)     print(len(str(thispagedata)))     pat1='

转载于:https://www.cnblogs.com/rabbittail/p/7631854.html

你可能感兴趣的文章
Gradle基本使用(1):安装、IDEA使用
查看>>
Linux查看用户及其权限管理
查看>>
Kentico中的skin.css的加载
查看>>
elasticsearch6.3.1 安装以及配置IK 使用
查看>>
闪聊的beta版推出了
查看>>
WCF光芒下的Web Service
查看>>
GnuPG笔记
查看>>
批处理常用命令总结2
查看>>
ubuntu双网卡bonding配置(转)
查看>>
Ubuntu 14.04 关于 TensorFlow 环境的配置
查看>>
漂亮灵活设置的jquery通知提示插件toastr
查看>>
java多线程系类:基础篇:08之join
查看>>
TableView编辑状态下跳转页面的崩溃处理
查看>>
c#.net常用的小函数和方法集
查看>>
微软能否撑起Silverlight的明天?
查看>>
遍历文件夹
查看>>
js和html标签的混合使用
查看>>
生成不重复随机数
查看>>
Kinect for Windows SDK 1.5 的改进及新特性
查看>>
jQuery-倒计时
查看>>