爬虫系列：穿越网页表单与登录窗口进行采集（二）
上一期我们讲解了 Python Requests 库、提交一个基本表单、HTML 相关控件等内容。
本篇文章我们接着上一期文章介绍通过 Python Requests 提交文件和图像、处理登录 cookie、HTTP 基本接入认证以及其他表单相关问题。
提交文件和图像
虽然上传文件在网络上很普遍，但是对于网络数据采集其实不太常用。但是，如果你想为自己网站的文件上传一个测试实例，也可以通过 Python Requests 库实现。不管怎么说，掌握工作原理总是有用的。
下面是一个文件上传的源代码示例：
<label class="UploadPicture-wrapper">
<input type="file" accept="image/png,image/jpeg" class="UploadPicture-input">
<button type="button" class="Button UserCoverEditor-simpleEditButton DynamicColorButton DynamicColorButton--dark">
<span style="display: inline-flex; align-items: center;"></span> 编辑封面图片
</button>
</label>
文件上传表单除了 <input> 标签里有一个 type 属性是 file，看起来和上一篇文章中的文字字段并没有什么两样。其实，Python Requests 库对这种表单的处理方式和之前非常相似：
import requests
def upload_image():
files = {'uploadFile': open('files/2fe7243c7c113fad443b375a021801eb6277169d.png', 'rb')}
r = requests.post("http://pythonscraping.com/pages/processing2.php", files=files)
print(r.text)
if __name__ == '__main__':
upload_image()
需要注意，这里提交给表单字段 uploadFile 的值不一定是一个简单的字符串，而是一个使用 open 函数打开的 Python 文件对象。在这个例子当中，我们提交了一个保存在我们电脑上的图像文件，文件路径是相对于这个 Python 程序所在的位置。
处理登录和 cookie
到此为止，我们介绍过的大多数表单都允许你向网站提交信息，或者让你在提交表单后立即看到想要的页面信息。那么，那些表单和登录表单（当你浏览网站时让你保持“已登录“状态）有什么不同？
大多数的现代网站使用的是 cookie 跟踪用户是否已登录的状态信息。一旦网站验证了你的登录权证，他就会将它们保存在你浏览器的 cookie 中，里面通常包含一个服务器生成的令牌，登录有效时限和登录状态追踪信息。网站会把这个 cookie 当作信息验证的凭据，在你浏览网站的每个页面时出示给服务器。在 20 世纪 90 年代中期广泛使用 cookie 之前，保证用户安全验证并追踪用户是网站上的一大问题。
虽然 cookie 为网络开发者解决了大问题，但同时却为网络爬虫带来了大问题。你可以一整天只提交一次登录表单，但是如果你没有一直关注表单后回传给你的那个 cookie，那么一段时间以后再次访问新页面时，你的登录状态就会丢失，需要重新登录。
现在我们有一个博客的管理后台，我们需要登录才能发布文章和上传图片，下面我们通过使用 Python Requests 模拟登录，并追踪 cookie，下面是代码示例：
import requests
from bs4 import BeautifulSoup
from requests import Session, exceptions
from utils import connection_util
class GetCookie(object):
def __init__(self):
self._session = Session()
self._init_connection = connection_util.ProcessConnection()
def get_cookie_by_login(self):
# 另外一个 session 中
get_token=self.request_verification_token()
if get_token:
params = {'__RequestVerificationToken': get_token, 'Email': 'abc@pdf-lib.org',
'Password': 'hhgu##$dfe__e',
'RememberMe': True}
r = self._session.post('https://pdf-lib.org/account/admin', params)
# 如果使用 request_verification_token 此处会出现 500 错误
if r.status_code == 500:
print(r.content.decode('utf-8'))
print('Cookie is set to:')
print(r.cookies.get_dict())
print('--------------------------------')
print('Going to post article page..')
r = self._session.get('https://pdf-lib.org/Manage/ArticleList', cookies=r.cookies)
print(r.text)
def request_verification_token(self):
# 此处仍然会获取所需要的内容
get_content = self._init_connection.init_connection('https://pdf-lib.org/account/admin')
if get_content:
try:
get_token = get_content.find("input", {"name": "__RequestVerificationToken"}).get("value")
except Exception as e:
print(f"ot unhandled exception {e}")
return False
return get_token
if __name__ == '__main__':
get_cookie = GetCookie()
get_cookie.get_cookie_by_login()
上面的代码我们向登录页面发送相关参数，作用就是模拟我们输入用户名与密码登录页面。然后我们从请求中获取 cookie，打印登录结果。
对于简单的页面我们可以这样处理没有问题，但是如果网站比较复杂，他经常会暗自调整 cookie，或者如果我们一开始都不想使用 cookie，应该怎么处理呢？Requests 库的 session 函数可以完美的解决这些问题：
import requests
from bs4 import BeautifulSoup
from requests import Session, exceptions
from utils import connection_util
class GetCookie(object):
def __init__(self):
self._session = Session()
self._init_connection = connection_util.ProcessConnection()
def get_cookie_by_login(self):
# 另外一个 session 中
get_token=self.get_request_verification_token()
if get_token:
params = {'__RequestVerificationToken': get_token, 'Email': 'abc@pdf-lib.org',
'Password': 'hhgu##$dfe__e',
'RememberMe': True}
r = self._session.post('https://pdf-lib.org/account/admin', params)
# 如果使用 request_verification_token 此处会出现 500 错误
if r.status_code == 500:
print(r.content.decode('utf-8'))
print('Cookie is set to:')
print(r.cookies.get_dict())
print('--------------------------------')
print('Going to post article page..')
r = self._session.get('https://pdf-lib.org/Manage/ArticleList', cookies=r.cookies)
print(r.text)
def get_request_verification_token(self):
# 连接网站
try:
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36",
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9"}
html = self._session.get("https://pdf-lib.org/Account/Login", headers=headers)
except (exceptions.ConnectionError, exceptions.HTTPError, exceptions.Timeout) as e:
return False
try:
bsObj = BeautifulSoup(html.text, features='html.parser')
except AttributeError as e:
return False
if bsObj:
try:
get_token = bsObj.find("input", {"name": "__RequestVerificationToken"}).get("value")
except Exception as e:
print(f"ot unhandled exception {e}")
return False
return get_token
if __name__ == '__main__':
get_cookie = GetCookie()
get_cookie.get_cookie_by_login()
在这个例子当中，会话（session）对象（调用 requests.Session() 获取）会继续跟踪会话信息，像 cookie，header，甚至是包括运行 HTTP 协议的信息，比如 HTTPAdapter（为 HTTP 和 HTTPS 的链接会话提供统一接口）。
Requests 是一个非常给力的库，程序员完全不用费脑子，也不用写代码，可能只是逊色于 Selenium，虽然写网络爬虫的时候，你可能像放手让 Requests 库替自己做所有的事情，但是持续关注 cookie 的状态，掌握它们可以控制的范围是非常重要的。这样可以避免痛苦的调试和追寻网站的异常，节省很多时间。
HTTP 基本接入认证
在发明 cookie 之前，处理网站登录最常用的方法就是使用 HTTP 基本接入认证（HTTP basic access authentication）。现在已经不常用了，但是我们偶尔还是会见到它，尤其是在一些安全性较高的网站或公司内部网站，以及一些 API 上使用。
下面是一个基本接入认证界面截图：
和前面的例子一样，需要输入用户名和密码才能登录。
Requests 库有一个 auth 模块专门用来处理 HTTP 认证：
import requests
from requests.auth import HTTPBasicAuth
def http_auth():
auth = HTTPBasicAuth('user', '1223**%%adw')
r = requests.post(url="http://www.test.com:3311/", auth=auth)
print(r.text)
虽然这样看起来是一个普通的 POST 请求，但是有一个 HTTPBasicAuth 对象作为 auth 参数传递到请求当中。显示的结果将是用户名和密码验证成功的页面（如果验证失败，会是一个拒绝接入的页面）。
其他表单问题
表单是网络恶意机器人（malicious bots）酷爱的网站切入点。你当然不希望机器人创建垃圾账号，占用昂贵的服务器资源，或者在博客上提交垃圾评论。因此，新式的网站经常在 HTML 中使用很多安全措施，让表单不能被机器人批量提交数据。
关于验证码的详细内容我不打算在这篇文章中讲解（因为文章已经够长了），后面我将会介绍使用 Python 的图像处理和文本识别方法来详述这部分内容。
如果你在提交表单的时候遇到一些莫名其妙的错误，或者服务器一直以默认的请求为理由拒绝，我在以后的文章中在介绍这些问题。
本文所有的源代码已经托管于 Github 当中，地址：https://github.com/sycct/Scrape_1_1.git
如果有任何问题，欢迎大家 issue。
