Requestium一个比Requests跟实用的python库
一.前言
最近看到好多微信公众号说Requestium把 Requests 按在地上摩擦了，我特意学习了下，这个库就是写爬虫，比较方便而已，也没网友说的那么夸张
那么什么是Requestium？
Requestium是一个集成了Requests和Selenium的Web自动化工具。它允许在保持当前Web会话的同时，在Requests的Session和Selenium的Webdriver之间进行切换。如果需要一个以Selenium为主体，增加部分Requests功能的Python库，可以考虑使用另一个叫做Selenium-Requests的库。
Requestium还整合了Parsel，用它编写的页面查询元素选择器代码特别清晰。它还为诸如点击元素和在DOM中渲染内容这些通用操作提供了帮助，这使得网页自动化更加省时和方便。
二.基本用法
1.安装
pip install requestium2.创建Session对象
创建一个Session对象是发送请求的第一步。Session对象提供了许多方便的方法来发送和处理请求。创建Session对象的代码如下：
s = Session()3.发送get请求
使用Session对象可以方便地发送GET请求
from requestium import Session
s = Session()
response = s.get('http://127.0.0.1:8090')
print(response.text)4.发送POST请求
Requestium也支持发送POST请求。以下是一个示例代码，展示如何使用Requestium发送POST请求
from requestium import Session, Keys
s = Session()
# 设置请求 URL
url = "http://127.0.0.1:8090"
# 设置请求数据
data = {
"hello": "world"
}
# 发送 POST 请求
response = s.post(url, data=data)
# 输出响应内容
print(response.content)
5.处理响应
发送GET请求后，将返回一个响应对象。可以通过响应对象获取请求的结果。以下是一个示例代码，展示如何处理响应
from requestium import Session
s = Session()
response = s.get('http://127.0.0.1:8090')
print(response.status_code) # 打印响应状态码
print(response.headers) # 打印响应头部信息
print(response.text) # 打印响应内容6.selenium部分
这部分代码需要安装selenium，下载好自己chrom浏览器对应的chromedriver驱动，使用BeautifulSoup这个库解析返回的数据
最新驱动下载地址如下：
https://googlechromelabs.github.io/chrome-for-testing/以下代码，打开百度，搜索"requests"内容
from requestium import Session, Keys
from selenium.webdriver.common.by import By
from bs4 import BeautifulSoup
login_url = 'https://www.baidu.com'
s = Session(webdriver_path='./chromedriver.exe',
browser='chrome',
default_timeout=15,
webdriver_options={'arguments': ['headless']}
)
s.driver.get(login_url)
s.driver.find_element(By.XPATH,"//*[@id='kw']").send_keys('requests')
s.driver.find_element(By.XPATH,"//*[@id='su']").click() #send_keys('', Keys.ENTER)
s.transfer_driver_cookies_to_session()
resp = s.get(login_url)
soup = BeautifulSoup(resp.text,'html.parser') # 通过BeautifulSoup 解析返回的内容诶html
title = soup.head.title # 获取titile
print(title)三.注意事项
1.需要先安装Requestium模块，可以使用pip命令进行安装。
2.在处理混合型网页（既有静态内容又有动态加载内容）时，可以先使用Requests获取网页的静态内容，然后在需要时切换到Selenium来处理JavaScript生成的内容或者进行用户交互，这样更加高效和灵活。
3.如果需要使用Selenium的方法，比如找到一个元素或执行JavaScript代码，可以在Session对象中通过driver属性来访问WebDriver。
4.在处理完请求后，需要关闭WebDriver，以释放资源。
5.如果需要添加请求参数，可以在get()方法中传入参数字典，或者使用params属性6设置请求参数。
7.如果需要使用XPath、CSS或正则表达式进行解析响应，可以使用Session对象的xpath()、css()或re()方法，这些方法都支持链式调用。
8.在解析响应时，需要注意编码问题，可以使用decode()方法将编码后的字符串转为普通的Unicode字符串。
9.在处理完请求后，需要关闭Session对象，以释放资源。
四.优点
1.高效灵活：Requestium允许使用Requests处理静态内容，再切换到Selenium处理动态内容，提高了效率和灵活性。
2.无需额外配置：Requestium自动处理Selenium WebDriver的启动和关闭，无需手动配置。
3.支持多种解析方法：Requestium支持XPath、CSS和正则表达式等多种解析方法，方便对网页进行解析。
4.支持链式调用：Requestium的xpath()、css()和re()方法都支持链式调用，方便进行多步骤解析。
5.支持自动处理Cookie和Session：Requestium会自动处理Cookie和Session，方便进行登录等操作。
五.缺点：
1.需要安装多个库：Requestium需要同时安装Requests和Selenium两个库，安装过程稍微复杂一些。
2.切换引擎可能造成混淆：Requestium需要在不同引擎之间切换，对于初学者可能造成混淆。
3.解析速度可能较慢：由于Selenium需要加载整个网页，包括JavaScript、CSS、图片等，解析速度可能比纯Requests慢一些。
4.浏览器依赖性较强：Selenium依赖于特定版本的浏览器，如果浏览器更新可能导致一些问题
文中访问的127.0.0.1:8090 为自己写的服务，代码如下
import socket
sock = socket.socket()
sock.bind(("127.0.0.1", 8090))
sock.listen(5)
while 1:
conn, addr = sock.accept() # 阻塞等待客户端连接
data = conn.recv(1024)
print("客户端发送的请求信息:\n",data)
conn.send(b'HTTP/1.1 200 ok\r\nserver:localhost\r\ncontent-type:application/json\r\n\r\n{"hello":"Requestium"}')
conn.close()