Yauntyour's blog

AceL-OS Yauntyour

0%

redstone爬虫框架发行说明

Posted on Edited on

具备简单的集成性基础功能。

包含以下内容:

1、使用帮助文档

2、发行说明

3、相关信息

1、使用帮助文档

该框架支持以下操作：

注：POST,GET支持最小化内存消耗，so，直接加设多线程效率更高

1
2
3
4
5
6
7
8
9
10
11
12
#POST请求
post(url=url,mode=mode,json=json,FilePath=FilePath)
#GET请求
get(url=self.url,mode=self.mode)
#向网站获取Cookie
cookies(url)
#从Cookie池中获取
cookie()
#简易代理池
IP()
IP_make()
#其他事项可通过翻看源码了解

2、发行说明

对于懒的小伙伴可以Ctrl+C/V，这是一个相对比较完善的封装

3、相关信息

开发环境为 Python 3.8.2

外部扩展库依赖：random，re，request，urllib，http，os，time，tqdm，chardet，threading

作者：yauntyour

Github：https://github.com/yauntyour/redston