Python爬虫案例分析（二）

前言：

最近整理各类漏洞的学习总结，需要参考他人的文章，然而先知社区的关键词搜索老是搜到一些奇奇怪怪的东西，由于懒得一页一页翻，于是打算自己写一个python脚本（老懒狗了），正好锻炼锻炼python写脚本的能力。

源码：

# -*- codeing = utf-8 -*-
# @Time : 2021/03/09 19:30
# @Author : smallwolf
# @File : 爬取漏洞总结.py
# @Software: PyCharm

import requests
import re
from bs4 import BeautifulSoup

def main():
    baseurl = "https://xz.aliyun.com/node/16?page="
    getData(baseurl)


key = input("请输入关键词： ")
findkey = re.compile('<a([\s\S]*%s.*)</a>' % (key))
findherf = re.compile('[\s\S]href="(.*)">[\s\S](.*)')
findtitle = re.compile(r"n\s+(.*)'")
findlink = re.compile(r"(/t/\d{4})")

def askURL(url):
    res = requests.get(url)
    return res

def getData(baseurl):
    for i in range(1,26):
        url = baseurl + str(i)
        html = askURL(url)

        soup = BeautifulSoup(html.content,"html.parser")
        for title in soup.find_all(class_="topic-title"):
            keywords = re.findall(findkey,str(title))
            herf = re.findall(findherf,str(keywords))
            if herf:
                titlename ="   " + re.findall(findtitle,str(herf))[0]
                link ="https://xz.aliyun.com" + re.findall(findlink,str(herf))[0]
                print(link + titlename)



if __name__ == "__main__":
    main()

赏

感谢请我喝奶茶

支付宝