Python爬虫之动态页面案例分析（一）

× 文章目录
  1. 1. 前言：
  2. 2. 题目：
  3. 3. 背景知识补充：
  4. 4. 思路：
  5. 5. 代码编写：
    1. 5.1. 声明
    2. 5.2. 导入
    3. 5.3. 主函数编写
    4. 5.4. 网站请求函数编写
    5. 5.5. 数据处理函数编写
  6. 6. 最终代码展示
  7. 7. 最终效果展示

前言：

在周末抽空看了一天的爬虫教程，对于静态的网站能利用正则表达等进行简单的爬取，这次主要把重心放到爬取动态页面上，同时对于文件的处理也略有思考，所以在此记录一下

题目：

爬取上交所每日股票情况的数据，将表格中的原始数据进行处理如图，方便转成DataFrame使用

背景知识补充：

JSON

概述

JSON是一种取代XML的数据结构,和xml相比,它更小巧但描述能力却不差,由于它的小巧所以网络传输数据将减少更多流量从而加快速度。

语法规范

JSON 的语法规则十分简单，可称得上“优雅完美”，总结起来有：
数组（Array）用方括号(“[]”)表示。
对象（Object）用大括号（”{}”）表示。
名称/值对（name/value）组合成数组和对象。
名称（name）置于双引号中，值（value）有字符串、数值、布尔值、null、对象和数组。
并列的数据之间用逗号（“,”）分隔

实例

JSON 数据的书写格式是：名称/值对。

名称/值对组合中的名称写在前面（在双引号中），值对写在后面，中间用冒号隔开，

其中 值 可以是：数字（整数或浮点数）、字符串（在双引号中）、布尔值（true或false）、数组（在方括号中）、对象（在花括号中）、null

varjson= {“password”:123456,”name”:”myname”,”Booleans”:true,”Array”:[x,y,z],”object”:{}}

或者是嵌套使用

与python字典的互相转换

  1. 用到的库

    json

  2. 用到的方法

    dumps()：将字典转换为JSON格式的字符串

    loads()：将JSON格式的字符串转化为字典

    dump()：将字典转换为JSON格式的字符串，并将转化后的结果写入文件

    load()：从文件读取JSON格式的字符串，并将其转化为字典

  3. 实例

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    import json

    #json 转python字典
    j='{"city":"北京","ss":"天京"}'
    p=json.loads(j)
    print(type(p))
    #字典转json
    d={"city":"北京","ss":"天京"}
    ss=json.dumps(d,ensure_ascii=False) #不转成Ascii码
    print(ss)

思路：

首先观察我们需要的数据位置，发现并不在起初的静态页面上

image-20201128212117296

经过一番查找，咱们总算是找到数据存在的位置

image-20201128214416173

好，那么接下来我们观察数据的格式，发现比咱们期望得到的json格式多了个jsoncallback，这里考虑用strip()函数去除不符合json格式的字符，这样剩下来的就是json格式的文件，便于我们转换成python字典

代码编写：

声明

在编写代码之前加一串声明头，是一个不错的好习惯

1
2
3
4
5
# -*- codeing = utf-8 -*-
# @Time : 2020/11/27 20:18
# @Author : smallwolf
# @File : stockcrawler.py
# @Software: PyCharm

导入

本次编码由于不需要保存和正则查找，所以只需要导入json以及requests就行

主函数编写

思路

先爬取网页的数据，也就是咱们把上面找到需要的网站数据给爬下来

接着将爬取下来的数据保存在一个新的字典中

最后print出来检测一下

代码

1
2
3
4
def main():
    url = "http://query.sse.com.cn/commonQuery.do?jsonCallBack=jsonpCallback68898&searchDate=&sqlId=COMMON_SSE_SJ_GPSJ_CJGK_DAYCJGK_C&stockType=90&_=1606219120118"
    datadict = processdata(url)
    print(datadict)

网站请求函数编写

思路

先编写headers（否则会被网站识别是爬虫而拒绝访问，尤其要注意添加referer，否则无法正常访问）

其次调用requests库

最后将数据以text格式保存在data中

代码

1
2
3
4
5
6
7
8
9
def askurl(url):
    headers = {
        "Referer": "http://www.sse.com.cn/",
        "User-Agent": "************",
        "Cookie": "*********"
    }
    res = requests.get(url,headers=headers)
    data = res.text
    return data

数据处理函数编写

思路

首先我们需要将data内容转换为json格式

其次将json文档转换为python字典

接着将字典中需要的字段转换为中文

然后挑选出我们需要的字段形成字典（创建一个需要字段的字典进行遍历）

最后整合一下就好啦

源码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
def processdata(url):
    data = askurl(url)
    datadict = {}
    data1 = data.strip("jsonpCallback68898()")
    stock_data = json.loads(data1, strict=False)
    stock_result = stock_data['result']
    require_key = {'挂牌数', '市价总值(亿元)', '流通市值(亿元)', '成交⾦额(亿元)', '成交量(亿股/亿份)', '平均市盈率(倍)', '成交笔数(万笔)', '换⼿率(%)',
                   '次新股换⼿率(%)', '流通换⼿率(%)', }
    for i in range(len(stock_result)):
        stock_result[i]['挂牌数'] = stock_result[i].pop('TX_NUM')
        stock_result[i]['市价总值(亿元)'] = stock_result[i].pop('MKT_VALUE')
        stock_result[i]['流通市值(亿元)'] = stock_result[i].pop('NEGOTIABLE_VALUE')
        stock_result[i]['成交⾦额(亿元)'] = stock_result[i].pop('TX_AMOUNT')
        stock_result[i]['成交量(亿股/亿份)'] = stock_result[i].pop('TX_VOLUME')
        stock_result[i]['成交笔数(万笔)'] = stock_result[i].pop('TRADING_TX')
        stock_result[i]['平均市盈率(倍)'] = stock_result[i].pop('AVG_PROFIT_RATE')
        stock_result[i]['换⼿率(%)'] = stock_result[i].pop('TOTAL_MK_CAP_RATE')
        stock_result[i]['次新股换⼿率(%)'] = stock_result[i].pop('SUB_NEW_STOCK_RATE')
        stock_result[i]['流通换⼿率(%)'] = stock_result[i].pop('EXCHANGE_RATE')
    for i in range(len(stock_result)):
        if stock_result[i]['PRODUCT_TYPE'] == '1':
            b1 = {key: value for key, value in stock_result[i].items() if key in require_key}
            datadict['主板A'] = b1
        elif stock_result[i]['PRODUCT_TYPE'] == '40':
            b2 = {key: value for key, value in stock_result[i].items() if key in require_key}
            datadict['股票'] = b2
        elif stock_result[i]['PRODUCT_TYPE'] == '2':
            b3 = {key: value for key, value in stock_result[i].items() if key in require_key}
            datadict['主板B'] = b3
        elif stock_result[i]['PRODUCT_TYPE'] == '43':
            b4 = {key: value for key, value in stock_result[i].items() if key in require_key}
            datadict['科创板'] = b4
        else :
            b5 = {key: value for key, value in stock_result[i].items() if key in require_key}
            datadict['股票回购'] = b5
    b1 = {key:value for key, value in stock_result[0].items() if key in require_key}
    return datadict

最终代码展示

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
# -*- codeing = utf-8 -*-
# @Time : 2020/11/25 20:18
# @Author : smallwolf
# @File : stockcrawler.py
# @Software: PyCharm

import requests
import json
def main():
    url = "http://query.sse.com.cn/commonQuery.do?jsonCallBack=jsonpCallback68898&searchDate=&sqlId=COMMON_SSE_SJ_GPSJ_CJGK_DAYCJGK_C&stockType=90&_=1606219120118"
    #爬取网页数据
    datadict = processdata(url)
    print(datadict)

def askurl(url):
    # 模拟浏览器头部信息向网站发送请求
    headers = {
        "Referer": "http://www.sse.com.cn/",
        "User-Agent": "Mozilla/5.0(Windows NT 10.0;Win64;x64) AppleWebKit/537.36(KHTML, likeGecko)Chrome/87.0.4280.66Safari/537.36Edg/87.0.664.41",
        "Cookie": "yfx_c_g_u_id_10000042=_ck20112012580217653102134906192; VISITED_MENU=%5B%228312%22%2C%228451%22%2C%228453%22%2C%228466%22%5D; yfx_f_l_v_t_10000042=f_t_1605848282753__r_t_1606128624834__v_t_1606132807487__r_c_3"
    }
    #得到目标网页信息
    res = requests.get(url,headers=headers)
    data = res.text
    return data

def processdata(url):
    data = askurl(url)
    datadict = {}
    #将data内容转换为json格式
    data1 = data.strip("jsonpCallback68898()")
    #将json文档转换为python字典
    stock_data = json.loads(data1, strict=False)
    stock_result = stock_data['result']
    require_key = {'挂牌数', '市价总值(亿元)', '流通市值(亿元)', '成交⾦额(亿元)', '成交量(亿股/亿份)', '平均市盈率(倍)', '成交笔数(万笔)', '换⼿率(%)',
                   '次新股换⼿率(%)', '流通换⼿率(%)', }
    #将字典中需要的字段转化为中文
    for i in range(len(stock_result)):
        stock_result[i]['挂牌数'] = stock_result[i].pop('TX_NUM')
        stock_result[i]['市价总值(亿元)'] = stock_result[i].pop('MKT_VALUE')
        stock_result[i]['流通市值(亿元)'] = stock_result[i].pop('NEGOTIABLE_VALUE')
        stock_result[i]['成交⾦额(亿元)'] = stock_result[i].pop('TX_AMOUNT')
        stock_result[i]['成交量(亿股/亿份)'] = stock_result[i].pop('TX_VOLUME')
        stock_result[i]['成交笔数(万笔)'] = stock_result[i].pop('TRADING_TX')
        stock_result[i]['平均市盈率(倍)'] = stock_result[i].pop('AVG_PROFIT_RATE')
        stock_result[i]['换⼿率(%)'] = stock_result[i].pop('TOTAL_MK_CAP_RATE')
        stock_result[i]['次新股换⼿率(%)'] = stock_result[i].pop('SUB_NEW_STOCK_RATE')
        stock_result[i]['流通换⼿率(%)'] = stock_result[i].pop('EXCHANGE_RATE')
    #处理原始数据成为想要的格式，方便转成DataFrame使用
    for i in range(len(stock_result)):
        if stock_result[i]['PRODUCT_TYPE'] == '1':
            b1 = {key: value for key, value in stock_result[i].items() if key in require_key}
            datadict['主板A'] = b1
        elif stock_result[i]['PRODUCT_TYPE'] == '40':
            b2 = {key: value for key, value in stock_result[i].items() if key in require_key}
            datadict['股票'] = b2
        elif stock_result[i]['PRODUCT_TYPE'] == '2':
            b3 = {key: value for key, value in stock_result[i].items() if key in require_key}
            datadict['主板B'] = b3
        elif stock_result[i]['PRODUCT_TYPE'] == '43':
            b4 = {key: value for key, value in stock_result[i].items() if key in require_key}
            datadict['科创板'] = b4
        else :
            b5 = {key: value for key, value in stock_result[i].items() if key in require_key}
            datadict['股票回购'] = b5
    b1 = {key:value for key, value in stock_result[0].items() if key in require_key}
    return datadict

if __name__ == "__main__":    #当函数执行时
#调用函数
    main()

最终效果展示

image-20201128224317066

赏

感谢请我喝奶茶

支付宝

扫一扫，分享到微信

微信分享二维码

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

我不是一个很有野心的人<br>理想的生活不是赚大钱也不是要出名<br>只想有那么一个地方是属于我的<br>想自己一个人或是和爱人一同布置它<br>想那个地方能有一只可爱的柴柴<br>想醒来第一眼就能看到我所爱的人<br>想难过时能有那么一个怀抱可以投入<br>想同其一道看电影<br>看着银幕上的俊男靓女终成一对而相视一笑<br>想同其一道读书<br>读到有意思的地方拍拍对方说“喂，你看”<br>想同其一道听音乐<br>从蓝调到摇滚从乡村到流行<br>最想告诉其张晓风的一句话<br>树在，山在，大地在，岁月在，我在，你还要一个怎样更好的世界。<br>我知道这不算奢求的生活并不容易<br>所以还要努力啊