Python爬蟲實戰(zhàn)案例：取喜馬拉雅音頻數據詳解

老三的休閑書屋 2020-12-07

展開全文

前言

今天帶大家爬取喜馬拉雅音頻數據，一起期待吧?。?/span>

這個案例的視頻地址在這里

https://v.douyu.com/show/a2JEMJj3e3mMNxml

項目目標

爬取喜馬拉雅音頻數據

受害者地址

https://www.ximalaya.com/

本文知識點：

1、系統(tǒng)分析網頁性質
2、多層數據解析
3、海量音頻數據保存

環(huán)境：

python 3.6
pycharm
requests
parsel

思路：(爬蟲案例)

1.確定數據所在的鏈接地址(url)
2.通過代碼發(fā)送url地址的請求
3.解析數據(要的, 篩選不要的)
4.數據持久化(保存)

案例思路：

1. 在靜態(tài)數據中獲取音頻的id值
2. 發(fā)送指定id值json數據請求(src)
3. 從json數據中解析音頻所對應的URL地址

開始寫代碼

先導入所需的模塊

import requestsimport parsel # 數據解析模塊import re

1.確定數據所在的鏈接地址(url) 逆向分析網頁性質(靜態(tài)網頁/動態(tài)網頁)

打開開發(fā)者工具，播放一個音頻，在Madie里面可以找到一個數據包

復制URL，搜索

找到ID值

繼續(xù)搜索，找到請求頭參數

url = 'https://www.ximalaya.com/youshengshu/4256765/p{}/'.format(page)headers = {    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'}

2.通過代碼發(fā)送url地址的請求

response = requests.get(url=url, headers=headers)html_data = response.text

3.解析數據(要的, 篩選不要的) 解析音頻的 id值

selector = parsel.Selector(html_data)lis = selector.xpath('//div[@class='sound-list _is']/ul/li')for li in lis:    try:        title = li.xpath('.//a/@title').get() + '.m4a'        href = li.xpath('.//a/@href').get()        # print(title, href)        m4a_id = href.split('/')[-1]        # print(href, m4a_id)        # 發(fā)送指定id值json數據請求(src)        json_url = 'https://www.ximalaya.com/revision/play/v1/audio?id={}&ptype=1'.format(m4a_id)        json_data = requests.get(url=json_url, headers=headers).json()        # print(json_data)        # 提取音頻地址        m4a_url = json_data['data']['src']        # print(m4a_url)        # 請求音頻數據        m4a_data = requests.get(url=m4a_url, headers=headers).content        new_title = change_title(title)

4.數據持久化(保存)

with open('video\\' + new_title, mode='wb') as f: f.write(m4a_data) print('保存完成:', title)

最后還要處理文件名非法字符

def change_title(title):    pattern = re.compile(r'[\/\\\:\*\?\'\<\>\|]')  # '/ \ : * ? ' < > |'    new_title = re.sub(pattern, '_', title)  # 替換為下劃線    return new_title

完整代碼

import reimport requestsimport parsel  # 數據解析模塊def change_title(title):    '''處理文件名非法字符的方法'''    pattern = re.compile(r'[\/\\\:\*\?\'\<\>\|]')  # '/ \ : * ? ' < > |'    new_title = re.sub(pattern, '_', title)  # 替換為下劃線    return new_titlefor page in range(13, 33):    print('---------------正在爬取第{}頁的數據----------------'.format(page))    # 1.確定數據所在的鏈接地址(url)  逆向分析  網頁性質(靜態(tài)網頁/動態(tài)網頁)    url = 'https://www.ximalaya.com/youshengshu/4256765/p{}/'.format(page)    headers = {        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'}    # 2.通過代碼發(fā)送url地址的請求    response = requests.get(url=url, headers=headers)    html_data = response.text    # print(html_data)    # 3.解析數據(要的, 篩選不要的)  解析音頻的  id值    selector = parsel.Selector(html_data)    lis = selector.xpath('//div[@class='sound-list _is']/ul/li')    for li in lis:        try:            title = li.xpath('.//a/@title').get() + '.m4a'            href = li.xpath('.//a/@href').get()            # print(title, href)            m4a_id = href.split('/')[-1]            # print(href, m4a_id)            # 發(fā)送指定id值json數據請求(src)            json_url = 'https://www.ximalaya.com/revision/play/v1/audio?id={}&ptype=1'.format(m4a_id)            json_data = requests.get(url=json_url, headers=headers).json()            # print(json_data)            # 提取音頻地址            m4a_url = json_data['data']['src']            # print(m4a_url)            # 請求音頻數據            m4a_data = requests.get(url=m4a_url, headers=headers).content            new_title = change_title(title)            # print(new_title)            # 4.數據持久化(保存)            with open('video\\' + new_title, mode='wb') as f:                f.write(m4a_data)                print('保存完成:', title)        except:            pass