手把手教你使用 Python 網絡爬蟲獲取 B 站視頻選集內容（附源碼）

    大家好，我是 Python 進階者。

前言

    前幾天雪球兄在 Python 交流羣裏分享了一個獲取 B 站視頻選集的 Python 代碼，小編覺得非常奈斯，這裏整理成一篇小文章，分享給大家學習。

    關於雪球兄，大家應該都熟悉了，之前他寫過 Python 實戰文章，好評如潮，沒來得及看的小夥伴，可以戳這裏了：

盤點常用驗證碼標註和識別項目線上部署三種方式——VUE 前端、Java 後端和 Python 後端部署

Python 項目實戰篇——常用驗證碼標註 & 識別 (CNN 神經網絡模型訓練 / 測試 / 部署)

Python 項目實戰篇——常用驗證碼標註 & 識別 (前端 + 後端實現高效率數據標註)

Python 項目實戰篇——常用驗證碼標註 & 識別 (數據採集 / 預處理 / 字符圖切割）

Python 項目實戰篇——常用驗證碼標註和識別 (需求分析和實現思路)

    之前也有給大家分享 B 站的一些文章，感興趣的話可以看看這個文章，Python 網絡爬蟲 + 數據分析：手把手教你用 Python 網絡爬蟲獲取 B 站 UP 主 10 萬條數據並用 Pandas 庫進行趣味數據分析。

一、背景引入

    一提到 B 站，第一印象就是視頻，相信很多小夥伴和我一樣，都想着去利用網絡爬蟲技術獲取 B 站的視頻吧，但是 B 站視頻其實沒有那麼好拿到的，關於 B 站的視頻獲取，之前有介紹通過 you-get 庫進行實現，感興趣的小夥伴可以看這篇文章：You-Get 就是這麼強勢！。

    言歸正傳，經常在 B 站上學習的小夥伴們可能經常會遇到有的博主連載幾十個，甚至幾百個視頻，尤其像這種編程語言、課程、工具使用等連續的教程，就會出現選集系列，如下圖所示。

    當然這些選集的字段我們肉眼也是可以看得到的。只是通過程序來實現的話，可能真沒有想象的那麼簡單。那麼這篇文章的目標呢，就是通過 Python 網絡爬蟲技術，基於 selenium 庫，實現視頻選集的獲取。

二、具體實現

    這篇文章我們用的庫是 selenium，這個是一個用於模擬用戶登錄的庫，雖然給人的感覺是慢，但是在網絡爬蟲領域，這個庫還是用的蠻多的，用它來模擬登錄、獲取數據屢試不爽。下面是實現視頻選集採集的所有代碼，歡迎大家親自動手實踐。

# coding: utf-8
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
class Item:
    page_num = ""
    part = ""
    duration = ""
    def __init__(self, page_num, part, duration):
        self.page_num = page_num
        self.part = part
        self.duration = duration
    def get_second(self):
        str_list = self.duration.split(":")
        sum = 0
        for i, item in enumerate(str_list):
            sum += pow(60, len(str_list) - i - 1) * int(item)
        return sum
def get_bilili_page_items(url):
    options = webdriver.ChromeOptions()
    options.add_argument('--headless')  # 設置無界面
    options.add_experimental_option('excludeSwitches', ['enable-automation'])
    # options.add_experimental_option("prefs", {"profile.managed_default_content_settings.images": 2,
    #                                           "profile.managed_default_content_settings.flash": 0})
    browser = webdriver.Chrome(options=options)
    # browser = webdriver.PhantomJS()
    print("正在打開網頁...")
    browser.get(url)
    print("等待網頁響應...")
    # 需要等一下，直到頁面加載完成
    wait = WebDriverWait(browser, 10)
    wait.until(EC.visibility_of_element_located((By.XPATH, '//*[@class="list-box"]/li/a')))
    print("正在獲取網頁數據...")
    list = browser.find_elements_by_xpath('//*[@class="list-box"]/li')
    # print(list)
    itemList = []
    second_sum = 0
    # 2.循環遍歷出每一條搜索結果的標題
    for t in list:
        # print("t text:",t.text)
        element = t.find_element_by_tag_name('a')
        # print("a text:",element.text)
        arr = element.text.split('\n')
        print(" ".join(arr))
        item = Item(arr[0], arr[1], arr[2])
        second_sum += item.get_second()
        itemList.append(item)
    print("總數量:", len(itemList))
    # browser.page_source
    print("總時長/分鐘:", round(second_sum / 60, 2))
    print("總時長/小時:", round(second_sum / 3600.0, 2))
    browser.close()
    return itemList
get_bilili_page_items("https://www.bilibili.com/video/BV1Eb411u7Fw")

    這裏用到的選擇器是 xpath，利用視頻示例是 B 站的《高等數學》同濟版 全程教學視頻（宋浩老師）視頻選集，大家如果想抓取其他視頻選集的話，只需要更改上述代碼的最後一行的 URL 鏈接即可。

三、常見問題

    在運行過程中小夥伴們應該會經常遇到這個問題，如下圖所示。

    這個是因爲谷歌驅動版本問題導致的，只需要根據提示，去下載對應的驅動版本即可，驅動下載鏈接：

https://chromedriver.storage.googleapis.com/index.html

四、總結

    我是 Python 進階者。這篇文章主要給大家介紹了 B 站視頻選集內容的獲取方法，基於網絡爬蟲，通過 selenium 庫和 xpath 選擇器進行實現，並且給大家例舉了常見問題的處理方法。小夥伴們，快快用實踐一下吧！如果在學習過程中，有遇到任何問題，歡迎加我好友，我拉你進 Python 學習交流羣共同探討學習。

本文由 Readfog 進行 AMP 轉碼，版權歸原作者所有。
來源：https://mp.weixin.qq.com/s/sEMtFz8QRGGnJAAIe-F_3g

猜你喜歡