Python爬蟲 爬蟲請(qǐng)求管理
一.課程介紹
1.爬蟲中的請(qǐng)求管理課程概要.mp4
二.請(qǐng)求管理簡(jiǎn)介

2.請(qǐng)求管理簡(jiǎn)介.mp4
3.請(qǐng)求去重管理簡(jiǎn)介.mp4
4.去重方案代碼調(diào)用.mp4
5.請(qǐng)求去重的判斷依據(jù)與實(shí)現(xiàn)邏輯.mp4
6.請(qǐng)求去重代碼初步實(shí)現(xiàn).mp4
7.請(qǐng)求判斷依據(jù)數(shù)據(jù)處理邏輯分析.mp4
8.請(qǐng)求判斷依據(jù)數(shù)據(jù)處理邏輯實(shí)現(xiàn).mp4
9.請(qǐng)求去重模塊測(cè)試(一) .mp4
10.請(qǐng)求去重模塊測(cè)試(二) .mp4
11.請(qǐng)求緩沖與調(diào)度管理分析.mp4
12.請(qǐng)求調(diào)度原理分析.mp4
三.隊(duì)列與Python
13.python中臨時(shí)隊(duì)列介紹.mp4
14.python中持久化隊(duì)列介紹.mp4
15.基于redis實(shí)現(xiàn)隊(duì)列的原理. mp4
16.基于redis實(shí)現(xiàn)FIFO、LIFO隊(duì)列.mp4
17.基于redis實(shí)現(xiàn)優(yōu)先級(jí)隊(duì)列的原理.mp4
18.基于redis的優(yōu)先級(jí)隊(duì)列實(shí)現(xiàn).mp4
19.redis共享資源競(jìng)爭(zhēng)問題.mp4
20.redis共享資源競(jìng)爭(zhēng)問題解決方案.mp4
21.redis分布式鎖實(shí)現(xiàn)原理.mp4
22.redis分布式鎖注意實(shí)現(xiàn)以及死鎖.mp4
23.redis分布式鎖實(shí)現(xiàn).mp4
24.redis分布式鎖使用測(cè)試與bug調(diào)試.mp4
25.redis分布式鎖實(shí)現(xiàn)(補(bǔ)充) .mp4
26.解決redis優(yōu)先級(jí)隊(duì)列中的資源競(jìng)爭(zhēng)問題.mp4
27.redis優(yōu)先級(jí)隊(duì)列測(cè)試與總結(jié).mp4
28.請(qǐng)求管理整體實(shí)現(xiàn)方案分析.mp4
29.請(qǐng)求管理代碼實(shí)現(xiàn)分析.mp4
30.請(qǐng)求管理模塊使用測(cè)試.mp4

四.消息隊(duì)列與Python
32.消息隊(duì)列介紹.mp4
33.kafka工作原理介紹(一) .mp4
34.kafka工作原理介紹(二) .mp4
35.kafka工作原理介紹(三) .mp4
36.kafka工作環(huán)境搭建介紹.mp4
37.利用docker-compose啟動(dòng)kafka.mp4
38.confluent-kafka-python安裝與使用.mp4
39.Docker中利用橋接網(wǎng)絡(luò)模式啟動(dòng)kafka.mp4
40.kafka的分區(qū)特征介紹.mp4
41.向指定的分區(qū)生產(chǎn)和消費(fèi)數(shù)據(jù)mp4
42.kafka的消費(fèi)者組的特征.mp4
43.kafka中消費(fèi)者數(shù)量與topic分區(qū)數(shù)之間的關(guān)系.mp4
44.abbitmq工作原理介紹.mp4
45.rabbitmq工作環(huán)境搭建介紹.mp4
46.基于pika實(shí)現(xiàn)生產(chǎn)者與消費(fèi)者.mp4
47.rabbitmq中隊(duì)列的特征.mp4
48.rabbitmq中消費(fèi)者的ack確認(rèn)機(jī)制.mp4
49.rabbitmq中的直連交換機(jī).mp4
50.rabbitmq中的主題交換機(jī).mp4
51.rabbitmq中的扇形交換機(jī).mp4
52.rabbitmq中的首部交換機(jī).mp4
53.消息隊(duì)列與請(qǐng)求管理實(shí)現(xiàn)總結(jié).mp4

五.斷點(diǎn)績爬與增量抓取
54.利用請(qǐng)求管理實(shí)現(xiàn)斷點(diǎn)續(xù)爬、增量抓取的思路分析.mp4

六.總結(jié)