Python爬蟲 爬蟲數據去重方案
一.課程介紹
爬蟲中的去重處理課程介紹.mp4
二.去重應用場景及其基本原理
2.爬蟲中的去重應用場景.mp4
3.去重原理之判斷依據.mp4
4.去重原理之去重容器.mp4
5.判斷依據之原始數據與原始數據特征.mp4
6.去重容器類型介紹.mp4

三.基于信息摘要算法的去重
9.去重過濾器基類實現.mp4
8.信息摘要算法實現方案介紹.mp4
7.信息摘要算法介紹.mp4
14.優化基于mysq|實現的去重過濾器mp4
13.實現并測試基于mysql的去重過濾器mp4
12 .實現并測試基于redis中無序集合的去重過濾器.mp4
11.測試基于python中set的去重過濾器.mp4
10.實現基于python中set的去重過濾器.mp4

四.基于simhash算法的去重
15.simhash算法去重方案及其應用場景介紹.mp4
16.基于simhash算法的去重原理.mp4
17.simhash模塊使用(- - ) .mp4
18.simhash模塊使用(二).mp4

五.布隆過濾器原理與實現
19.布隆過濾器介紹.mp4
20.布隆過濾器實現原理.mp4
21.布隆過濾器實現原理補充.mp4
22.pybloom模塊介紹.mp4
23.redis版布隆過濾器實現之計算多個hash值.mp4
24.redis版布隆過濾器實現之hash表的原理.mp4
25.redis版布隆過濾器實現之模塊封裝. mp4

六.總結