Threading Crawler

採用 Python 多執行緒模組加速網頁爬蟲，以 IMDb 網站為例。

Prerequisites

Python3, Requests, Beautifulsoup4, Pandas

Description

movie_linking.py: 整合電影特徵資料集與 IMDb 主頁索引
IMDb_crawler.py: 基於每部電影的主頁索引，以 Python Threading 模組同時爬取複數網頁內容

Dataset

MovieLens 25M 其中的 movies.csv 和 links.csv 兩個電影特徵資料集
- movies.csv: 包含 62423 部相異電影，每部電影具有 movieId, title, genres 等特徵（部分有誤或缺漏）
- links.csv: 每部電影分別對應的 IMDb 主頁索引

Output

movies_extended.csv: 保留 movies.csv 和 links.csv 的原始特徵，再追加 year, genres, grade, picture 等新特徵

Authors

Magic8763

License

This project is licensed under the MIT License