Basketball-referees-foul-gesture-recognition-system

籃球裁判追蹤及犯規手勢辨識系統

Abstract:

有鑑於現今籃球比賽犯規紀錄繁雜，紀錄台人員需耗費大量心力在比對裁判的判決，為避免人為判斷的疏失，故本系統使用AI 影像辨識來追蹤裁判及學習裁判犯規的手勢，期許此系統可以幫助紀錄台人員的工作，降低人力成本，增加比賽進行的效率。

我將實際的籃球比賽影片作為資料，以YOLOv5追蹤裁判位置，再針對籃球常見的四種犯規(阻擋、推人、拉手、進攻犯規)以mediapipe擷取身體結點，透過KNN model trainnig，最後結合完成裁判追蹤及犯規手勢辨識的系統。

Result:

Boxing the referee with a foul label and its predicted percentage:

Demo Video:

Final_all_foul_test_demo.mp4

Demo Videos for each foul on Youtube>>>CLICK HERE

Methods:

1. 追蹤裁判:

1.1. 蒐集資料: 從youtube上抓取影片，並使用PowerPoint 和 PicPick擷取連續動作的圖片。

2.2. 前處理資料: 使用Labelimg 抓取各別裁判人員的特徵(ex: 裁判服裝)，以得到Label座標值txt檔。
2.3. 並使用YOLOv4(可以商業化), YOLOv5(減少訓練時間80%) 訓練處理後的資料，以成功追蹤裁判的位置

2. 犯規手勢辨識:

2.1. 蒐集資料: 從youtube上抓取影片，並使用PowerPoint 和 PotPlayer擷取連續動作的圖片。

2.2. 資料前處理：標準化

2.3. 使用KNN Model 訓練處理後的圖片資料，以辨識裁判犯規手勢的結果。
　　　　

**（因為犯規動作通常都是一段連續動作，我們抓7個frame判斷皆為同一犯規動作時才顯示Label結果）