Twitter Hashtag Following Stream Job

Bu repo, Twitterdan hashtag e bağlı verileri canlı olarak almak için yazılmış olan bir job script içermektedir. Aldığı tweetleri anlık olarak AWS RDB üzerinde bir postgresql e kayıt etmektedir. Anlık çekilen veriler Social Content Analysis Application için kullanılacaktır. Modülde bulunan HASHTAG değişkeni, kullanıcının toplamak istediği tweet'lerde bulunmasını istediği hashtag'i belirtir.

Tablo Yapısı

• id: Birincil anahtar ve seri olarak artan tweet kimliği.

• device: Tweet'in gönderildiği cihazın adı.

• tweet_url: Tweet'in URL'si (benzersiz ve boş olamaz).

• user_url: Tweet'i gönderen kullanıcının profili.

• user_location: Kullanıcının coğrafi konumu.

• username: Tweet'i gönderen kullanıcının adı (boş olamaz).

• content: Tweet'in içeriği (boş olamaz).

• publish_date: Tweet'in yayınlanma tarihi.

• created_date: Veritabanına eklendiği tarih ve saat.

• hashtags: Tweet'teki hashtag'ler (boş olamaz). .

Ayrıca, model msticpy.data.data_obfus modülündeki hash_string() ve hash_account() fonksiyonlarını tweet verilerini anonimleştirmek için kullanır. Bu fonksiyonlar, KVKK - Kvkk 28.1 c gereği bir gizlilik önlemi olarak kullanılır.

Teknolojiler

Kullanılan teknolojiler:

• PostgreSQL - RDBMS database
• Python - Python versiyon: 3.10

Gereksinimler

Lütfen Python sürümünüzü 3.10 olarak ayarlayın:

python --version

• Virtualenv kurulumu:

pip install virtualenv

• Virtualenv oluşturma:

virtualenv venv

• Virtualenv'i aktif hale getirme:

source venv/bin/activate

• Kütüphanelerin kurulumu:

pip install -r requirements.txt

İşi Çalıştırma

python main.py

---