twister
Opis Link to heading
Twister to modularny monolit MVP służący do zbierania tweetów z sekcji „For You” na platformie X/Twitter. Aplikacja wykorzystuje bezpośrednie połączenie CDP z przeglądarką lub Selenium do scrapowania treści bez użycia oficjalnego API. Zbierane dane są deduplikowane za pomocą bazy SQLite oraz wektorowej bazy Qdrant. System oferuje interfejs HTTP do przeglądania tweetów po jednym, z możliwością oceniania ich. Ocenianie wpływa na wagę tagów, co dynamicznie dostosowuje ranking przyszłych tweetów. Aplikacja działa lokalnie, nie wymaga autoryzacji i obsługuje tryb offline dla modeli embeddingów. Domyślnie uruchamia zadania planowane do zbierania danych oraz zarządzania retencją.