twister

twitter-scraperweb-scrapingdeduplicationsemantic-searchfastapisqliteqdrantcontent-curation

Opis Link to heading

Twister to lokalny prototyp do zbierania tweetów z feedu „For You” na X/Twitterze. Pobieranie treści odbywa się przez połączenie CDP z przeglądarką albo przez Selenium, bez użycia oficjalnego API. Dane są deduplikowane w SQLite i mogą być uzupełniane o embeddingi w Qdrant. Interfejs HTTP pozwala przeglądać tweety pojedynczo i oceniać je, a oceny wpływają na wagi tagów używane przy dalszej selekcji. Aplikacja działa lokalnie i może korzystać z modeli embeddingów offline.

Linki Link to heading