mdm
Opis Link to heading
MDM (ML Data Manager) to samodzielny, przedsiębiorczy system zarządzania danymi dla uczenia maszynowego. Narzędzie oferuje wsparcie dla wielu backendów bazodanowych, w tym SQLite, DuckDB i PostgreSQL. Umożliwia zaawansowaną inżynierię cech z dwupoziomowym systemem transformatorów. Automatycznie wykrywa typy kolumn oraz rozpoznaje struktury zestawów danych z Kaggle. Obsługuje eksport do formatów CSV, Parquet i JSON z opcjami kompresji. Dostarcza zarówno interfejs wiersza poleceń (CLI), jak i programowy interfejs API w Pythonie. System jest zoptymalizowany pod kątem wydajności, obsługując przetwarzanie wsadowe i śledzenie postępu. Konfiguracja jest hierarchiczna, z możliwością nadpisywania zmiennymi środowiskowymi. Projekt charakteryzuje się wysokim pokryciem testów wynoszącym 95,4%. Jest to stabilna wersja produkcyjna przeznaczona do zarządzania dużymi zbiorami danych.