Převod souboru XLS do ARFF

Weka běžně používá ARFF, když je třeba načíst data z tabulky jako dataset strojového učení s deklarovanými atributy a hodnotami. Konverze se obvykle provádí při přípravě tabulky Excelu pro Weka Explorer, Experimenter, KnowledgeFlow nebo kód založený na Weka.

Co obsahuje XLS

XLS je binární formát sešitů Microsoft Excel 97–2003. Microsoft Excel, LibreOffice Calc, Apache OpenOffice Calc a systémy pro firemní reporting jej mohou otevírat nebo vytvářet.

Sešit XLS může obsahovat několik listů, vzorce, grafy, formátování, sloučené buňky, poznámky, skryté řádky a více vzájemně nesouvisejících tabulek. ARFF reprezentuje jednu datovou tabulku, proto před konverzí oddělte jeden obdélníkový rozsah s jediným řádkem záhlaví.

Starší listy XLS jsou omezeny na 65 536 řádků a 256 sloupců. .xlsx je jiný formát Excelu založený na XML; změna názvu souboru .xlsx na .xls jej nepřevede.

Co obsahuje ARFF

ARFF (Attribute-Relation File Format) je textový formát datasetů Weka. Jeho záhlaví definuje relaci a atributy, za nimiž následuje část @data obsahující záznamy.

ARFF může deklarovat numerické, nominální, řetězcové, datové a relační atributy. Jednoduchý dataset může obsahovat @relation customers, @attribute age numeric, @attribute churn {yes,no} a následně @data s hodnotami oddělenými čárkami.

Jeho hlavní výhodou oproti tabulce je, že schéma datasetu je uloženo společně s hodnotami. Soubor je prostý text, lze jej spravovat pomocí verzovacího systému a kontrolovat v textovém editoru; nezachovává funkce prezentace specifické pro sešit.

Konverze přes CSV a Weka

Nejspolehlivějším pracovním postupem na desktopu je exportovat požadovaný list jako CSV a uložit jej jako ARFF pomocí Weka 3.8. Tím se vyhnete rozdílům v podpoře Excel/Spreadsheet loaderu mezi instalacemi Weka a získáte kontrolu nad odvozenými typy atributů.

1. Otevřete soubor XLS v Excelu nebo LibreOffice Calc. Ponechte pouze jednu tabulku; odstraňte nadpisové řádky, součty, prázdné oddělovací řádky, komentáře a opakovaná záhlaví. Každému sloupci přiřaďte jedinečné záhlaví.
2. Přepočítejte vzorce a sešit uložte. Export CSV zapisuje zobrazené nebo uložené hodnoty, nikoli logiku vzorců Excelu.
3. Exportujte příslušný list pomocí File → Save As nebo File → Export a tam, kde je tato možnost k dispozici, vyberte CSV UTF-8. Excel exportuje pouze aktivní list; postup opakujte pro každý požadovaný list.
4. Spusťte Weka, otevřete Explorer → Preprocess, vyberte Open file a otevřete soubor CSV.
5. Zkontrolujte každý atribut. Sloupce, které nejsou vstupními proměnnými, odstraňte pomocí Filter → Choose → unsupervised → attribute → Remove. Pro konečné kategorie použijte StringToNominal a pro kódy nebo identifikátory, jejichž číselná velikost nemá význam, použijte NumericToNominal.
6. Při přípravě dat pro učení s učitelem nastavte cílový atribut ve voliči Class ve Weka. ARFF neukládá označení třídy; Weka může tento výběr po opětovném otevření souboru vyžadovat znovu.
7. Vyberte Save, použijte název souboru končící na .arff a výsledek znovu otevřete, abyste zkontrolovali název relace, deklarace atributů a počet instancí.

Některé distribuce Weka poskytují Excel nebo Spreadsheet loader, který dokáže otevřít XLS přímo. Použijte jej až po ověření, že nainstalovaný loader podporuje zdrojový formát a správně importuje požadovaný list; přímý import se může lišit podle verze Weka a volitelných knihoven.

Pro jednorázovou konverzi neveřejných dat lze použít Convertio, pokud jeho aktuální volič formátů nabízí převod z XLS do ARFF. Stažený soubor před použitím zkontrolujte ve Weka a nenahrávejte osobní, zdravotní, finanční ani vlastnické sešity do služeb třetích stran.

Kontroly schématu a kompatibility

ARFF nezachovává vzorce, grafy, formátování buněk, sloučené buňky, komentáře, kontingenční tabulky, pojmenované oblasti, makra ani další listy. Ukládá pouze hodnoty a deklarované atributy.

Udržujte konzistentní typ každého sloupce. Převážně číselný sloupec obsahující popisky, například N/A, může být načten jako text, zatímco číslo zákazníka může být považováno za numerickou míru, přestože jde pouze o identifikátor. Pokud je to možné, identifikátory odstraňte; v opačném případě je nastavte jako nominální nebo řetězcové atributy.

Pro chybějící hodnoty ARFF používejte ?. Prázdné buňky tabulky, N/A a - vyžadují záměrné zpracování, protože se mohou stát doslovnými hodnotami kategorií nebo vynutit textový atribut.

Datům je třeba věnovat zvláštní pozornost. CSV nemá spolehlivý datový typ, proto ověřte, že sloupce s daty mají zamýšlenou deklaraci ARFF, například @attribute order_date date "yyyy-MM-dd", a nejsou načteny jako libovolný řetězec nebo číslo. Hodnoty obsahující čárky, uvozovky, mezery, složené závorky nebo znaky procent mohou vyžadovat uvozování a escapování v ARFF; uložení z Weka tuto syntaxi zpracuje.