Převod souboru XLSX do ARFF

Weka a další nástroje strojového učení běžně používají ARFF, zatímco zdrojová data jsou často dodávána jako sešit Excelu. Převod je nutný, když cílová aplikace nedokáže přímo importovat XLSX nebo vyžaduje explicitní typy atributů, značky chybějících hodnot a metadata datové sady.

Co je formát XLSX

XLSX je formát sešitu založený na XML, který používá Microsoft Excel a který podporují LibreOffice Calc, Apple Numbers a Google Sheets prostřednictvím exportu do Excelu. Sešit může obsahovat více listů, vzorce, formátování, sloučené buňky, grafy, skryté řádky a typované hodnoty, ale software pro dolování dat obvykle načítá jeden obdélníkový rozsah listu.

ARFF nemá přímý ekvivalent pro rozvržení sešitu, grafy, formátování, komentáře, filtry ani sloučené buňky. Převod extrahuje hodnoty buněk a vytvoří tabulkovou datovou sadu; nezachová sešit jako upravitelnou tabulku.

Co je formát ARFF

ARFF neboli Attribute-Relation File Format je textový formát datových sad používaný systémem Weka. Typický soubor obsahuje deklaraci @relation, jednu deklaraci @attribute pro každý sloupec a část @data obsahující záznamy.

Mezi běžné typy atributů patří numeric, string, date a nominální hodnoty deklarované konečným seznamem, například {yes,no}. Chybějící hodnota se zapisuje jako ?. Explicitní deklarace snižují nejednoznačnost při klasifikaci, shlukování, výběru příznaků a dalších analýzách v systému Weka.

Převod pomocí Weka

Weka je nejpřímější desktopová možnost, protože její ExcelLoader dokáže číst soubory XLSX a Explorer může načtenou datovou sadu uložit jako ARFF.

1. Nainstalujte Weka z oficiální distribuce Weka a spusťte Explorer.
2. Vyberte Preprocess → Open file a zvolte sešit .xlsx.
3. Pokud sešit obsahuje několik listů, otevřete možnosti loaderu a vyberte požadovaný list. ExcelLoader běžně používá -S 2 pro druhý list; názvy možností a číslování ověřte pomocí ExcelLoader -h pro nainstalovanou verzi Weka.
4. Zkontrolujte zobrazené názvy atributů, typy a počet instancí. Odstraňte řádky s názvem nebo změňte nastavení loaderu, pokud první řádek není záhlavím.
5. Vyberte ovládací prvek Save v Exploreru a uložte datovou sadu s příponou .arff.

Podpora Excelu ve Weka závisí na vydání Weka a jeho přibalených nebo nainstalovaných knihovnách pro čtení tabulek. Pokud není XLSX rozpoznán, aktualizujte Weka nebo použijte níže uvedenou metodu v Pythonu, nikoli pouhé přejmenování souboru.

Převod pomocí Pythonu

Python je vhodnější pro opakovatelné převody, výběr listů, čištění sloupců a dávkové zpracování. Nainstalujte pandas, reader pro XLSX a zapisovač ARFF:

pip install pandas openpyxl liac-arff

Tento příklad považuje numerické sloupce za numerické, převádí ostatní sloupce na text, používá malé sloupce s pevně danými hodnotami jako nominální atributy a zapisuje prázdné buňky jako chybějící hodnoty ARFF:

import pandas as pd
import arff

df = pd.read_excel('input.xlsx', sheet_name=0)with open('output.arff', 'w', encoding='utf-8') as file:

Nahraďte sheet_name=0 názvem listu nebo indexem založeným na nule. Zkontrolujte vygenerované deklarace, zejména u sloupců obsahujících čísla i text. Před zápisem souboru přejmenujte duplicitní nebo prázdná záhlaví; názvy atributů ARFF musí být použitelné a jednoznačné.

Použití online převaděče jako mezikroku

Přímý webový převod XLSX na ARFF není běžný a obvykle poskytuje jen malou kontrolu nad výběrem listu nebo deklaracemi typů ARFF. Renomovaná služba, například CloudConvert, může převést XLSX na CSV; stáhněte CSV, otevřete jej ve Weka pomocí Preprocess → Open file, zkontrolujte odvozené typy a uložte jej jako ARFF. Převod na CSV vede ke ztrátě funkcí sešitu a stále vyžaduje kontrolu typů, proto nenahrávejte důvěrné sešity, pokud nejsou podmínky nakládání s daty dané služby přijatelné.

Kontroly kvality a kompatibility

• Záhlaví: Odstraňte řádky s názvem, prázdné buňky záhlaví a duplicitní názvy. První řádek je obvykle interpretován jako řádek s názvy atributů.
• Vzorce: Čtečky obecně získávají výsledek uložený v mezipaměti vzorce, nikoli výraz vzorce. Pokud mohou být výsledky v mezipaměti zastaralé, před převodem sešit přepočítejte a uložte v Excelu nebo LibreOffice.
• Data: Sériová data Excelu a řetězce dat závislé na národním prostředí mohou být interpretovány nesprávně. Normalizujte data do jednoho formátu nebo deklarujte atribut data ARFF s explicitním vzorem, například date 'yyyy-MM-dd'.
• Nominální hodnoty: Nominální deklarace musí zahrnovat každou neprázdnou hodnotu v daném sloupci. Nominální typy používejte pro malé, pevně dané kategorie a string pro volný text nebo sloupce s velkým počtem různých hodnot.
• Chybějící buňky: Prázdné buňky by se měly převést na ?. Nenahrazujte je číselnou nulou, pokud nula nepředstavuje skutečné měření.
• Více listů: ARFF popisuje jednu relaci, takže každý list obvykle vyžaduje samostatný soubor ARFF. Grafy, formátování, sloučené buňky, filtry a metadata sešitu se zahodí.
• Kódování: Výsledek zapisujte a kontrolujte jako UTF-8, pokud názvy nebo hodnoty obsahují znaky s diakritikou, ne-latinské nebo speciální znaky.