Tvorba korpusů a vytěžování jazykových dat (metody, modely, nástroje)

Kniha nabízí systematický vhled do problematiky technického zpracování jazykových dat, efektivního vytěžování dat a prezentuje možnosti a prostředky, jak sestavit vlastní textovou databázi (jazykový korpus). Nejprve se věnujeme základům dotazovacího jazyka CQL a vysvětlujeme elementární principy vytěžování korpusových dat. Prostor je věnován i základním metodám kvantitativního vyhodnocování korpusových dat, mezi něž nesporně patří vytváření frekvenčních seznamů či zkoumání kolokací (a koligací) prostřednictvím nejznámějších statistických testů, zejm. MI-score, t-score, Log-Likelihood, Chi-squared. Mezi nejdůležitější části textu patří pasáže zaměřené na anotaci a technické aspekty tvorby korpusů, jmenovitě zejm. na formát dat a kódování znaků, segmentaci textu, využití značkovacího jazyka XML pro korpusovou anotaci atd. Tato témata, jimž se věnujeme jak z teoretického pohledu, tak na praktických ukázkách, patří mezi klíčová, pokud jde o přípravu a zpracování korpusové databáze. Zároveň představují nejen fundament pro tvorbu korpusů, ale i pro pokročilejší práci s regulárními výrazy a jazykem CQL, především pokud jde o komplexní využití prostředků CQL a vytváření složitějších vyhledávacích masek. V této souvislosti ilustrujeme na konkrétních příkladech i možnou variantnost zápisu CQL dotazů, tedy jev, kdy jeden dotaz lze v CQL zapsat více způsoby, a tematizujeme možné přegenerovávání (overgeneration) komplexních strukturovaných vzorů. Prezentujeme ale i alternativní možnosti a prostředky tvorby korpusových dotazů – např. použití rozšířených sad regulárních výrazů (PCRE a POSIX metavýrazů). Zásadní je pasáž o korpusových formátech a značkovacím jazyce XML (Extensible Markup Language), jenž v současnosti představuje nejrozšířenější mezinárodní standard pro anotaci korpusových databází. Představeny jsou prostředky a pravidla tvorby (základy syntaxe) XML dokumentů i možnosti pro anotaci korpusových textů v různých formátech. Snažíme se ukázat principiální souvislosti XML a CQL, tedy souvislost mezi XML formátem, způsobem anotace databáze a formátem vyhledávacích masek CQL, vč. užití tzv. proximitních operátorů. Prezentujeme rovněž vybrané softwarové nástroje pro vytěžování korpusových dat, od nejjednodušších aplikací určených pro dílčí či základní korpusové operace až po komplexní korpusové nástroje. Zaměřujeme se zde převážně na práci s lingvisticky neanotovanými texty a ukazujeme možnosti relativně jednoduché tvorby malých korpusů i způsobů jejich vytěžování. Podáváme přitom vždy stručnou charakteristiku nástroje, jeho funkcí, příp. implementovaného dotazovacího jazyka. Popisujeme též rozšířené funkce některých konkordančních nástrojů, zejm. AntConc a Xaira, např. možnost tvorby seznamu lemmat (lemma listů), zobrazení disperze výrazů v textech, použití statistických testů k vyhledávání kolokátů či koligací, detekce tematických slov apod. Technicky nejnáročnějšími pasážemi monografie jsou kapitoly, jež se věnují možnostem automatického zpracování textu do strukturované databáze prostřednictvím softwarových nástrojů a počítačových skriptů a zabývají se rovněž tvorbou korpusu v systému Manatee/Bonito. Postupně jsou představeny všechny fáze počítačového zpracování dat: nastavení či konverze kódování znaků, konců řádků i souborového formátu, segmentace či tokenizace textu, jeho zpracování do některého z korpusových formátů (např. do tzv. vertikály), proces anotace různého typu a rozsahu (zejm. lemmatizace a taggování). Součástí těchto technických pasáží jsou i základy práce s příkazovým řádkem, neboť počítačové skripty je nutno kvůli absenci grafického uživatelského rozhraní spouštět právě zápisem (příkazem s různými parametry) z příkazového řádku operačního systému. Zároveň demonstrujeme i využití příkazového řádku pro některé základní korpusové operace jako je vyhledávání klíčových slov, tj. generování konkordancí, tvorba frekvenčních či abecedních seznamů ad. možností, a to vše přímo ze zdrojových textů bez nutnosti importu textů do korpusových softwarových nástrojů. Doplňkem této monografie je webové úložiště (http://corpus.upol.cz/tvorba-korpusu), kde uživatelé tohoto textu naleznou celou řadu materiálů: instalační soubory softwarových nástrojů či počítačové skripty, s nimiž v textu pracujeme, ale i úryvky zdrojových textů či příkladů z textu.