Oddělení analytického zpracování | Báze ANL | ANL FULL | Koop. systém článkové bibliografie | Granty | Metodika popisu článků | English




SOUBORNÁ DATABÁZE KOOPERAČNÍHO SYSTÉMU ČLÁNKOVÉ BIBLIOGRAFIE - OPTIMALIZACE INTEGRACE A SPRÁVY HETEROGENNÍCH DAT

Souhrnná zpráva za rok 2003




Předkládá: PhDr. Vojtěch Balík, ředitel NK

Zpracovala: PhDr. Ivana Anděrová, hlavní řešitelka

Praha, listopad 2003



B Analytická část



B.0 Automatická či poloautomatická indexace a topiky v bázi ANL FULL - analýza a praktický dopad na další vývoj projektu



Tento bod projektu je též součástí projektu Propojení analytických záznamů s plnými texty a optimalizace zpřístupnění plných textů. Pokládám ho za velmi důležitý vzhledem k řešené problematice. Ponechávám informace předložené již ve zprávě z r. 2002, na které navazuje informace o řešení problematiky v roce 2003.

B.0.1 Analýza problematiky automatické či poloautomatické indexace a selekční úplnosti topiků v bázi ANL FULL (J. Schwarz, 2002) - teoretická analýza s praktickým doporučením

Automatická indexace úzce souvisí s vyhledáváním informací (information retrieval). Na jedné straně kvalita automatické indexace výrazně ovlivňuje kvalitu vyhledávání, na druhé straně jsou metody automatické indexace a vyhledávání informací z hlediska požadovaného výsledku - vyhledání relevantních dokumentů - zástupné; někteří autoři např. považují vyhledávání v plném textu dokumentu za nejjednodušší formu automatické indexace. Podstatnější je však trend směřující k vývoji takových vyhledávacích metod, které budou za pomoci technologií umělé inteligence pracovat přímo s plným textem a k automatické indexaci v původním slova smyslu nebude vůbec docházet; dojde k posunu od systémů založených na externí bázi pojmů či znalostí ( knowledge-based systems ) k systémům založených přímo na zpracování plného textu dokumentů ( text-based systems).

Automatická indexace má těsnou vazbu na automatickou klasifikaci, automatické shlukování (clustering) a automatické abstrahování (abstracting) dokumentů - o těchto tématech se často hovoří společně a někdy se také zaměňují - v případě indexace obecnými třídami se mluví spíše o automatické klasifikaci než automatické indexaci. Prolínají se také problematiky automatického shlukování a klasifikace, protože obě mají stejný účel - rozčlenit dokumenty do základních tříd; každá z metod však používá odlišných postupů. Automatická indexace také souvisí s automatickou tvorbou tezauru, příp. vytvářením sémantických sítí nebo znalostních bází, které jsou nezbytným předpokladem pro odpovídající funkčnost metod založených na automatickém přiřazování.

Typy a techniky automatické indexace

Automatická indexace se podle standardních koncepcí běžně rozděluje na dva základní typy:

  • automatická extrakce je automatická inde xace založená na extrakci indexačních termínů přímo z plného textu dokumentu (využívá se tak pouze přirozeného jazyka) ( automatic extraction indexing, selection of natural language index terms)
  • automatické přiřazování je automatická indexace založená na ur čování indexačních termínů z řízeného slovníku nebo znalostní báze na základě jejich srovnání s výrazy z plného textu dokumentu ( automatic assignment indexing, assignment of controlled language index terms).

Automatická extrakce je jednodušší a snáze prog ramovatelnou metodou, v současnosti na jejím základě pracuje většina funkčních systémů automatické indexace .

Automatické přiřazování je z hlediska praktické aplikace podstatně náročnější, funkční systémy rovněž existují, ale nejsou zcela běžné a často nepřinášejí žádoucí výsledky. V rámci automatického přiřazování jsou aplikovány i metody automatické extrakce, které však slouží pouze jako dílčí podklady pro další zpracování.

Jako systémy automatické indexace jsou také někdy nesprávně označovány systémy, kte ré slouží jako automatizovaná podpora indexátora při indexačním procesu. Tyto systémy umožňují dnes již standardně automatizované procedury, jako je kontrola chyb indexátora (např. zda nezvolil nesprávnou kombinaci termínů), automatický návrh preferovaného termínu místo termínu nepreferovaného, poskytnutí informace, jak byl indexační termín použit, popř. jak vypadá předchozí indexace vybraných dokumentů apod. V takových případech nelze mluvit o automatické indexaci, ale pouze o automatizované indexaci.

Automatická extrakce

Postup

  • 1. lexikální analýza (lexical analysis - identifikace jednotlivých slov a sousloví v textu dokumentu; někdy se identifikace sousloví uvádí vzhledem ke své složitosti jako samostatná procedura
  • 2. odstranění nevýznamových a nespecifických slov - provádí se pomocí negativního slovníku (slovníku stopslov); někdy se tato procedura považuje za součást lexikální analýzy
  • 3. lematizace (stemming ) - redukce slov na jejich základní tvary, resp. kmen; opakem tohoto procesu (např. při vyhledávání) je derivace, kdy se k základnímu tvaru slova generují jeho inflexní tvary
  • 4. srovnání slov, resp. jejich kmenů s termíny řízeného slovníku - jedná se o jednoduché srovnání termínu vybraného z textu s termínem řízeného slovníku bez ohledu na strukturu řízeného slovníku; ta bývá zohledňována pouze při automatickém přiřazování
  • 5. vážení neboli stanovení vah termínů (weighting) - provádí se na základě různých, nejčastěji frekvenčních metod

Pokud je při extrakci termínů zohledněna jejich pozice ve specifické části textu (např. nadpis, abstrakt, první a poslední odstavec apod.), promítá se tato skutečnost i do výpočtu váhy, nejčastěji tím způsobem, že váha termínu, který se vyskytuje v obsahově nejdůležitější části textu (např. název) je násobena koeficientem o zvolené velikosti, a váhy termínu nacházejících se v obsahově méně signifikantních částech dokumentu jsou násobeny koeficienty o nižších hodnotách. Tak se dosáhne toho, že termín z obsahově důležité části dokumentu získá relativně nejvyšší váhu.

Hodnocení automatické extrakce

Ve srovnání s intelektuální indexací, je automatická extrakce absolutně konzistentní.

Jako podstatné omezení automatická extrakce lze chápat skutečnost, že použité metody neodpovídají postupu, jakým probíhá intelektuální indexace, která není většinou realizována jako extrakce, nýbrž jako přiřazování. Z toho důvodu automatická extrakce obecně přináší horší výsledky než intelektuální indexace a přestože na základě automatické extrakce funguje většina současných systémů, řada z nich slouží z tohoto dů vodu pouze jako automatizovaná podpora intelektuální indexace.

Automatické přiřazování

Předpokladem funkčnosti automatického přiřazování je existence strukturovaného řízeného slovníku, který může být implementován ve formě tezauru, sémantické sítě nebo znalostní báze. Klasické tezaury se svými jednoduchými vztahy hierarchie, asociace a ekvivalence jsou sice pro automatické přiřazování použitelné, ale často bývají pro větší efektivitu celé procedury obohaceny o další dílčí typy vztahů a forem lexikálních jednotek nebo jsou užívány společně s dalšími externími slovníky či znalostními bázemi.

Postup

  • 1. identifikace termínů v plném textu

  • 2. srovnání termínů s relevantními profily pojmů z řízeného slovníku

  • 3. určení indexačních termínů na základě profilu pojmů reprezentovaných termíny vybranými z textu

Hodnocení automatického přiřazování prokázala, že účinnost automatického přiřazování je na 60-67% úrovni ve srovnání s intelektuálním zpracování.

Stále ještě není reálné zcela automatické přiřazování termínů bez intelektuální zásahu. Tato skutečnost se týká zejména systémů používajících velkých řízených slovníků (tisíce až desetitisíce termínů) a obsahujících dlouhé texty pojednávající o komplexních, obecných nebo heterogenních tématech .

Obecně tak metoda automatického přiřazování selhává, pokud je hodnocena z hlediska kvality výsledků intelektuální indexace. Nicméně i v těchto případech mohou být, podobně jako u automatické extrakce, výsledky automatizovaných procedur podkladem pro další intelektuální zpracování indexátorem.

Dlouhodobě neuspokojivé (resp. ne zcela uspokojivé) praktické výsledky metod automatického přiřazování vedly v posledních dvou dekádách k určitému odklonu zájmu od této problematiky; řada autorů se věnuje spíše teoretickým aspektům problematiky (např. pojmovému modelování) než praktickým implementacím ověřených metod, mj. také z toho důvodu, že všeobecná dostupnost plných textů v elektronické podobě a účinných moderních vyhledávacích technik (např. vektorové vyhledávání, pravděpodobnostní modely vyhledávání, latentní sémantické indexování, fuzzy modely vyhledávání, neuronové sítě, bayesovské sítě apod.) význam indexace coby základního předpokladu pro efektivní vyhledávání dokumentů podstatně snižuje . To ovšem nic nemění na skutečnosti, že řada funkčních systémů založených na automatickém přiřazování ve specifických disciplínách existuje a je úspěšně používána.

Intelektuální indexace přináší ve srovnání s řadou automatických procedur (vč. např. latentního sémantického indexování) ještě stále lepší výsledky. Systémy automatické indexace jsou také účinné pouze částečně proto, že doposud nebyly dostatečně prozkoumány a podrobně popsány všechny intelektuální procesy, které probíhají při indexaci.

Na druhé straně řada technologií, jejichž účinnost byla v předchozích letech potvrzena výzkumem a řadou studií, je v současnosti implementována ve formě expertních systémů nebo systémů pracujících na základě umělé inteligence .

Praktické aspekty implementace automatické indexace

Obecně lze konstatovat, že systémy automatické indexace vyvíjejí oborově zaměřené instituce, které zpracovávají velké objemy dokumentů, které je nezbytné kvalitně a konzistentně indexovat. V řadě případů se však jedná o dokumenty, u kterých je dostupný pouze komprimovaný text (např. abstrakt), a které je tudíž žádoucí indexovat . Zároveň lze u nich s úspěchem použít některou z metod automatické indexace, které jsou v případě nasazení na komprimovaný text relativně velice úspěšné. Při dostupnosti plných textů dokumentů se dnes již spíše používá některé z pokročilých vyhledávacích metod, jejichž vývoj a implementace je obdobně technicky i finančně náročný jako u automatické indexace, ale v řadě případů přináší adekvátnější výsledky.

B.0.2 Selekční úplnost topiků v bázi ANL FULL

(J. Schwarz, 2002)

Zá kladním cílem analýzy je zjistit selekční účinnost topiků, tj. předdefinovaných komplexních dotazů, zejména z hlediska úplnosti výsledků vyhledávání, a předložit případná doporučení pro jejich úpravu, popř. pro úpravu jiných selekčních prvků databáze.

Pro účely analýzy byly stanoveny dvě množiny, které se porovnávaly:

množina záznamů vyhledaných pomocí předmětových hesel (RMD) a množina záznamů vyhledaných pomocí hesel a omezená pomocí topiku (TMD).

Výsledky komparací lze vztáhnout nejen na topiky, ale i na předmětová hesla, resp. popis dokumentů předmětovými hesly.

Dokumenty z RMD (DR) byly srovnány s dokumenty z TMD (DT) pomocí koeficientu úplnosti vyjádřeném v procentech:

R=100% v případech shodnosti obou množin (RMD a TMD).

R<100% v případech, že TMD ne obsahuje všechny dokumenty obsažené v TMD.

Výsledkem komparace není jen číselné vyjádření úplnosti výsledků, ale především rozvaha, proč některé dokumenty nebyly nalezeny a jak by bylo možné vylepšit vyhledávání pomocí pokročilé aplikace topiků.

Z porovnání výsledků vyhledávání vyplynulo, že 100% úplnosti dosahuje pouze polovina TMD (26 z 50, tedy 52%). Zbylá, menší polovina TMD (24 z 50) dosahuje menší než 100% úplnosti. Lze konstatovat, že úplnost vyhledávání na základě topiků je přes 80 % (84 %).

Hodnocení výsledků komparace

Nedostatky na straně topiků

Přestože téměř polovina TMD nebyla zcela úplná, není to třeba interpretovat jako selhání příslušných topiků. V zásadě lze neúplnost při vyhledávání vysvětlit těmito důvody: RRD a topik nemusí zcela koresp ondovat ve svém tematickém zaměření, resp. topik může vyjadřovat pouze jeden aspekt příslušného RRD, což je dobře patrné u duplicitních položek.

Otázkou u jednotlivých topiků zůstává, nakolik správně vyjadřují příslušný aspekt problematiky, Potenciálně problematická jsou také témata z hraničních oborů.

Pouze na základě výsledků komparace nelze stanovit, který z topiků filtruje dokumenty „správně“ a který by vyžadoval rozšíření o nová klíčová slova. Tento závěr vyžaduje další podrobnou obsahovou analýzu jednotlivých dokumentů a zejména topiků, která není možná bez znalosti jejich konkrétní struktury a složení .

Nedostatky na straně předmětových hesel

Jako příčinu nenalezení dokumentu topikem nelze vyloučit ani chybné nebo nesprávné přiřazení daného předmětového hesla k dokumentu, který byl zařazen do RMD a srovnáván s výsledky TRD. V tomto případě mohou sloužit výsledky analýzy k případné korekci selekčního obrazu dokumentu, kterou je třeba provést se znalostí příslušný pravidel pro věcné zpracování dokumentů.

Další možnosti rozvoje a využití topiků

V případě topiků je třeba si klást zásadní otázku, jakým způsobem je uživatel může nejefektivnějším způsobem využít. Z hlediska uživatele se mohou jevit jako limitující především tyto aspekty:

  • problematické zařazení některých dílčích topiků (např. vojenství, vojenská technika se „skrývá“ pod spol. a humanitními obory)
  • obecně sice jednoduchá struktura, ale pro neznalého uživatele nebo uživatele nedostatečně obeznámeného s funkcí a strukturou topiků může znamenat pře kážku v nalezení relevantních informací.
  • zařazení duplicitních nebo z hlediska uživatele kvaziduplicitních topiků, např. geografie/geografie, zbrojní průmysl / vojenství, vojenská technika, chemie/chemický průmysl, farmaceutický průmysl/farmacie, farmakologie apod. U takových topiků mohou vznikat pochybnosti, který z nich použít, zvláště když řazení dle vědeckých oborů má v případě struktury topiků spíše arbitrární povahu
  • nerovnoměrné rozložení topiků: některé přináší několik jednotek nebo desítek záznamů (v dvouleté retrospektivě), některé několik tisíc nebo desítek tisíc záznamů. Tato skutečnost může být samozřejmě dána obsahem databáze, v případě některých specifických témat je nadměrný počet často irelevantních záznamů zřejmě způsoben příliš obecnou definicí topiku (např. topik Kybernetika, robotika). Topik Věcné zpracování přináší z větší části zjevně irelev antní výsledky.
  • Naopak topiky mohou být pro uživatele užitečné, protože:
  • · umožňují řadit záznamy podle relevance, na rozdíl např. při použití pouze předmětových hesel, kdy všechny záznamy dostávají hodnotu relevance 1.00 a jsou řazeny v podstatně podle toho, jak jsou vyhledány z databáze
  • · omezují počet irelevantních dokumentů


Využití topiků: uživatel nebude zřejmě topiky používat samostatně, protože většina z nich představuje pro vyhledávání příliš široká témata. S vysokou mírou pravděpodobnosti lze předpokládat, že topik nebude využit ani v případě, kdy by bylo žádoucí omezit dotaz na specifickou oblast či obor, a to z důvodu, že procedura je prostě pro řadu laických uživatelů příliš složitá.

Z tohoto hlediska lze spatřovat jako optimální řešení v současnosti neexistující možnost interaktivního využití topiků, kterou lze stručně popsat takto:

Po vyhledání dokumentů podle libovolného selekčního prvku dostane uživatel možnost zúžit nebo rozšířit dotaz pomocí topiků, které mu systém automaticky nabídne - vygenerované na základě aktuální množiny vyhledaných dokumentů. V případě zúžení dotazu by byly topiky s původním dotazem spojeny s operátorem AND, v případě jeho rozšíření pomocí operátoru OR.

Kromě interaktivního využití topiků při vyhledávání připadá do úvahy možnost oboustranné automatické zpětné vazby mezi topikem a např. předmětovým heslem: při věcném zpracování a přiřazení určitého předmětového hesla by systém kontroloval, zda zpracovávaný dokument náleží do stejného topiku jako dokumenty označené stejným předmětovým heslem. Opačně, při zpracování dokumentu může systém na základě podobnosti dokumentu s dalšími, dříve zpracovanými dokumenty informovat o použitých předmětových heslech.

B.0.3 Vliv topiků na úplnost vyhledávání v bázi ANL FULL (J. Schwarz, 2003)

Hlavním cílem analýzy bylo zjistit, jak topiky, tj. předdefinované komplexní dotazy založené na strukturovaných a vážených klíčových slovech, ovlivňují úplnost vyhledávání v plnotextové článkové databázi ANL FULL, a navrhnout případné úpravy topiků, popř. jiných selekčních prvků databáze, které povedou ke zvýšení úplnosti vyhledávání.

Analýza rozšiřuje studii z r. 2002 co do hloubky i obsahu a navazuje na analýzu provedenou v r. 2002. Z výsledků vyplynulo, že 100 % úplnosti dosahují cca 2/3 TMD. Necelá třetina dosahuje menší než 100 % úplnosti (z toho 1/3 vyšší než 80 %, necelá třetina menší než 60 %). Ve srovnání s předchozím průzkumem (Schwarz, 2002) mají všechny hladiny úplnosti v podstatě stejný podíl, TMD v hladině od 60% se pouze přeskupily ve prospěch úplnějších TMD (od 80% úplnosti).

Průměrná úplnost všech neúplných TMD je cca 68%, medián (střední hodnota) je cca 73% (obě hodnoty jsou v podstatě totožné s výsledky z r. 2002).

Průměrná úplnost všech TMD je 90% (v r. 2002 84%). Oproti výsledkům průzkumu z r. 2002 se o 16 procentních bodů zlepšil i celkový podíl úplných TMD (68,4% úplných záznamů vůči 52% v r. 2002).

Podařilo se však identi fikovat hlavní důvody , které mohou vést k nevyhledání dokumentu (přičemž k nevyhledání konkrétního dokumentu může vést každý z důvodů samostatně stejně jako jejich kombinace). Byly identifikovány topiky při vyhledávání přinášejí z větší části zcela irelevantní záznamy (bude v souhrnné zprávě Propojení analytických záznamů s plnými texty za léta 1999-2003).

Cestou ke zlepšení tohoto stavu nemůže být pouze rozšiřování topiků o nová klíčová slova, ale i redefinice funkce a významu topiků pro koncového uživatele, která zajistí skutečně efektivní využití topiků při vyhledávání v databázi ANL FULL.

Určitým řešením, jak přiblížit topiky skutečným informačním potřebám uživatelů, je dlouhodobě sledovat (např. na základě logů) uživatelské dotazy do databáze a na jejich základě vytvářet topiky, které budou odpovídat nejčastějším dotazům kladených do databáze uživateli.

Zamýšlená implementace jazykového analyzátoru v projektu pro program 1N by vyhledávání v systému zlepšila.

B.0.4 Analýza automatické indexace a selekční úplnosti topiků v ANL FULL a její možný dopad na další praktický vývoj projektu

V projektu jsou dosud užívány metody související spíše s automatickou extrakcí.

  • 1. Extrakce či spíše generování údajů jmenného popisu a některých dalších polí UNIMARCu slouží k základní identifikaci dokumentu (minimální záznam) přímo z plných textů (získávání těchto údajů přímo z databáze Tamtam - TTSNK a jejich generování v lince TTDE do příslušných formátů). Rovněž je automaticky generován souhrn (první věty textu), v současné době je zprovozněna v nové verzi TOPICu i funkce shlukování (clustering) článků do skupin podle stejných klíčových slov.

  • 2. V TTDE je funkční metoda automatického vkládání vybraných klíčových slov do formuláře TTDE a záznamu na základě požadavku při vyhledávání dokumentů v bázi TamTam. Tato slova by se musela indexátorem redigovat. Tyto metoda není při práci v lince využívána - není příliš kvalitní, dosud je věcný popis dokumentu zcela vytvářen katalogizátorem.

  • 3. Systém TOPIC generuje také automatický souhrn k článku - zatím začátek textu dokumentu. Zjistit další možnosti v tomto směru.

  • 4. Vzhledem k fuzzy vyhledávání v systému TOPIC a ještě nerealizovaným a neobjeveným dalším možnostem, které TOPIC má, se kloním spíše k využití funkcí dosud v projektu nezohledněných, ke zkvalitnění vyhledávání pomocí topiku na základě jejich ladění a zabudování prvků věcného popisu (kategorií a prvků předmětových hesel) přímo do topiků, než k zcela automatickému přiřazování věcných termínů. Užívají se metody např. automatizované kategorizace či klasifikace.

  • 5. Hypoteticky: v systému je náběh na řízený slovník tematických kategorií, který by mohl být použit i v rámci topiků (a jejich generování ?) spolu se vstupním prvkem předmětového hesla.

  • 6. Slovník bude pravděpodobně možno využít také jako pomůcku pro katalogizátora při přiřazování těchto kategorií.

  • 7. Jak mohou být tyto kategorie spojeny s automatizovanou kategorizací nebo do jaké míry mohou být pomůckou při automatizované kategorizaci informací ukáže budoucnost.

  • 8. V budoucnu zprovoznit hledání dokumentů s podobným obsahem - volný dotaz (Free Text Query), dotaz příkladem (Query By Example).

  • 9. Topiky ladit na konkrétních dokumentech z příslušného oboru - určit jak obory, tak odpovídající dokumenty s kvalitním předmětovým popisem. V úvahu přichází periodikum Národní knihovna (zpřístupňované v projektu Propojení analytických záznamů s plnými texty a ke kterému vzniká řízený slovník) aj. odborná plnotextová periodika, která budeme mít pravděpodobně k dispozici , dále pak obory a dokumenty, o kterých lze tvrdit, že jsou kvalitně indexovány katalogizátorem (např. ekonomie/ekonomika, některé společensko politické časopisy).
  • 10. K ladění topiků je nutný přístup ke struktuře jednotlivých topiků. Rovněž je třeba zkvalitnit samotnou věcnou indexaci pomocí předmětových hesel indexátory.

Analytické práce týkající se topiků vyústily v řadu doporučení, které budou posuzovány popř. realizovány v následujích letech.

V r. 2003 byl podán projekt v rámci 1N programu MŠMT „Informační zdroje pro vědu a výzkum. V tomto projektu je akcentován přechod TOPICu na platformu K2 s možností automatizované kategorizace s využitím technologie LCR (Logistic Regression Classification), která umožňuje vytvořit taxonomii založenou na analýze obsahu textu (Thematic Mapping), vyhledávání za podpory jazykového analyzátoru a zavedení konceptu tzv. sociálních sítí s využitím technologie TSA (Tensor Space Analysis). Technologie umožňuje analyzovat jak uživatelé vytvářejí, modifikují, vyhledávají a přijímají informace. Na základě toho pak provádí doporučování dokumentů a autorit, které mají vztah k dotazu, resp. profilu, uživatele (adaptivní řazení dokumentů - založené na obsahu i na tom , jak často byly dokumenty vyhledány a prohlédnuty v minulosti, doporučování dokumentů vzhledem k uživatelovu kontextu, objevování/nacházení expertů , tj. experti jsou rozpoznáni na základě informací, které vytvořili, modifikovali a/nebo ke kterým přistupovali; na základě společných znaků vznikají komunity uživatelů).

V projektu je dále akcentována tvorba a ladění topiků pro příslušné odborné zdroje v bázi ANL FULL s ohledem na oborové tezaury, využití systému K2 pro sledování citačních vazeb.

B.1 Vlastní řešení - praktická realizace

Pro zachování kontinuity řešení uvádím výsledky i z předešlých let.

Stručný popis stávajících produktů TamTam a prací v r. 2002 a 2003:

1) Hlavní linka pro zpracování dokumentů


  1. TamTam Special NK

    - stažení vybraných článků z TamTamu v Anopressu do NK přes Internet
    - (skripty na serveru v Anopressu)

  2. TTDE - TamTam Data Extractor (linka poloautomatické indexace) - verze pro lokální stanice
    - vstup - data Anopress (txt)

    - úprava hlavi čkových údajů ve stažených článcích (3 strany formuláře pro editaci - hlavičky )
    - výstup pro Aleph a Full
    - hlavičky Uni, Uni-A, DC, H1 (zobrazovací), H2 (indexovací)
    - odeslání zpracovaných dat do importní schránky ALEPH a k fulltextovému indexování (Topic)
    - (program TTDE.EXE na každé stanici uživatele)
    přípravné práce pro vývoj internetové verze TTDE( nové 2002)

  3. WWW TTDE - WWW TamTam Data Extractor (linka poloautomatické indexace) - verze pro Internet (nové v r. 2003)
    - vstupy: formáty txt, html z libovolné URL
    - rozšíření formuláře pro editaci (4 strany - hlavičky)
    - aplikace pro opravy rejstříků a metadat v lince (hlavička opravy)

  4. MKINDEX - indexování, generování XML

    - slouží k on-line indexování upravených článků do fulltextové db Topic)
    - zároveň se on-line generují XML- a XML+ (nové od 9/2001)
    - generování rejstříků
    - (program MKINDEX.EXE běží na serveru FULL.NKP.CZ)

2) Jednorázové aplikace/moduly

  1. TTXMLGEN - TamTam XML generátor
    - generuje XML- i XML+ z celé DB (nové od 9/2001)
    - (program TTXMLGEN.EXE na serveru FULL.NKP.CZ)

  2. TTDT - TamTam Data Tester
    - slouží k testování obsahu DB (nové od 8/2001)
    - vyhledá dokumenty, které obsahují nebo naopak neobsahují zadaný řetězec (program TTDT.EXE na severu FULL.NKP.CZ)

  3. TTDF - TamTam Data Filter
    - slouží k filtrování a úpravě hlavičkových polí v DB
    - na základě indexovací hlavičky se vygeneruje Dublin
    - s Unimarcem nepracuje
    - poslední verze k 2.6.2001
    - pro použití se současnými hlavičkami je nutná jeho podstatná úprava
    - (program TTDF.EXE na severu FULL.NKP.CZ)

  4. TTDC - TamTam Data Convertor
    - konverze článků, stažených metodou Standard do fulltextové DB
    - pro použití se současnými hlavičkami je nutná jeho podstatná úprava
    - stahování metodou Standard by se nemělo už používat (program TTDC.EXE na severu FULL.NKP.CZ)

  5. TTEXPORT - TamTam Export
    - export dat z DB Anopress pro NK
    - (program KNIHOVNA.EXE v Anopressu)


3) Internet http://full.nkp.cz/ (kompletní přepracování v asp skriptu v r. 2002)

  1. Obecné základní informace, nápovědy
    - dynamická horní nabídka, counter
    - úvodní homepage
    - charakteristika DB
    - další informace (báze ANL)
    - jak se registrovat
    - jak vyhledávat

  2. Autorizace
    - registrační formulář a mechanismus (mail + aktivace)
    - autorizační panel (login)

  3. Fulltextové vyhledávání
    - 3 formuláře
    : základní, rozšířený bez a s tématy
    - vyhledávání dle hlavičkových údajů z metadat
    prostřednictvím pomocných hlavičkových údajů
    - výsledky
    jednoduché, se souhrnem, (seskupené v nové verzi do konce r. 2002)
    - Zobrazení výsledků hledání - článku

    - zobrazení textu, hlaviček (bez/s odkazy pro další hledání) - MKTXT.ASP
    - generování a zobrazení UNImarcu MKUNI.ASP
    - generování a zobrazení DC, XHTML- +, XML- + - MKXML.ASP.
    - zobrazení klíčových slov-- MKKEY.ASP
    - zobrazení XML- + - vygenerování při indexování dokumentu - MOFXML.ASP

  4. - Zobrazení plného textu z ALEPHu
    - modul MKDOC.ASP
    - http://full.nkp.cz/nkdb/mkdoc.asp?p1=s120001019000064


  5. Export a stažení plných textů (komplet nové v r. 2002)
    - modul dnlouad1.asp, dnload2.asp, dnload3.asp
    - tvar výstupního souboru (formáty): HTML, RTF formát , textový tvar, UNICODE - vše se zvýrazněním klíčových slov a bez , XML formát, HTML formát se souhrnem
    - zobrazení detailního průběhu zpracování

  6. Administrace (nové v r. 2002)
    - úpravy textu článků
    - statistika přístupů
    - Údržba rejstříků podle data zápisu a počátečních písmen
    - údržba regionálních periodik - portál
    - údržba oborových periodik - portál
    - údržba informačních zdrojů
    - údržba skupin témat
    - uživatelé (aktualizace)
    - změny hesel uživatelů
    - maily (komu se posílá registrace)

  7. - Aplikace Regionální periodika - portál
    - rozdělení dle krajů
    - zobrazení seznamu dle krajů
    - zobrazení detailu periodika
    - odkaz na www stránku a email periodika

  8. - Aplikace Oborová periodika - portál
    - rozdělení dle oborů
    - zobrazení seznamu dle oborů
    - zobrazení detailu periodika
    - odkaz na www stránku a email periodika

  9. - Rejstříky
    - rejstříky dle požadavku zadavatele




ROK 2002 - seznam prací s plánem do budoucna (kurzívou)


  1. Úprava WWW stránek:
    - změna vyhledávání v rejstřících
    - období od-do v rejstřících
    - úprava designu full.nkp.cz
    - stránka Co je nového

  2. Úprava databáze rejstříků
    - změna struktury databáze rejstříků (číslo, propojení)
    - úprava programu MkIndex (úprava modulu pro generování rejstříků)

  3. Zavedení nových polí do hlaviček
    - přeindexování dat z důvodu zavedení nových polí v roce 2001
    - program pro výpis všech souborů z archívních databází
    - znovuindexování databází

  4. Konverze XML do UTF-8
    - modul pro konverzi
    - úprava zobrazování XML přes www - úprava indexovacího modulu MkIndex

  5. Update Serveru I (převod stávajícího stavu do nového prostředí)
    - instalace Win 2000 server
    - záloha serveru, obnova dat i programů do nového prostředí
    - instalace MS IIS 5 (internet information server)
    - instalace Portal One SE (Topic verze 3.7)
    - konfigurace a nastavení serveru
    - zprovoznění www stránek v novém prostředí

  6. Update Serveru II (optimalizace a úpravy)
    - optimalizace stávajících stránek (změna technologie pro nové prostředí, zrychlení zobrazování - článků, nahrazení PHP skriptů metodou XMLHTTP a ASP skriptingem)
    - úprava propojení do Aleph
    - úprava modulu MkIndex
    - hromadné stahován í článků a export do různých tvarů
    - interface pro opravy metadat v plných textech

  7. Rejstřík kategorií
    - vytvoření www rozhraní pro údržbu rejstříku kategorií
    - provázání nadřízených a podřízených položek (plán)
    - generování topiků za běhu (plán)


  8. Ostatní rejstříky
    - vytvoření www rozhraní pro údržbu všech ostatních rejstříků

  9. Portál
    - vytvoření www rozhraní pro údržbu regionálních a oborových periodik

  10. WWW TTDE pro Web (příprava a návrh v r. 2002, částečně plán)
    - kompletní překlopení linky TTDE do www prostředí (plán)
    - stahování jiných zdrojů než Anopress
    - obecná úprava programu pro vstup z více vstupních kanálů
    - přidání filtrů pro každý vstupní kanál

  11. MARC 21 (plán)
    - úprava programu TTDE (modul pro konverzi dat do MARC 21)
    - úprava www rozhraní (zobrazování MARC 21)
    - doplnění MARC 21 do starých dat (konverze)



ROK 2003 - seznam prací s plánem do budoucna (kurzívou)



LINKA pro zpracování bibliografických záznamů z plných textů a její převedení na www - WWWTTDE
  1. Design linky zpracování bibliografických záznamů z plných textů - WWWTTDE
    - vstupní strana: načíst soubory (uložené na disk), načíst URL, spustit Linku
    - dohromady 13 hlaviček formuláře pro editaci (oproti TTDE 4 strany formuláře pro editaci, hlavička Opravy)
    - začlenění funkce Opravy (původně v aplikaci Administrace)

  2. Úpravy linky zpracování pro Internet -1
    - úpravy nabidky … Různé pro stahovani www dokumentů obecně s možností extrakce metadat z - plných textů , jejich doplně ní a generování ( analogie lokální linky pro texty Anopress i s možností vytvoření pouze hlavičky s url na plný text bez stažení plného textu)

  3. Úpravy linky pro Internet -2
    - doplnění údajů do formuláře, úpravy v hlavičkách

  4. Vazba na rejstříky ANL FULL a na Bázi autorit - AUT
    - stahování údajů z rejstříků ANL FULL podle úprav ve formuláři
    - stahování údajů z báze autorit

  5. Administrace
    - doplnění nových údajů do tabulek (formulářů) k příslušným položkám, např. údržba www periodik

  6. Konverze z UNIMARu do MARC 21
    - plan na konec r. 2003 a r. 2004
    Další vstupní formáty pro linku (pdf, Word aj.)

    - plán do budoucna v pokračujícím projektu


  7. Doplnění DTD pro články o data administrativní aj.
    - plán do budoucna v pokračujícím proje ktu

  8. Možné úpravy ve vyhledávání , generování topiků z dat uložených v kategoriích a heslech
    - plán do budoucna v navrhovaném pokračujícím projektu 1N

Popis řešení

Opět pro zachování kontinuity informací jsou obsaženy i výsledky předešlého roku.

Pro optimalizaci integrace a správy heterogenních dat souborné databáze kooperačního vyvinula česká firma Anopress na podkladě analýzy a funkčního zadání návrh speciální technologie - linky automatického získávání plných textů, zpracování bibliografických záznamů z plných textů (linka automatické či poloautomatické indexace), indexace bibliografických záznamů a plných textů, propojování záznamů na plné texty a jejich zpřístupnění. Řešení je progresivní a odpovídá nejnovějším trendům v této oblasti , je podpořeno kvalitním technickým a programovým vybavením. Jednotlivé moduly lze použít i samostatně.

Vývoj a údržba systému je financován v rámci předkládávaného projektu a podílí se na něm ing. Mattern, dr. Kučera jako soukromé osoby, ing. Mattern a dr. Kučera jako zaměstnanci firmy a společnost Anopress jako firma.

Vývoj technologie (linka, export, administrace, topiky) je též financován v rámci projektu Propojení analytických záznamů s plnými texty (vývojové práce ing. Materna, dr. Kučera, J. Schwarz).

Linka zpracování bibliografických záznamů z plných textů má v současné době dvě podoby - linka TTDE pro práci ve formuláři na lokálních pracovních stanicích (pouze stahování textů přes Internet) a WWW TTDE - kompletní překlopení TTDE na Internet, které je realizováno v r. 2003.

V rámci poloprovozu v r. 2002 byla laděna linka TTDE a ověřována v poloprovozu . V současné době má pracovní formulář, do kterého se extrahují data a ta dále doplňují věcným popisem , 3 strany. V r. 2002 je dále laděn výstup v UNIMARCu . Automaticky je generována URL adresa, SICI, "provizorní" URN, které sleduje filozofii a strukturu stanovenou pro tvorbu URN.Z uložených a editovaných dat se generuje DC, UNIMARC pro ALEPH a klasický UNIMARC, hlavička zobrazovací a indexovací.

Automaticky lze generovat klíčová slova a extrahovat do formuláře. Na výstupu procesu zpracování zabudovaná funkce kódování výsledného souboru záznamů v Ansel, UNICODu a UTF-8 v r. 2001 je ověřena při rutinním ukládání v r. 2002 ( velmi důležitá konverze do UTF-8 vzhledem k nové verzi Alephu). Po odeslání souboru do příslušného adresáře na server full.nkp .cz je tento aplikací vyvinutou v NK naimportován do báze ANL (ALEPH), zaindexován a zpřístupněn v systému TOPIC na serveru full.nkp.cz v podobě plného textu vybaveného metadaty s generovaným UNIMARCem, DC v podobě HTML, XHTML, XML v kvalifikované a nekvalifikované formě.

Vyhledání je možno z plného textu, z metadat v něm uložených - tj. ze strukturovaných údajů (vyhledávání pomocí polí, formulářů,topiků a rejstříků). Zobrazení je možno pomocí tří uživatelských formátů. Je možno tisknou vyhledaný jak seznam článků , tak jednotlivé plné texty .

Zároveň je importován do bibliografické báze ANL UNIMARC pro Aleph.

Záznamy ANL jsou propojeny s plným textem automaticky generovanou adresou v lince zpracování, která je uložena jako statický link v ANL záznamech.

V roce 2002 byly implementovány další topiky (literatura, archeologie, historie, umění, geografie), implementována sekce Země světa a geografie, aktualizovány stávající topiky. Je vypracován návrh na propojení jednotlivých úrovní některých topiků (zatím rozhodnuto nerealizovat). Rovněž se plánuje vývoj obecné šablony topiku pro Země světa a šablony pro generování věcných topiků online z kategorií a předmětových hesel.

Nově byla implementována aplikace pro stahování a export záznamů, dále pak aplikace pro administraci. Probíhaly přípravné práce a návrh internetové verze linky zpracování TTDE.

V roce 2003 byla uzpůsobena linka zpracování bibliogafických záznamů z plných textů TTDE (TamTam Data Extractor) pro práci na Internetu - WWW TTDE a rozšířeny její funkce: možnost zpracovávat plné texty na Internetu s uploadem metadat i bez stažení plného textu, vstupní formáty zip, txt, html, propojení linky na rejstříky báze ANL FULL a na autority (zatím ve formě komponenty O LE ), zabudování funkce Opravy přímo do linky. Formulář pro editování dat byl rozšířen o další pole/podpole UNIMARCU zejména s ohledem na propojení se soubory autorit.

Byly implementovány další topiky, např. země Evropy a ostatní země (49 nových topiků).

V rámci tohoto projektu bude linka v r. 2004 testována.


B.1.1 Architektura systému zpřístupňování plných textů, funkce systému a procesy. Linka TTDE, resp. WWW TTDE. Systém TOPIC a topiky (viz Příloha F2; F 3; F4; F6)

Společnost Anopress IT provozuje bázi TAMTAM na základě spolupráce s vydavateli novin a časopisů. Ze zdrojů této databáze jsou plné texty získávány a prostřednictvím výše popsané programové aplikace dále zpracovávány v Národní knihovně (věcně indexovány) v rámci linky a zpřístupňovány v systému TOPIC v bázi ANL FULL s ohledem na nejnovější trendy v této oblasti (plnotextové pojmové vyhledávání) pomocí tzv. topiků.

Plné texty báze ANL FULL jsou zatím přístupné interním uživatelům NKČR. Externím uživatelům je běžně k dispozici pouze bibliografický popis (metadata), na dobu 7 dnů bylo možno získat v r. 2002 i přístup k plným textům na základě zkušební registrace. V r . 2003 byl omezen vstup pro externí uživatele pouze na 1 den z ohledem na možné komplikace s autorskými právy. Vybraní uživatelé mohou po registraci zkoušet stahování a export metadat a plných textů v různých formátech . Zpřístupnění plných textů externím uživatelům závisí na vývoji a řešení legislativně právních i finančních otázek souvisejících se zpřístupňováním plných textů, na dohodě s vlastníky autorských práv. V roce 2002 proběhla na půdě NK mailová diskuse ohledne začlenění databáze ANL FULL do konzorcia v rámci VISK 8 (multilicenční zpřístupnění báze TamTam a ČTK). Jednání budou pokračovat. V rámci konsorcia by měla být používána i linka zpracování bibliografických záznamů z plných textů.

Možnost zpřístupnění ANL FULL externím uživatelům a v rámci konzorcia se bude řešit v r. 2004.

Inspirací a do jisté míry vzorem pro koncipování báze ANL FULL je databáze ProQuest 5000 a PQ NEXT rozšíření o služby pomocí OpenURL.



B.1.1.1 Architektura systému získávání, zpracování a zpřístupnění plných textů textů v systému TOPIC (báze ANL FULL) a ALEPH (báze ANL) (viz Příloha F2; F3; F6).

On-line získávání dokumentů z databáze TamTam přes vstupní filtr pro linku zpracování - aplikace TT Special NK (TTSNK), textové dokumenty vstupují do linky se strukturovanou hlavičkou, kde jsou dohodnutými znaky a návěštími označeny příslušné údaje . V r. 2003 byla aplikace doplněna o vstup HTML dokumentů z obecné URL (v budoucnu možná další úprava vstupních filtrů podle charakteru získávaných dokumentů z jiných zdrojů a v dalších formátech - pdf, word).

Zpracov ání plných textů (extrakce dat z hlavičky dokumentu, doplnění a generování DC, UNIMARC,URL, SICI, HTML, výstup v ANSEL, UNICODE, UNICODE-UTF 8) - aplikace TTDE (TamTam Data Extractor) zatím na lokálních pracovních stanicích. V roce 2003 vytvořena vari anta pro použití na WWW - WWW TTDE.

Konverze, generování dat v XHTML+-, XML+-, indexace, uložení a vyhledání informací (vyhledávání pomocí textu dotazu, formulářů, topiků, rejstříků) - aplikační a datový server: Portal One SE - fulltextový vyhledávací systém, server Dell PoweEdge 6300 (1 GB RAM, 68 GB, Pentium III). MKINDEX - indexace, generování XML- a XML+, jednorázové aplikace/moduly (TTEXPORT-TamTamExport, TTXMLGen -TamTam XML generator, TTDT-TamTam Data Tester, TTDF-TamTam Data filter, TTDC- TamTam Data Convertor, MKDOC.ASP - propojení bibliografického záznamu s plným textem). Strukturované údaje jsou ukládány v Accessu, v budoucnu nutná SQL databáze pro metadata DC a XML, migrace TOPICu na platformu K2.

Zobrazení a zpřístupnění informací - Interne t Information Server Win 2000 - komunikace v síti, zobrazování dat a metadat v uživatelských formátech (citace bez/s odkazy, výsledky jednoduché, se souhrnem, seskupené) a pracovních formátech (klíčová slova, DC v HTML, XHTML+ -, XML+ -), tisk. Obecné základní informace, nápovědy, autorizace, statistika zobrazených informací přes Internet aj.

Stažení a export záznamů (nové v r. 2002) - formáty a tvary: HTML, RTF, text, XML, UNICODE

Administrace (nové v r. 2002) - úpravy a opravy textů (metadat), statistiky, údržba rejstříků, údržba portálu. V r. 2003 zabudována aplikace pro opravy a údržb u rejstříků/plných textů přímo do linky.

B.1.1.2 Linka TTDE (TamTam Data Extractor) a WWW TTDE (TamTam Data Extractor pro WWW)

( získávání a zpracování bibliografických záznamů z plných textů )

Linka zpracování bibliografických záznamů z plných textů (viz Příloha F2; F6)

Plné texty jsou získávány na základě speciální aplikace TTSNK (TamTam Special NK) z databáze TamTam (Anopress).

Údaje o článku jsou pomocí speciálních maker vkládány v Anopressu do hlavičky textu dokumentu a takto vybavené textové dokumenty jsou ukládány a indexovány a zpřístupňovány v databázi TamTam (TOPIC). Plné texty jsou získávány na základě speciální aplikace TTSNK z databáze TamTam.

Pro vlastní automatickou indexaci článků a plných textů - pro vytváření bibliografických záznamů v UNIMARCU a metadat Dublin Core v různých jeho aplikacích v HTML, XHTML, XML na základě údajů uložených v plných textech - je určena technologie TamTam Data Extractor (TTDE) pro lokální stanice, WWW Tam Tam Data Extractor (WWW TTDE) pro práci na Internetu.

TTDE

Údaje jsou extrahovány z plného textu a na jejich základě je generováno 5 hlaviček (headers). Data jsou zpracovávána pomocí pomocí rozšířeného formuláře pro editaci (detailně popsány ve zpr ávě z r. 2001).

Rozšířený formulář je nástroj vyvinutý pro editaci a doplnění extrahovaných dat. Data je možno upravovat také v hlavičce UNIMARC-A, UNIMARC. Automaticky se generují údaje v rozsahu minimálního záznamu stanove ného pro popis článků (kromě notace MDT), tj. údaje zejména jmenného popisu a kódované údaje. Automaticky se generuje souhrn článku (první věty textu). Pokud je zvolena příslušná funkce, je možno automaticky generovat klíčová slova. Další údaje věcného popisu - předmětové kategorie doplněné MDT, hesla se doplňují. Automaticky se generuje URL, SICI.

Formulář má tři strany. První obsahuje jmenné a věcné údaje, druhá pouze věcné, třetí jmenné a věcné údaje.

Je možno stahovat více článků najednou na základě tématu, názvu článku, názvu zdrojového dokumentu aj. údajů (pro stahování je možné využít i verzi TamTam Standard - TTS).

Pracovník oddělení analytického zpracování NK nejprve vybere a vyhledá příslušné články ke zpracování v této databázi. Poté proběhne stažení vybraných článků na počítač příslušného pracovníka v podobě komprimovaného souboru. Po jeho dekompresi je text článku naimportován do příslušného adresáře. Po otevření formuláře ke zpracování se objeví v levém části formuláře seznam názvů článků. Po kliknutí na článku se automaticky objeví údaje o článku, které jsou obsaženy v jeho ve formuláři a příslušných hlavičkách. Po kontrole takto extrahovaných údajů z plného textu se doplňují další bibliografická metadata zejména věcné povahy. Poté je soubor zpracovaných článků odeslán. Tímto způsobem jsou ypracovávány všechny celostátní deníky a některé odborné časopisy.

Po doplnění formuláře je po odrážce různé je možno nastavit tvar výstupní hlavičky pro UNIMARC-A nebo UNIMARC a spustit ruční vstup dat, nastavit kód výstupních dat (Ansel, UNICODE, UTF-8). Standardně nastaven výstup UNIMARC-A v kódu UTF-8.

Následuje odeslání záznamů pomocí volby odeslat na dolní liště, import do A LEPHu (program vyvinutý v NK), import na server full.nkp.cz.

TTDE WWW

Li nka pro zpracování na WWW se liší designem, možností více typů vstupů co do formátů, většími možnostmi editace, její formulář pro editaci obsahuje 4 hlavičky detailně strukturované zejména s ohledem na strukturu autoritních údajů (z formuláře vyřazeno SICI, SICI se generuje a automaticky vkládá do příslušných metadat, aniž by ho katalogizátor musel vidět ve formuláři). Lze stahovat a doplňovat metadata s para le lním uložením těchto metadat do plného textu a jeho stažením na server. Lze natahovat a editovat metadata určitého pln ého textu bez stažení tohoto textu do báze.

Z jednotlivých údajů je možno se napojit na rejstříky báze ANL FULL, v současné době se testuje varanta napojení linky na soubory autorit. Je implemenován modul pro opravy v podobě další hlavičky. Původní základní funkce TTDE byly zachovány.

LINKA WWW TTDE - popis:

Vstupní strana - hlavní funkce: načíst soubory, načíst URL, spustit Linku

  • Načíst soubory (stažené na lokální počítač):
    Načíst soubory pro zpracování: pouze zip, txt, html a to: z databáze TamTam, z databáze ANL FULL, z jakéhokoli URL - až 10 souborů.
    Poslat soubory na full.nkp.cz a spustit TTDE (otevřít formulář pro zpracování).

  • Načíst URL:
    Stáhnout zadaná URL (přímo z WWW) - až 10 souborů.

    Spustit TTDE (otevřít formulář pro zpracování).

  • Spustit Linku
    Extrakce metadat, editace pomocí 4 hlaviček formuláře, hlavička pro zobrazení textu, hlavička UNIMARC - generovaný UNIMARC, hlavička UNIMARC A - generovaný UNIMARC pro ALEPH, v budoucnu MARC 21, zobrazovací a indexovací hlavička, hlavička Opravy, hlavička … (tj. různé)

    Hlavička Opravy: umožňuje opravy rejstříků ANL FULL a metadat v plných textech - komplet nová funkce (nahrazuje opravy původně připravené v Administraci)
    Po vyhledání údaje v příslušném rejstříku lze údaj zrušit, opravit nebo vypsat všechny články databáze, které tento údaj obsahují, tj. lze opravit záznamy a následně znovu přenést do databáze ANL FULL nebo nalezené články úplně zrušit. Funkce se ještě bude ladit.


    Hlavička … (tj. různé) - zachovává stejné funkce jako ve TTDE, navíc možnost stahovat z URL.

  • Formulář pro editaci (tj. hlavičky pro editaci aplikace WWW TTDE) a stahování z rej s tříků ANL FULL a souborů autorit.
    Možnost stahování údajů do formuláře a přepisování údajů zanesených do formuláře z rejstříků ANL FULL v rámci příslušných položek formuláře pro editaci.

    Údaje se mohou přenášet najednou do jednoho podpole příslušného pole UNIMARC nebo se mohou po označení příslušné funkce, natahovat do příslušných podpolí.

  • Možnost stahování údajů do formuláře a přepisování údajů zanesených do formuláře ze souborů autorit v rámci příslušných položek formuláře pro editaci.
    Tato část aplikace je v řešení. Bude na podobném principu jako popsané stahování z rejstříků ANL FULL. V současné době probíhá zprovoznění komponety OLE v rámci Z.39 50 klienta pro propojení linky na autority. Pokud se osvědčí (a pokud bude schválen navrhovaný projekt), bude aplikováno plné propojeni linky na autority v rámci Z39.50 klienta .

  • Aplikace WWW TTDE se bude v roce 2004 ladit a testovat.


LINKA WWW TTDE - přehled funkcí a podporovaných formátů:

Funkce TTDE WWW pro spuštění aplikace:
a) zobrazit panel pro zadání až 10ti vstupních souborů v daném formátu
b) zobrazit panel pro zadání až 10ti různých url adres (http://
c) spustit linku

Podporované vstupní formáty a extenze, interní a externí URL, extrakce metadat :

1) vstup článků získaných v rámci přístupu do báze TamTam (Anopress) pomocí TTSNK
2) vstup článků z mediální databáze Anopress
3) vstup z báze ANL FULL
4) vstup článku na základě obecné URL (soubor na disku nebo adresa na webu)

Soubory mohou mít extenzi htm, html nebo txt.

Používají se dva typy adres URL v poli 856: interní (URL v rámci báze ANL FULL) a externí (jinde na WWW).

Možnost extrakce metadat s paralelním stažením plného textu nebo bez, s příslušnou URL.

Při načteni URL je možné v hlavičce Text zrušit text a ponechat jen externí URL, nebo ponechat text, intern í i externí URL, je možno přenášet údaje ze zdrojového kódu stránky do údajů ve formuláři. Je možno nakonec vytvořit metadatový záznam pouze s propojením na plný text jinde než v bázi ANL FULL.

Je možné pracovat s obecnou URL adresou buď z menu různé nebo při startu možnost použít formuláře pro zadání až 10ti různých URL.

Možné použití TTDE a WWW TTDE

Linka (obě varianty) je použitelná po úpravě vstupním filtrem i na data existující v jiné databázi, event. v komunikaci mezi autorem, nakladatelstvím, bibliografickou agenturou a naopak. V případě vhodné situace je možno WWW TTDE po otestování použít v rámci kooperačního systému.

Pro data z www se předpokládá však do jisté úrovně strukturovaný vstupní text, ze kterého data mohou být extrahována.

V této struktuře mohou být zachyceny údaje nejen jmenné povahy (autor apod.), ale i povahy věcné (klíčová slova, abstrakt).Ty je potom možno převést pomocí vstupního filtru do linky automatické indexace k dalšímu zpracování. V neposlední řadě je možnost automatického zpracování závislá na způsobu organizace práce s těmito texty a jejich umístění v eventuelní databázi.

V případě neexistence těchto dat, data musí být komplet doplněna.

Linka zpracování zabudovaná do předpokládaného možného vývoje (viz Příloha 2).

B.1.1.3 Konverze do XML, XHTML, indexace, propojení, uložení, vyhledávání a zpřístupnění informací v systému TOPIC, topiky (viz Příloha F 3)

Pro propojení plných textů s bibliografickými záznamy v systému ALEPH (doplnění URL adres do záznamů ) byl vytvořen skript MKDOC.ASP. Propojení probíhá ne základě dynamicky generovaného odkazu na dokument. Program vyhledá požadovaný dokument dle identifikace (identifikační číslo), provede statistiku a kontrolu autorizace a na jejím základě zobrazuje plný text, abstrakt (souhrn) a citaci dokumentu v rámci databáze ANL FULL.

Pro indexaci dat do fulltextové databáze (ANL FULL) v NK byl vyvinut program MKINDEX

Věcná indexace

Automatická indexace věcná je závislá na vytvoření tezaurů řízených heslářů s vazbou na klasifikační notaci v podobě MDT (UDC) oproti kterým je porovnáván plný text a na základě tohoto porovnání přidělovány příslušné věcné termíny. V rámci projektu Propojení analytických záznamů s plnými texty je prováděna v roce 2002 analýza problematiky automatické či poloautomatické indexace (viz výše). Z výše uvedené analýzy vyplývá, že zřejmě nebude řešena indexace automatických přiřazováním věcných termínů. V současné době jsou funkční některé formy automatické extrakce, do budoucna lze uvažovat a podpoře intelektuální věcné indexace a možnosti generování věcných topiků on line, o zabudování výrazů odborných tezaurů do topiků, o využití interaktivních vlastností TOPICu. Migrace TOPICu na platformu K2 uvažovaná v předkládaném projetu v rámci 1N programu MŠMT by umožnila o automatizovanou tvorbu kategorií.

Pro vyhledávání v datech ve fulltextové databázi jsou vyvinuty formuláře pro vyhledávání jednoduché, pokročilé, pokročilé s tématy (topiky). Vyhledávat lze též podle rejstříků. Vyhledávání probíhá v systému TOPIC a definice formulářů vychází z jeho filozofie.

V rámci projektu Pro pojení analytických záznamů s plnými texty a v projektu Souborná databáze jsou v r. 2002 vytvořeny a implementovány připraveny další topiky, a to literatura, archeologie,historie, umění, geografie. V r. 2003 bylo vytvořeno např. 49 nových deta ilních topiků pro tematickou oblast Geografie ( v rá mci ní pro skupinu témat Evropa a Ostatní země světa, celkový počet 49 topiků ).

Stávající topiky jsou průběžně aktualizovány.

Výhledově je existuje hypotetická možnost propojení jednotlivých úrovní topiků. Je možno uvažovat o postupném zabudování materiálu získaného věcnou indexací v rámci linky do tematických topiků, které by byly složeny z údajů uvedených v kategoriích a z údajů, uložených ve vstupních prvcích předmětových hesel.

V rámci projektu Propojení analytických záznamů probíhají v roce 2003 též další práce na řízeném slovníku pro periodikum Národní knihovna. V uvažovaném novém projektu je plánovaná spolupráce s odbornými knihovnami v rámci kooperačního systému a o rozšíření báze ANL FULL o některá odborná periodika. Na jejich základě by bylo možné dále rozvíjet topiky pro příslušná periodika.

Plné texty a metadata jsou zpřístupňována pomocí uživatelských formátů a údaje DC jsou aplikována ve formátu HTML, XHTML a XML.


B.1.2 TOPIC (charakteristika) ( Příloha F 3, F4)

TOPIC je produkt americké firmy Verity,v současné verzi Portal One.V ČR TOPIC a další produkty založené na stejné technologii dodává firma TOVEK, s.r.o.

Základní charakteristika systému

  • Fulltextový pojmově orientovaný vyhledávací systém, pojmové vyhledávání (concept retrieval) pomocí strukturovaných dotazů (topiků)

  • Hodnocení důležitosti, relevance vyhledaných dokumentů vzhledem k dotazu (relevance ranking), váhy

  • Kvantifikace obsahu dokumentů

  • Shlukování dokumentů podle společného kontextu (clustering) a vytváření automatické anotace - sumarizace (summarization)

  • Interaktivní vyhledávací systém - hledání dokumentů s podobným obsahem - volný dotaz (Free Text Query), dotaz příkladem (Query By Example)

  • Dotaz formulovaný uživatelem - výraz složený ze slov a frází, který hledáme v dané databázi

  • Topik - je předem definovaný uložený strukturovaný dotaz, resp. téma, které je tvořeno slovy, frázemi, operátory a modifikátory; obsahuje informace o předmětu hledání

  • Topik má podobu pojmového stromu, na jeho nižších úrovních (větvích) jsou množiny dalších pojmů, resp. témat, která jsou tvořena dále nedělitelnými klíčovými slovy (listy)


  • Pojmový strom tvoří vyhledávací podmínku pro dokumenty týkající se určitého tématu

  • Topik je konceptuální popis znalosti o dané problematice ve formě znalostního stromu

  • Definice topiků tvoří tzv. znalostní bázi .



Konstrukce topiku

  • jednotlivé větvě topiku, pojmy resp. témata, podpojmy, resp. podtémata a klíčová slova jsou připojena k vyšší úrovni operátory

  • důležitost pojmů resp. témat, podpojmů resp. podtémat vzhledem k ostatním je určena váhami

  • topik se vytváří speciálním editorem

  • předpoklad: dobrá znalost operátorů a orientace v dané oblasti.



Nabízí se zde jistá formální analogie k hierarchickému selekčnímu jazyku systémové notace MDT.

Je však třeba zdůraznit, že topiky jsou tvořeny podle skutečnosti, MDT je víceméně taxativní systém jednotlivých oborů, nikoli témat. Proto je třeba k definici topiků přistupovat svébytně.

Operátory

listové operátory: WORD, STEM, SOUNDEX, WILDCARD, THESAURUS, SUGGEST a TYPO

proximitní operátory: PHRASE, SENTENCE a PARAGRAPH

koncepční operátory: AND, OR a ACCRUE

logické operátory: ANY a ALL a relační operátory: rovnost `=', větší než `>', větší nebo rovno `>=', menší ne ž `<', menší nebo rovno `<=', MATCHES, SUBSTRING, C CONTAINS, STARTS, ENDS

ACCRUE sbližuje operátor AND a OR: “čím více různých klíčových slov nalezeno, tím je dokument důležitější“, řeší dilema mezi přesností a úplností.

Váhy lze použít pouze u uzlů připojených pomocí koncepčních operátorů (AND, OR a ACCRUE); pokud váhu u připojovaného uzlu neuvedeme, použije se standardní váha - pro AND a OR 1.00, pro ACCRUE 0.50.

Přiřazením váhy k určitému uzlu určujeme, jak (od 0.01 do 1.00) se určitý uzel podílí na celkovém skóre daného dokumentu při výběru; změnou vah je možno změnit pořadí dokumentů v seznamu dokumentů dle skóre relevance.


B.1.3 Charakteristika serveru full.nkp.cz a báze ANL FULL, Periodika na WWW - portál (viz Příloha F3, F4)

Server full.nkp.cz je určen primárně ke zpřístupňování plnotextových dokumentů, zejména těch, které jsou obsaženy v periodicky vydávaných dokumentech české provenience.

B.1.3.1 Základní členění stránek - základní a dílčí nabídky

Stránky jsou tvořeny horním pruhem a základní částí (hlavním prostorem). Horní pruh (frame) je přístupný stále, obsahuje v horní části dynamické rozbalovací menu s jednotlivými nabídkami základních a dílčích funkcí. V základní části se zobrazují požadované funkce.

Obecné (základní) informace


Charakteristika db
(projekty, charakteristika serveru, charakteristika báze ANL FULL)
Další databáze
(databáze NK - charakteristika báze ANL)
Periodika na WWW
(volně dostupná periodika na www)
Další informace
(seriály-periodika a analytický popis články v České republice)

Vstup do db (ANL FULL)

Jak se zaregistrovat (komentář)
Registrace
(formulář)
Přihlášení
(formulář)

Vyhledání (ANL FULL)

Jak vyhledávat (metodika)
Formuláře (i stahování e export plných textů)
Rejstříky (i stahování a export plných textů)


B.1.3.2 Charakteristika databáze ANL FULL (obsah, zdroje) (viz Příloha F4a)

Databáze ANL FULL - fulltextové vyhledávání ve vybraných článcích z novin a časopisů zatím s retrospektivou od r. 1997 (periodikum Národní knihovna od r. 1990). Data báze je provozována na serveru full.nkp.cz v systému TOPIC.

Plné texty jsou vybaveny citací (bibliografický popis, resp.metadata), automaticky tvořeným souhrnem (začátek článku).

Vyhledávání je možné z každého slova z textu, pomocí slov i frází, pomocí bibliografických údajů, dále pak tzv. topiků (definovaných dotazů, resp. témat v rámci jednotlivých oborů). Topiky v r. 2002 jsou rozděleny do tří úrovní: tematické oblasti (8), skupiny témat (25), detailní témata (zatím 113). Topiky v r. 2003: tematické oblasti (8), skupiny témat (28), detailní témata (zatím cca 197).

Báze obsahuje následující tematické oblasti (8):

- Ekonomika, obchod, finance

- Hospodářství, výroba

- Kultura a umění

- Země světa a geografie

- Humanitní a společenské vědy

- Matema tika a přírodní vědy

- Lékařství, zdravotnictví, technika

- Sport volný čas

Výběr plných textů a tematický záběr koresponduje s výběrem článků ke zpracování pro bázi ANL (kategorie titulů, úplnost excerpce a typy článků, tituly viz dříve). Výběr titulů - v současné době celostátní deníky ( celkem 6) a některé časopisy (Bankovnictví, Ekonom, Euro , Kapitál, Magazín Práva, Pátek Magazín LD, Profit, Respekt, Reflex, Týden, Květy - celkem 17).

 

B.1.3.3 Další databáze (ANL) (viz též A.2, B.1 dále, Příloha F1)

Souborná databáze báze ANL obsahuje bibliografické záznamy vybraných článků novin, časopisů a sborníků zpracovávaných v rámci Kooperačního systému článkové bibliografie (KOSABI). Databáze vychází jako řada České národní bibliografie (kategorie titulů, úplnost excerpce a typy článků, tituly viz dříve). Vyhledávání je možné z údajů bibliografického popisu. Záznamy zpracovávané v lince TTDE jsou propojeny na plné texty umístěné v bázi ANL FULL. Báze ANL obsahuje navíc linky na plné texty některých periodik a plná znění některých zákonů volně dostupných na na WWW (odborná knihovnická periodika - Ikaros, U nás, Bulletin SKIP, Knihovní obzor, Národní knihovna - celkem 5), další odborová periodika (Veřejná správa, Vesmír, Lesnická práce, Literární noviny, Psychologie Dnes, Harmonie, Psychiatrie, Jezuité, Collection of Czechoslovak Chemical Communications, Kriminalistika, Bulletin advokacie, Souvislosti, Moderní řízení, Československý časopis pro fyziku, Chemické listy, HOST, Odpady, Tvar, Země Světa, Revue cír kevního práva, Obec a finance, Právní rádce - u tohoto časopisu připojené plné texty některých zákonů, Národní knihovna, U nás, Ikaros, Bulletin SKIP - celkem počet 22).

Výběr titulů a článků ke zpracování.

Obsah:

V analytické bibliografii jsou obsaženy tyto obory : filozofie, psychologie, knihovnictví, náboženství, politika, ekonomika, ekonomie, sociologie, právo, pedagogika matematika, přírodní vědy, lékařství (okrajově), technika a průmysl, hudba, film, výtvarné umění, sport (omezeně), jazykověda a liter atura, historie, geografie a všeobecnosti.


B.1.3.4 Periodika na WWW - portál (viz Příloha F3)

Nabídka volně přístupných periodik na Internetu se dále bude doplňovat, event. jejich uspořádání měnit. Nejsou zde zahrnuta periodika firemní, inzertní, bulvární, propagující hnutí potlačující lidská práva, sportovní, zpravodajská (zprávy z tiskových agentur bez dalšího kontextu) aj. periodika efemérní povahy.

U každého periodika je uveden oficiální název, www adresa, popis obsahu, vydavatel, tel., fax, e-mail, adresa. V budoucnu bude možno podle těchto údajů vyhledávat. Nabídka není ještě zdaleka proporcionální, postupně se ladí. V roce 2003 je v portálu zahrnuto 98 regionálních periodik (toho 15 momentálně nepřístupných), 76 oborových periodik.

    Dílčí nabídky :
  • regionální periodika (uspořádaná podle krajů)

  • oborová periodika (uspořádaná podle oborů)

    • Oborová periodika jsou členěna do skupin a v rámci nich do jednotlivých oborů a oblastí:
    • Kultura, umění
      - film, televize
      - -hudba
      - divadlo
      - literatura

    • Odborná periodika
      - architektura
      - astronomie
      - přírodní vědy
      - filozofie
      - psychologie
      - ekonomika
      - historie
      - knihovnictví
      - lékařství
      - stavebnictví
      - technika, IT
      - právo

    • Společnost
      - náboženství (církev, religionistika)
      - životní styl
      - politika (politická scéna, zprávy, komentáře a glosy událostí)

    • Zahraničí, zajímavosti, cestování

    • Zájmy (hobby)

    • Ostatní


  • Další zdroje

    Další zdroje periodik dostupných na WWW (některé informační agentury, zpravodajské servery, nakladatelství, vyhledávače, brány a portály).




B.1.3.5 Jak se zaregistrovat (komentář k registraci v databázi ANL FULL) (viz Příloha F3)

Bibliografické údaje o článcích, resp. metadata a plné texty jsou k d i spozici čtenářům Národní knihovny. Pro externí uživatele jsou běžně k dispozici pouze bibliografické údaje o článcích. Tito uživatelé se musí pro získání plného textu zaregistrovat pomocí formuláře v nabídce Registrace. Po vyplnění povinných údajů bude těmto uživatelům zasláno e-mailem potvrzení registrace s aktivačním odkazem a heslem - po odeslání tohoto odkazu je registrace aktivována a prostřednictvím přiděleného hesla zajištěn bezplatný zkušební přístup na dobu sedmi dnů v roce 2002.

V roce 2003 bylo toto zpřístupnění omezeno na 1 den z důvodu možné reakce některých společností s ohledem na copyright elektronických forem periodik. Řešení je třeba hledat. Rutinní zpřístupňování plných textů bude možné po vyřešení autorskoprávních, popř. ekonomických otázek souvisejících se zpřístupňováním plných textů. Po registraci a přihlášení mohou také vybraní uživatelé stahovat a exportovat plné texty a metadata.

Nabídka Přihlášení slouží k autentifikaci registrovaného uživatele. Ve formuláři pro přihlášení je třeba vyplnit jméno a přidělené heslo.


B.1.3.6 Jak vyhledávat a způsoby zobrazení (stručný přehled) (viz Příloha F3)

Báze ANL FULL obsahuje jak bibliografické popis v různé míře podrobnosti podle vývoje systému, tak plný text, přičemž obě tyto části jsou indexovány a lze z nich paralelně vyhledávat a docílit tím větší míru relevance výsledku vyhledávání k položenému dotazu.Vyhledávat lze též pomocí rejstříků. Systém TOPIC navíc umožňuje pojmové vyhledávání podle témat, resp. topiků (viz dříve i dále).TOPIC umožňuje velmi sofistikované kladení dotazů vyžadující určitou zkušenost. Na druhé straně je možné položit dotaz velmi jednoduchým způ sobem.

Formuláře - tři základní formuláře podle pokročilosti vyhledávání - základní, rozšířený, rozšířený s tématy, resp. s topiky (viz dále).

Rejstříky - nadefinováno 17 rejstříků, podoba rejstříků se bude dále optimalizovat (viz dále).

Dotazy - druhy dotazů se liší náročností formulace a možností ovlivnit výsledek vyhledávání (viz dále) .

Prostý dotaz

Obsahuje slova nebo fráze oddělené čárkami nebo logickými spojkami, formulace mohou obsahovat různé konvence. Při vyhledávání se všechna slova skloňují a mají stejnou váhu.

Formulářový dotaz

Obsahuje kromě možnosti pro zadání hledaného slova nebo fráze jako u prostého dotazu i pole pro zadání podmínek pro jednotlivé položky strukturované části textové databáze. Jde o rozšíření prostého dotazu.

Tematický dotaz, resp. topik - definuje jednotlivá témata.

Topik je typ dotazu, na jehož základě se vyhledají dokumenty, které se týkají určitého tématu, oboru nebo problému.

Topiky jsou rozděleny v bázi do tří úrovní. Lze vyhledávat podle některých nadefinovaných topiků (označeny šipkou vlevo). Úrovně topiků je možno p ostupně propojovat a jednotlivé topiky ladit. Perspektivy topiků v ANL FULL viz výše B 0.

Tematický dotaz je vytvořen v podobě nadefinovaného pojmového stromu v bázi. Skládá se z pojmů - slov, charakteristických pro danou oblast. Ty pak tvoří listy stromu. Témata lze samostatně zároveň používat v prostých i formulářových dotazech. Napojení listů/témat na další úroveň je zajištěno operátorem a přidělením váhy tomuto listu/tématu. Váhy ovlivňují skóre dotazu.TOPIC postupuje od listů až k vrcholu stromu a postupně vypočítává skóre. Topiky viz dále.

Pole

Pole dotaz, resp. text dotazu - obsaženo ve všech formulářích.

Implicitní pole - obsažena v rozšířeném formuláři a v rozšířeném formuláři s tématy .

Vazby mezi polem dotaz, dalšími poli a tématy

  • vazba dotaz-pole - vztah mezi polem dotaz a dalšími poli v rozšířeném formuláři pro vyhledávání

  • vazba mezi poli - vztah mezi jednotlivými dalšími poli v rozšířeném formuláři pro vyhledávání

  • vazba mezi tématy - vztah mezi zaškrtnutými tématy v rozšířeném formuláři pro vyhledávání s tématy

  • vazba dotaz - téma - vztah mezi polem dotaz a tématy jako celkem v rozšířeném formuláři pro vyhledávání s tématy

Způsoby zobrazení seznamu výsledků (názvů vyhledaných článků) - viz dále.

V záhlaví seznamu výsledků uveden počet vyhledaných článků, možnost listovat v seznamu výsledků.

Seznam výsledků (názvů vyhledaných článků):

  • jednoduchý (standardní zobrazení)

  • se souhrnem (standardní zobrazení plus souhrn)

  • seskupený (standardní zobrazení plus články uspořádané do skupin podle shody v klíčových slovech podle společného kontextu, clustering) - ve verzi TOPIC 3.7 se tato funkce v současné době zprovozňuje

Třídění seznamu výsledků (názvů vyhledaných článků) - viz dále.

Názvy článků je možno zobrazit od určité hranice skóre relevance, v určitém počtu na stránku a třídit dle skóre, názvu, zdroje, data, strany, a to vzestupně či sestupně.

Zobrazení údajů o článku - viz dále.

  • uživatelské formáty

  • pracovní formáty



B.1.3.7 Vyhledávání - metodika

Vyhledání probíhá fulltextovou formou, tj. z plného znění jednotlivých dokumentů a z jejich citace, resp. metadat, resp. bibliografického popisu. Systém rozeznává pádové koncovky podstatných a přídavných jmen. Lze vyhledávat podle jednoduchého slova nebo fráze. U rozšířeného formuláře a u rozšířeného formuláře s tématy lze nastavit (ve spodní části formuláře) pro implicitní pole formuláře vyhledávání podle výskytu řetězce kdekoli v poli pomocí operátoru <contains>. Pokud je vyžadováno přesné zadání i porovnání celého řetězce použijeme =. Tyto operátory lze zapsat také přímo do pole dotaz, resp. hledat v textu. Operator <contains> lze v tomto případě zapsat jednoduše jako #. V tomto případě nastavení operátorů nemá vliv při hledání z polí pomocí návěští a při použití různých konvencí (savored, *, atd.). Doporučujeme však v případě nejistoty nasatvení <contains>.


B.1.3.8 Formuláře (viz příloha F3)

Jsou k dispozici tři typy formulářů vzhledem k pokročilosti způsobu vyhledávání a možnostem kombinací při vyhledávání. Jednotlivé funkce formulářů a metodika zápisu údajů pro vyhledávání viz dále.

Základní formulář
Nabídky:

Dotaz - hledat v textu (formulace dotazu)
Období pro vyhledání od do
Typ seznamu výsledků (článků):

jednoduchý (pouze název s nabídkou zobrazovacích formátů)
se souhrnem (plus souhrn, který tvořený počátečními větami článku)
seskupený (skupiny článků uspořádané podle shody v klíčových slovech) viz též výše.

Rozšířený formulář
Nabídky:

Obsahuje stejné nabídky jako základní formulář, navíc pak vyhledávání podle implicitních polích ve struktuře formuláře . Je možno zvolit, zda vyhledávat v těchto implicitních polích způsobem <contains> nebo způsobem =. Pro seznam výsledků je možno navíc navolit oproti základnímu formuláři skóre relevance, od které zobrazovat články, zobrazit určitý počet článků na stránku, dále třídit dle skóre relevance, názvu, zdroje,data vydání, stran, a to sestupně či vzestupně.

Hledat v textu - odpovídá poli Dotaz v základní formuláři (formulace dotazu)
Období pro vyhledání od do

Implicitní pole:
název, autor (s nabídkami pro jednotlivé údaje)
číselné údaje (s nabídkami pro jednotlivé údaje)
předmět (s nabídkami pro jednotlivé údaje)

další nabídky: typ článku (s nabídkami pro jednotlivé typy článků)
 zdrojový dokument (s nabídkami zdrojových dokumentů)


Způsob vyhledání řetězců (v implicitních polích):

<contains> (postačí výskyt řetězce v poli)
= je požadováno přesné zadání i porovnání řetězce

Typ seznamu výsledků (článků):
jednoduchý (pouze název s nabídkou zobrazovacích formátů)
se souhrnem (plus souhrn resp., který tvořený počátečními větami článku)
seskupený (skupiny článků uspořádané podle shody v klíčových slovech) viz též výše
Skóre (relevance, od které zobrazovat články)
Výsl./str. (počet článků na stránku)

Třídění: dle skóre (relevance)
dle názvu
zdroje
data (vydání)
stran
a to sestupně nebo vzestupně.

Rozšířený formulář s tématy
Nabídky:

Tento formulář má stejné nabídky pro vyhledávání jako rozšířený formulář, umožňuje vyhledávat navíc podle témat, resp. topiků, resp. dotazů. Pro bázi ANL FULL jsou nadefinovány některé topiky, rozdělené do tří úrovní.Topik slouží k tomu, že hledaný výraz vyplněný do textu dotazu a různě zpřesňovaný je navíc upřesněn topikem, tj. tématem. Např. hledáme-li v bázi výraz hvězdy, výsledek obsahuje několik tisíc dokumentů. Specifikujeme-li tento výraz pro vyhledávání v rámci stronomie, najdeme pouze několik set dokumentů.



B.1.3.9 Metodika vyhledávání

Uživatel zvolí typ vyhledávacího formuláře popř. změní jeho implicitní parametry. Vlastní dotaz potom je možné zadat několika způsoby.

  • V poli dotaz, resp. text dotazu pomocí běžných konvencí nebo návěští pro pole (pole dotaz v základním formuláři, text dotazu v rozšířeném formuláři či text dotazu v rozšířeném formuláři s tématy). Jsou nadefinována návěští pro vyhledávání v jednotlivých polích bibliografických údajů, resp. metadat, resp. citace

  • V implicitních formulářových polích pomocí údajů obsažených v polích bibliografického popisu, resp. metadat, resp. citace a zadáním volby <contains> nebo = pro způsob vyhledání řetězců

  • Dotaz lze zadat v kombinaci s omezením období volbou pro období od do ve všech formulářích.

  • Pomocí témat - topiků (tématických dotazů) připravených v roletových menu v levém pruhu rozšířeného formuláře v tématy
  • Kombinací výše uvedených způsobů :

  • - Základní formulář - kombinace pole dotaz, období pro vyhledávání
    - Rozšířený formulář - kombinace dotazového pole, období pro vyhledávání, implicitní pole ve formuláři, nastavení <contains> (hledání po slovech) či = (hledání podle přesného řetězce - podle přesného řetězce je lépe hledat pomocí rejstříků)
    - Rozšířený formulář s tématy - kombinace dotazového pole, období pro vyhledávání, implicitní pole ve formuláři, nastavení <contains> či =, témata

  • Pomocí rejstříků (které jsou tvořeny údaji v příslušných polích)


Pole dotaz, resp. text dotazu

Nejjednodušší dotaz tvoří jediné slovo, fráze.Pro zadávání složitějších nebo víceslovných dotazů je možno použít logické operátory (and, or, not a další), případně další konvence,např. zástupné znaky (wildcards) - viz dále bod Př.1-9. Uvedením návěští se vyhledávání omezuje na příslušné pole - Př. 10-12 .

Základní operátory:
and - v poli jsou obsaženy všechny hledané výrazy
or - pole obsahuje alespoň jeden hledaný výraz
not- hledaný výraz nesmí být v poli přítomen


Konvence pro všechny formuláře - pole dotaz, resp. text dotazu

Př. 1
hvězdy
Vyhledají se dokumenty, které obsahují různé gramatické tvary zadaného slova (hvězdy, hvězdám...).

Př. 2
hvězdy, asteroidy, planetky
Vyhledá dokumenty, které obsahují různé gramatické tvary slov „hvězdy“ nebo "asteroidy" nebo "komety" (čárky lze nahradit operátorem or nebo <accrue>, který je přesnější).

Př.: 3
(hvězdy, asteroidy) and komety
Vyhledá dokumenty, které obsahují různé gramatické tvary slov "hvězdy" nebo "asteroidy" a zároveň s nimi nebo některými z nich i slovo "komety:.

Př. 4
(hvězdy and asteroidy) not komety
Vyhledá dokumenty, které obsahují různé gramatické tvary slov "hvězdy" i "asteroidy" a zároveň neobsahují slovo "komety".

Př.: 5
komety <near> kolize
Vyhledá dokumenty, které zároveň obsahují různé gramatické tvary slov "komety" i "kolize", a seřadí je podle textové vzdálenosti mezi těmito slovy.

Př. : 6
"meteorický roj" or "padající hvězdy".
Vyhledá dokumenty, které obsahují různé gramatické tvary frází "meteorický roj"
nebo "padající hvězdy".

Př.: 7
meteo*
Hvězdičková konvence: Vyhledá dokumenty, které obsahují slova začínající na "meteo" (meteor, meteorický, apod.).

Př. : 8
*stvo
Hvězdičková konvence: Vyhledá dokumenty, které obsahují slova končící na "stvo" (družstvo, mužstvo, apod.) .

Př.: 9
??běr
Otazníková konvence: Vyhledá dokumenty, které obsahují slova končící na "běr" a sestávající z pěti znaků (výběr, záběr, ap

Návěští pro všechny formuláře (vyhledávání v polích) - Návěští zapisovaná v poli dotaz, resp. text
Př.: 10
Data
dat <contains> 8.10.2001
dat# 8.10.2001
dat=8.10.2001
Vyhledá všechny dokumenty vydané v tomto dni.

Pozn.: Datum vydání lze jednodušej i navolit v nabídce období od do ve všech formulářích. Zde je možno označit den či interval.

Vyhledá všechny dokumenty zpracované v tomto dni

Př.:11
zdr=Respekt and naz=Rafinovaný odraz skutečnosti
src=Respekt and ti=Rafinovaný odraz skutečnosti
dc.source=Respekt and dc.title=Rafinovaný odraz skutečnosti

Vyhledávání podle obsahu polí: vyhledá dokumenty názvu zdroje (Respekt) s přesným názvem článku (Rafinovaný odraz skutečnosti). Návěští jsou v češtině nebo v konvenci Dublin Core nebo v angličtině. Text dotazu lze rozšířit o vyhledávání podle dalších polí (návěští viz Tabulka návěští dále). Na tento typ dotazu nemá vliv nastavení <contains> či = ve spodní části formuláře. Pro začátečníky je tento typ dotazu komplikovaný, doporučujeme vyhledávat přímo z rozšířeného formuláře, kde jsou implicitně pole nastavena. V tomto případě je třeba označit volbu <contains> či = v nabídce formuláře v spodní části rozšířeného formuláře.


Př. 12
zdr <contains>Respekt and naz <contains>odraz
src<contains>Respekt and ti<contains>odraz
dc.source<contains>Respekt and dc.title <contains>odraz

Operátor <contains> lze nahradit #:

zdr#Respekt and naz#odraz
src#Respekt and ti#odraz
dc.source#Respekt and dc.title#odraz
Vyhledá dokumenty z názvu obsahující slovo "Respekt" a z názvu článku obsahující slovo "odraz"

.


Tabulka návěští pro pole dotaz a Prvky Dublin Core a Anl Core aplikované v bázi ANL FULL (viz Příloha F4b)
Využito 14 prvků DC, navíc přidán DC.Subtitle (vzhledem k minimálnímu záznamu pro ANL), 14 prvků AC (ANL CORE) definovaných pro vyhledávání a užívaných v popisu článku . Vzhledem k WWW TTDE a rozšíření formuláře pro editaci o některé prvky bude zřejmě potřeba rozšířit v budoucnu ANL Core.

Je-li případě tečkové konvence s dc (Dublin Core) použita ještě tečková konvence s anl, používá se konvence s anl (Anl Core). Rovněž nepoužívejte návěští phnk, ale jeho alternativu.

Pozn.: při kombinaci návěští nemá na vyhledávání vliv nastavení <contains> a =.

Př: zdr=Lidové noviny

Zvýraznění vyhledaných údajů pomocí dotazového pole

Údaje, které nejsou vyhledávány pomocí polí jsou zvýrazněny červeně v citaci článku i v textu článku.

Údaje, které jsou vyhledávány pomocí návěští (polí) nejsou zvýrazněny červeně, jsou obsaženy v citaci článku.

Spíše než návěští doporučujeme používat formulář s implicitně nastavenými poli.

Formulářová pole s implicitními údaji v rozšířených formulářích. Přehledná tabulka metodiky pro vyhledávání (viz Příloha F 4c)

Jednotlivé údaje lze kombinovat pomocí operátorů and, or, not. Ve spodní části obrazovky je možno nastavit vyhledávání <contains> - pro vyhledání daných řetězců kdekoli v poli, tj. po slovech, nebo = vyžadujeme-li přesné znění řetězce. Pro přesná znění je lépe využívat rejstříky. Všeobecně je lépe nastavit operátor <contains>.

Údaje, které jsou vyhledávány pomocí implicitních polí, nejsou zvýrazněny v plném textu červeně.

Vyhledávání pomocí topiků - Rozšířený formulář s tématy (viz Příloha F3, F4d)

Tématem se rozumí předem připravený složitý dotaz. Jedno nebo více témat je možno vybrat označením v seznamu v pravém pruhu formuláře (maximálně 3 témata pomocí klávesy Ctrl). Témata lze kombinovat vzájemně mezi sebou i s dotazem v poli dotazu, resp. textu dotazu. Relace mezi tématy a poli je možné zaškrtnutím voleb příslušných voleb v pravé dolní části formuláře (volba and, or)

Tematický dotaz může obsahovat stovky slov. Je vytvářen speciálním editorem, který umožňuje vložit logické a další operátory dotazovacího jazyka, provádí kontrolu syntaxe a umožňuje proto plně využít výhod pokročilého vyhledávacího systému TOPIC. Pro databázi ANL FULL jsou témata strukturována do tří úrovní: první obsahuje základní tematické oblasti (8), druhá skupiny témat v těchto oblastech (28), třetí obsahuje detailní témata ve skupinách témat (zatím 197). Z první úrovně nelze zatím vyhledávat, z druhé a třetí ano - tam, kde je topik nadefinován (označeno šipkou vlevo). Tematická nabídka je postupně rozšiřována a témata upřesňována a propojována.

Topik slouží k tomu, že hledaný výraz vyplněný do textu dotazu a různě zpřesňovaný je navíc upřesněn topikem - tématem.

Přehled dosud nadefinovaných/navržených topiků strukturovaných do tří úrovní

(viz Příloha F 4 d)

Přehled dosud nadefinovaných/navržených topiků strukturovaných do tří úrovní

> označuje možnost vyhledávání z této úrovně topiku v současné době

  návrh propojení jednotlivých úrovní


Rejstříky (viz Příloha F3)

V rejstřících je možno listovat a vybrat výraz, podle kterého chceme vyhledávat. Tyto výrazy jsou hypertextově propojeny v citacích s metadaty, resp. údaji bibliografického popisu. Podle rejstříků doporučujeme vyhledávat údaje zejména týkající se předmětu dokumentu (předmětové kategorie, hesla - věcná a geografická, osoby, korporace, akce, klíčová slova, dokument/dílo ). Vyhledané výrazy jsou v bibliografickém popisu, resp. metadatech, resp. citaci vyznačeny červeně.

Obsah rejstříku se zobrazuje v pravém okně, v levém okně se zobrazují vyhledané články.

Bylo nadefinováno 17 rejstříků :

autoři, název zdroje, zdroj ročník číslo, datum vydání, předmětové kategorie, předmět, místo, hesla (věcná a geografická), osoby, korporace, akce, klíčová slova, dokument/dílo, typ článku, MDT, geografické vymezení, časové vymezení.

Některá doporučení, jak nejlépe vyhledávat

  • v implicitních polích rozšířených formulářů vyhledávat pomocí nastavení operátoru <contains> či # než pomocí "

  • Údaje obsažené v polích bibliografického popisu doporučujeme vyhledávat spíše pomocí implicitních polí v rozšířených formulářů než vypisováním návěští v poli dotaz resp. text dotazu

  • V implicitních polích rozšířených formulářů vyhledávat pomocí nastavení operátoru <contains> č i # než pomocí =

  • Přesná znění řetězců vyhledávat spíše pomocí rejstříků

  • Při vyhledávání autorů doporučujeme vyhledávat z nabídky všichni autoři v rámci nabídky autor,název v rozšířeném formuláři

  • Ukončovat jednotlivé akce (nenechávat více otevřených formulářů více najednou, též výsledků vyhledávání)


B.1.3.10 Výsledky vyhledávání, zobrazení, tisk (všechny formuláře) (viz Příloha F3)

B.1.3.10.1 Seznam výsledků (seznam článků)

Seznam vyhledaných dokumentů uvádí v záhlaví nadpis a údaje o výsledku hledání. Počet vyhledaných dokumentů na stránku je dán volbou v poli Výsl./str. V závislosti na této volbě se potom zobrazuje počet stran s možností listování.

Druhy seznamu výsledků (seznam článků):

U jednotlivých článků zobrazeno vždy, resp. standardně (zleva) : tři formáty pro zobrazení údajů o článku, skóre relevance, datum vydání, název článku, velikost plného textu.

Seznam výsledků (názvů vyhledaných článků):

  • jednoduchý (standardní zobrazení)

  • se souhrnem (standardní zobrazení plus souhrn)

  • seskupený (standardní zobrazení plus články uspořádané do skupin podle shody v klíčových slovech podle společného kontextu, clustering) - v současné verzi TOPICu zprovozňována - viz též výše

Třídění seznamu výsledků (názvů vyhledaných článků)

Skóre (relevance, od které z obrazovat názvy článků)
Výsl./str . (počet článků na stranu)

Třídění: dle skóre (relevance)
dle názvu
zdroje
data (vydání)
stran
a to sestupně nebo vzestupně.


B.1.3.10.2 Zobrazení údajů o článku (viz Příloha F3)

Formáty zobrazení

Uživatelské formáty

Každý dokument je možné zobrazit ve třech uživatelských formátech/variantách :

Citace článku, souhrn - bibliografické údaje o článku, resp. metadata s odkazy pro další hledání

Citace článku, plný text - bibliografické údaje o článků, resp. metadata s odkazy pro další hledání a plný text článku

DC/HTML - Dubline Core Metadata

Název článku hypertextově aktivní - zobrazení citace a plného textu bez odkazů

Hledané výrazy se zvýrazní červeně pouze vyhledávám-li z dotazového pole, podle topiků a rejstříků, nikoli podle nadefinovaných, resp. implicitních polí.

Pracovní formáty

V záhlaví plného textu jsou navíc různé pracovní formáty - klíčová slova, UNIMARC (komunikativní formát), Dublin Core - formát pro zpřístupňování elektronických dokumentů a jeho aplikace, která obsahují metadata (DC/HTML/META, DC/XHTML kvalifikovaný a nekvalifikovaný, DC/XML kvalifikovaný a nekvalifikovaný, které nejsou určené pro běžného uživatele, ale pro budoucí vývoj systému a zpřístupnění plných textů.


B.1.4 Metadata (viz Příloha F4 b,e)

Ve všech variantách zobrazení je obsažena citace, resp. biliografické údaje, resp. metadata.

Příklady uložených metadat v plném textu

Př.1

Název: Cesta mezi hlavou a rukou
Podnázev: Když některé věci nenapíšu, nikdy se je nedozvím, říká publicista a spisovatel Pavel Kosatík
Hlavní autor: Pavel Kosatík
Další autor: Karel Hvízdala
Zdroj: Mladá fronta Dnes
Zdroj-příl.: Ekonomika
ISSN: 1210-1168
Roč. 12, č. 204 (1.9.2001), s. C/5
Rubrika: Kultura - Pohledy
Předmět. ktg.: politika: politici
  literatura: česká literatura
  hromadné sdělovací prostředky: novináři
MDT: 323-051, 070-051, 821.162.3-051
Osoba jako předmět: Masaryk, Jan, 1886-1948
 Peroutka, Ferdinand, 1895-1978
 Kohout, Pavel, 1928-
Téma jako předmět: politici-Československo-stol. 20.
novináři-Československo-stol. 20.
spisovatelé-Československo-stol. 20.
Typ dokumentu: rozhovory

Př. 2

Název: Rafinovaný odraz skutečnosti
Podnázev: Na pultech se objevil další titul singerovské řady
Hlavní autor: Hana Ulmanová
Zdroj: Respekt
ISSN: 0862-6545
Roč. 12, č. 41 (8.10.2001), s. 23
Rubrika: KULTURA
Předmět. ktg.: literatura: americká literatura
MDT: 821.111(73)-31, (070.447)
Osoba jako předmět: Singer, Isaac Bashevis, 1904-1991
Dílo jako předmět: Stíny nad Hudsonem (kniha)
Téma jako předmět: anglicky psaná literatura
americká próza
spisovatelé-Spojené státy-stol. 20.
Typ dokumentu: recenze


B.1.5 Tisk, stahování a export plných textů a metadat - přístup

Tisk seznamu výsledků - z nabídky Tisk seznamu, tisk plného textu - z nabídky Tisk detailu.

V r. 2002 byla vyvinuta aplikace pro stahování a export metadat a plných textů, která vychází z již vyvinuté technologie v Anopressu. Aplikace umožňuje stáhnutí a export příslušných plných textů a metadat na lokální počítač v zip souboru v několika formách: HTML, RTF formát, textový tvar, UNICODE - vše se zvýrazněním klíčových slov a bez, XML formát, HTML formát se souhrnem. Je možno zobrazit detailní průběh zpracování . Exportovat plné texty a metadata mohou zatím jen registrovaní vybraní uživatelé. V r. 2003 byly ověřena její funkčnost.

Postup:
  1. Vyhledané články nejprve označit v Seznamu výsledků (levé okno)

  2. Odrážka „Stáhnout označené“

  3. Volba formátu výstupního souboru“

  4. Odrážka „Připravit texty“

  5. Odrážka „Stáhnout soubor“

  6. Soubor otevřít nebo uložit



V roce 2002 byla ověřena plná funkčnost aplikace pro registraci, autentifikaci a přihlášení externích uživatelů prozatím na dobu 7 dnů.

V roce 2003 omezen přístup pro externí uživatele na 1 den (důvod viz výše).

Otázky zpřístupnění externím uživatelům závisí na vyřešení legislativně právních otázek event. ekonomických (viz výše). Externím uživatelů jsou běžně zpřístupňována metadata. Plné texty a metadata jsou zpřístupňována interním uživatelům NK

Stahování a export metadat a plných textů je také plně funkční v rozsahu testování několika uživateli.



B.1.6 Administrace (viz Příloha F 3)

V roce 2002 byla vyvinuta aplikace pro administraci databáze ANL FULL a portálu.

Úpravy textů článků - aplikace umožňuje opravovat zdrojové kódy článků (tj. i metadata) na základě vyhledání podle identifikačních čísel. Umožňuje opravy rejstřík bez přímé vazby na záznamy. Opravené záznamy jsou uložené do souboru a dále naimportovány do báze a zaindexovány.

Aplikace umožňuje provádět opravy a sledovat statistiky - zahrnuje tyto úkony: úpravy textu článku (metadat aj.), údržba rejstříků, údržba portálu Periodika na WWW, údržba informačních zdrojů. Aplikace umožňuje podobně udržovat seznamy uživatelů, hesel, mailů a sledovat statistiku přístupů .

V r. 2003 byla částečně implementována zcela nová aplikace pro opravy hesel a metadat v plných textech, která je zabudovaná přímo do linky WWW TTDE (viz též výše). Opravy dat jsou tak mnohem pružnější než v administraci. Aplikace umožňuje vyhledání plných textů z rejstříků, jejich zobrazení a zatím částečné načtení do pracovního listu k opravě. Po korekci metadat je plný text odeslán do báze, plný text je přepsán a zrušen. Aplikace se dále ladí.


B.1.7 Standardizace - UNIMARC, DUBLIN CORE, HTML, XHTML, XML, propojení záznamů s plnými texty (viz Př íloha F3, F4b,e)

Struktura bibliografických dat respektuje formát UNIMARC a knihovnická pravidla AACR2 v oblasti jmenného popisu. V r. 2002, 2003 probíhají práce na konverzi UNIMARC - MARC 21. Byl nadefinován návrh minimálního záznamu pro M21. Jmenný popis bude muset do budoucna reflektovat pohyb v oblasti standardizace ( metodika popisu článků ve formátu UNIMARC - vychází z AACR2R, ISBD /CP; v budoucnu větší harmonizace AACR2R a ISBD, ISBD (ER), ISBD(S) - ISBD (CR)). Jak se dotkne popisu článků koncept FRBR - Funkční požadavky na bibliografické záznamy (Functional Requirements for Bibliographic Records) - 4 úrovňový model manifestace díla - dílo, exprese, manifestace, jednotka) ukáže budoucnost.

V oblasti věcného popisu se používá aktualizovaná verze MDT-MRF . Verbální věcný popis obsahuje předmětové kategorie, které zasazují dokument do širších souvislostí v rámci databáze z hlediska obecných témat, jež by se měla sbližovat s tématy systému TOPIC eventuelně s automatizovanou tvorbou kategorií. Předmětové kategorie do jisté míry konvenují metodě konspektu aplikované pro popis a mapování fondů. Od konspektu budou odlišeny identifikátorem v rámci stejného pole 615. Dále se používají klíčová slova, která jsou dále částečně řízená a předmětová hesla. V rámci linky je zajištěno také propojení na soubory autorit (ne zatím zcela pro katalogizátora pohodlné, pracuje se na propojení on-line - viz dříve) Automaticky je generován souhrn článku, automaticky lze také generovat klíčová slova, která však mají v současném stádiu "počítačovou formu". O automatické indexaci a perspektivách viz výše B.0 .V budoucnu se předpokládá intenzivnější využívaní vznikajících souborů autorit jmenných i věcných .

V záznamech určených k propojení s plným textem se v lince automaticky generuje dynamická URL adresa, SICI . Do zpracovávaných článků v ALEPHu jsou doplňované statické adresy volně dostupných dokumentů a WWW. Dále se automaticky generuje URN (do kterého je zabudováno identifikační číslo plného textu přidělené v Anopressu) a z velké části pole LKR určené k propojení se zdrojovým dokumentem.

Dublin Core obsahuje 14 z 15 definovaných údajů viz Příloha F 4 b. Je generován pro formát HTML, XHTML a XML ve kvalifikované i nekvalifikované formě. Do HTML je zabudován LINK tag pro potřeby odkazu na webovský zdroj, v němž se nachází specifikace daného použitého soboru metadat. Bylo nadefinováno 14 údajů Anl Core vzhledem k detailnosti popisu a vzhledem k možnostem vyhledávání v současné verzi systému TOPIC a prvky ANL Core užívané pro vyhledá vání.

Formáty zobrazení jsou popsány dříve.

 

Skutečný stav propojení bibliografických záznamů s plnými texty

Plné texty jsou zpracovávány v lince a zároveň jsou ukládána metadata do těchto textů za současného generování url. Takto vzniklá metadata resp. bibliografické záznamy se importují do ALEPHu, jsou propojeny na plný text v systému TOPIC. Zároveň jsou matadata a plné texty indexovány v systému TOPIC. Navíc se propojují záznamy báze ANL s volně dostupnými texty na internetu.

Souhrn za r. 2000-2003

Linka bibliografického zpracování z plných textů (TTDE )

Souhrn za r. 2000-2003 : na serveru full.nkp.cz jsou přístupné plné texty článků vydané v letech 1990-2003 a získané v rámci tohoto grantu a grantu Propojení analytických záznamů v letech 1999-2003, 11. listopad v počtu cca 115 000. Se záznamy v ANL je propojeno cca stejný počet. Možný rozdíl je dán tím, že v počátcích projektu byly do báze importovány zpětně plné texty a následně programově nebo ručně propojovány s bibliografickými záznamy. Ne vše chna metadata uložená v záznamech ANL byla totožná s metadaty uloženými v plných textech z Anopressu a nešla tudíž programově propojit.

(v lince bylo zpracováno v letech 2001-2002, 15. listopad celkem cca 24000 plných textů s metadaty , v r. 2003, listopad 13 000 plných textů) .

Průměrně měsíčně v lince uloženo: 1000 záznamů.

Statické linky v báze ANL (přibližná a pohyblivá čísla, protože některé adresy jsou nestálé - např. Psychologie Dnes a Učitelské noviny)

V r. r. 2000-2002, říjen propojeno cca 3000 záznamů s volně dostupnými texty na Internetu. Některá propojení spadla. Do 21.10. 2003 bylo propojeno cca 2181 záznamů Jsou propojené také některé záznamy s plnými texty zákonů.

V Odboru knihovnictví jsou ještě propojována knihovnická periodika.

V současné době je staticky propojeno cca 6 000 URL. Podle posledního URL testu cca 300 neplatných.

B.1.8 Souborná databáze ANL Kooperačního systému článkové bibliografie (KOSABI), metodika a organizace, ČNB (viz Příloha F 1, F5)



B.1.8.1 Kooperace, excerpční základna

V roce 2003 pokračovalo oddělení ve zpracování záznamů pro bázi ANL(ALEPH). Kooperující instituce - 8, resp. 7 krajských knihoven, MZK a 3 odborné knihovny - přispívají do souborné databáze (do báze nepřispívá krajská knihovna v Plzni, přechází ze systému KIMS na ALEPH, knihovně byla poskytnuta definice báze ALEPH pro ANL). V budoucnosti se mají součástí KOSABI stát i 4 další krajské knihovny, se kterými byl navázán kontakt (Pardubice, Zlín - systém KP-sys, Karlovy Vary a Havlíčkův Brod systém Lanius, resp. Clavius). Do báze ANL přispěla dávkově v rámci experimentu i ČGS.

V roce 2003 byly pravidelně dodávány záznamy z těchto knihoven: Kladno (RAPID), Ostrava (T-Series), SPKK (ISIS), STK (ISIS), ÚZPI (ISIS), Liberec, (RAPID), České Budějovice (T -Series).

Ukládání online do Alephu - Moravská zemská knihovna v Brně.

V r. 2003 se dále ladí metodika ukládání v různých systémech a řeší se otázky převoditelnosti do báze ANL a UNIMARCu. Tato činnost je poměrně náročná v detailech a je založena na úzké spolupráci s příslušnými knihovnami. ( V r. 2002 v tomto směru intenzivně spolupracovalo oddělení článkové bibliografie s krajskou knihovnou v Ostravě a Českých Budějovicích. Byla navrhnuta některá možná řešení a doporučení týkající se věcného popisu a konverze do UNIMARCu. Plnohodnotné předávání záznamů do národní článkové bibliografie závisí na dotažení konverzního programu Tinlib - UNIMARC.) Krajská knihovna v Ústí nad Labem na zkušenosti tinlibovských knihoven navazuje. Knihovny pracující v ALEHu spolupracují dobře. U knihoven pracujících v KP-sysu bylo třeba dopracovat převod do UNIMARCu (téměř dotažen je UNIMARc pro krajskou knihovnu ve Zlíně, kterou následuje krajská knihovna v Pardubicích; v listopadu 2003 ale krajská knihovně ve Zlíně zaslala vzorek záznamů v KP- Winu, které se patrně a od téměř dotaženého KP-sysu budou lišit ). Knihovny pracující v Rapidu spolupracují též bez problémů. Téměř dotažen je UNIMARc pro Lanius (Karlovy Vary). U systému Clavius je třeba UNIMARC ještě dopracovat. S nově jmenovanými a konstituovanými krajskými knihovnami v Pardubicích, Havlíčkově Brodě, Zlíně a Karlových Varech byla navázána dobrá spolupráce . Byla dohodnuta budoucí excerpční základna.

Kromě KOSABI existuje v ČR fungující systém na úrovni městských (okresn ích) knihoven - LANius a jeho produkt SKAT - Souborný katalog článků. Jeho vyšší verzí je systém Clavius. Systém umožňuje sdílenou katalogizaci. Mezi LANiem a NK proběhla jednání o možnostech delimitace duplicit ve zpracování o možné kooperaci týkající se excerpce titulů a omezení duplicit při zpracování zejména s NKČR. Zatím jsou určeny tituly, které by přicházely v úvahu. Systém používá ve věcnému popisu klíčová slova, bylo zajištěno propojení na soubory autorit.

Součástí širšího kooperačního systému článkové bibliografie po linii oborové je zpracování článků lékařské a zdravotnické literatury Národní lékařskou knihovnou, které nejsou součástí ANL.

V navrhovaném pokračujícím projektu v rámci programu 1N MŠMT je zapracován přechod odborných knihoven z ISIS na UNIMARC a úzká spolupráce s Národní lékařskou knihovnou.

Tyto knihovny poskytly pro projekt 1 N některé plné texty, na kterých je možno dále vyvíjet pojmové vyhledávání v systému TOPIC, resp. K2. V projektu je také zapracován vývoj a realizace linky zpracování bibliografických záznamů z plných textů v Národní lékařské knihovně a nový způsob produkce Bibliografia Medica Čechoslovaka a báze citační rejs t řík CR-CZ. Podobně ÚZPI má realizovat zpracování bibliografických záznamů článků některých titulů v návaznosti na již existující redakční systém. ČGS má v tomto projektu postupně přejít na pravidelné přispívání do báze ANL ze systému WIN ISIS.

V bázi ANL bylo je v r. 2002, k 15.11. cca 742 379 záznamů, za rok 2002 přibylo do báze cca 54 196 záznamů, z toho cca 30 118 zpracovaných NKČR, ve spolupracujících institucích cca 24 078 zpracovaných záznamů. Počty jsou přibližné.

V bázi ANL bylo je v r. 2003, k 15.11. cca 807 000 záznamů, za rok 2003 přibylo do báze cca 60 000 záznamů, z toho cca 35 000 zpracovaných NKČR, ve spolupracujících institucích cca 25 000 zpracovaných záznamů. Počty jsou přibližné.

V roce 2003 je pravidelně aktualizována excerpční základna.

Počet zpracovávaných titulů: ANL - cca 212 v NKČR, 263 v regionech (všechny krajské knihovny, reálně kooperující -208), 122 v odborných knihovnách, celkem cca 597 titulů (zatím r eálně 542); ANL FULL 30 titulů, běžně zpracovávaných zatím 17 v NKČR. Došlo k přesunu některých titulů na nově konstituované krajské knihovny, které začnou pravděpodobně přispívat do báze v r. 2004.

Excerpční základny jednotlivých kooperujících institucí pro bázi ANL

Excerpční základna byla tento rok v pohybu vzhledem k novému státoprávnímu uspořádání.

Řada titulů přešla na krajskou knihovnu v Havlíčkově Brodě (z Brna, Budějovic, Hradce Králové).

Krajská knihovna Karlovy Vary se zavázala excerpovat bývalé plzeňské tituly. Nově konstitované knihovny budou excerpovat regionální přílohy deníků Mladá Fronta Dnes a Právo.

Postupně přesouvané tituly se přestávají postupně zpracovávat v původních knihovnách a přecházejí na nově konstituované knihovny.

Národní knihovna České republiky (ALEPH) - Oddělení analytického zpracování: celkem 195 seriálů z toho 6 deníků, cca 11 týdeníků, 6 čtrnáctideníků, 31 dvouměsíčníků, 4 čtvrtletníky, ostatní periodika s menší periodicitou ; dále nepravá periodika - ročenky, nepravidelně vycházející periodika, sborníky - počet pohyblivý (5 titulů převzala STK).

NKČR - Odbor knihovnictví: 17 titulů. Moravská zemská knihovna v Brně (ALEPH): celkem cca 49 titulů, 1 deník, vlastivědné časopisy, zpravodaje, sborníky a nepravá periodika, část excerpce převzala Krajská knihovna Vysočiny (cca 4 tituly postupně přebere krajská knihovna Vysočiny, Brno přestalo excerpovat).
Jihočeská vědecká knihovna v Českých Budějovicích (Tinlib): celkem 23 titulů, 3 deníky z toho 2 přílohy regionální deníků, periodika s menší periodicitou a nepravá periodika.
Studijní a vědecká knihovna v Hradci Králové (ISIS) : celkem cca 17 titulů, z toho 7 deníků, postupně delimitace titulů po dohodě s Krajskou knihovnou v Pardubicích, Krajskou knihovnou Vysočiny, Krajskou knihovnou v Liberci (4 tituly přešly na Krajskou knihovnu Vysočiny).
Středočeská vědecká knihovna v Kladně (Rapid): celkem 37 titulů, z toho 12 deníků.
Krajská vědecká knihovna v Liberci (Rapid, resp. Arev): celkem 11 titulů, z toho 2 deníky.
Vědecká knihovna v Olomouc (ALEPH): celkem 17 seriálů: 2 deníky - pouze regionální přílohy, 6 týdeníků, nepravá periodika. Delimitace titulů s MVKOS.
Moravskoslezská vědecká knihovna v Ostravě (Tinlib, resp. T-Series): celkem 16 titulů, z toho 1 deník, 1 týdeník, 4 čtvrtletníky, ostatní nepravá periodika a sborníky.
Studijní a vědecká knihovna v Plzni (ALEPH)): celkem 22 titulů, z toho 5 deníků, 5 týdeníků, 6 měsíčníků a další periodika (zatím neposílá).
Severočeská vědecká knihovna v Ústí nad Labem (Tinlib): celkem16 titulů, z toho 7 deníků.

Nově konstituované krajské knihovny - příprava kooperace Krajská knihovna Františka Josefa Bartoše ve Zlíně (KP-sys): pro ANL cca 15 titulů, jinak cca 67 periodik, duplicita s celostátními deníky a časopisy, do její báze přispívají městské knihovny okresu Zlín, nutná delimitace s titulů s MZK, VKOL, MVKOS . Stanovena excerpční základna s ohledem na nové státoprávní uspořádání: cca 2 deníky, 1 týdeník, 2 měsíčníky, 2 ročenky, 7 dalších seriálů.
Krajská knihovna Karlovy Vary (LANius): celkem cca 16 titulů, 5 deníků, 3 týdeníky, další seriály, zpracovává články pro LANius.
Krajská knihovna v Pardubicích (KP-sys): celkem cca 9 ti tulů, výběrově vlastivědné a místní zpravodaje.
Krajská knihovna Vysočiny (Havlíčkův v Brod, Clavius): celkem cca 15 titulů, 4 deníky, doporučeno nejdříve zpracovávat tituly týkající se Havlíčkobrodska, postupně přibrat další, nutná delimitace s MZK, krajskou knihovnou v Budějovicích a Hradci Králové, nedostatečné personální obsazení.

Kooperující specializované knihovny
Státní technická knihovna (ISIS):
celkem 47 odborných titulů (některé tituly převzala od NKČR, která po redukcích nemůže zpracovávat)

Ústav zemědělských a potravinářských informací (ISIS) : celkem 25 odborných titulů
Ústav pro informace ve vzdělávání - Státní vědecká knihovna Komenského (ISIS) :
celkem cca 50 titulů
Česká geologická služba (ISIS):
odborná periodika v rámci experimentu

  V rámci regionálních funkcí mají krajské knihovny koordinovat bibliografickou činnost v rámci krajů.

V r. 2002 byla provedena anketa týkající se podchycování regionálních materiálů z ústředního tisku. V odpovědích bylo zaznamenáno, že regionální bibliografové považují ČNB - Články v českých novinách, časopisech a sbornících za důležitý zdroj regionálních informací. Zdůrazňuje se důsledné používání regionálních kódů (viz Nádvorníková, M. Nové formy a metody práce při poskytování regionálních bibliografických informací).

 

B.1.8.2 Popis, standardizace (viz Příloha F1, F3, F4)

V roce 2002 se poměrně hodně času věnovalo projektu krajské knihovny v Ostravě týkající se popisu článků v systému T-Series a jejich zpřístupnění. Byly specifikovány požadavky na konverzní program z T-Series do UNIMARcu, zejména v intencích minimálního záznam a požadavky na věcný popis. Řešitelka vypracovala připomínky začátkem roku 2002 a zaslala Mgr. Kybalovi (UK), který pracuje na konverzi do UNIMARCu.

Byly řešena také problematika řízeného slovníku pro věcný popis. V kooperačním systému článkové bíbliografie se používal ještě za dob ISISu tzv. částečně řízený slovník klíčových slov, tj. byly řízeny nadřazené pojmy a většinou první podřazené slovo k nim. Kromě toho se klíčová slova vyvinula z předmětových hesel a zachovávala částečně i jejich strukturu, tj. byl obsaženo téma, chronologický a geografický údaj.Pro osoby a akce, forma dokumentu byla zvláštní pole.

Řízená klíčová slova, tj. nadřazený a jemu podřazený pojem byly konvertovány do UNIMARCu a tvoří v UNIMARcu tzv. předmětové kategorie v poli 615.

Tento slovník je ve většině knihoven v r. 2003 KOSABI používán a do jisté míry modifikován s ohledem na praktické potřeby. Slovník se musí v samotné bázi ANL zredigovat. V budoucnu budou tyto kategorie převedeny do pole 615, k odlišení od Konspektu s 2. indikátorem 9.

Poměrně problematická situace vznikla v krajské knihovně v Českých Budějovicích,

V roce 1998 jsme s paní Strakovou (JVK České Budějovice) minulosti navrhovaly v zásadě dva způsoby, jak diferencovat zápis údajů věcném popisu tak, aby byly lépe převoditelné do UNIMARCu. Zápis příslušných údajů duplicitně do polí pro konverze nebo zápis čísel polí UNIMARCu přímo k údajům v pracovním listu. Takto by byly údaje připravené pro konverze do příslušných polí v UNIMARCu. Žádný z těchto způsobů zápisu však nebyl u článků v praxi realizován.

Mezitím se věcný popis článků vyvíjel v Českých Budějovicích tak, aby byl vstřícný pro uživatele i katalogizátory. K věcnému popisu byla používána pole pracovního listu - předmětové skupiny a výrazy tezaurů, v posledním období pouze pole předmětové kategorie v terminologii Tinlibu, resp.T-Series (něco jiného jsou předmětové kategorie UNIMARCu, pole 615). V roce 2002 se přistupuje k popisu do jemněji strukturovaného formuláře, podobně jako v Ostravě.

V roce 2002 šlo o rozhodnutí, jak pokračovat v zápisu článků v Českých Budějovicích. Řešitelka projektu Souborná databáze navrhla několik variant věcného popisu v Českých Budějovicích. Pracovnice krajské knihovny se překlonily k následujícímu řešení: používat výrazy tezauru, který je aplikován v českobudějovické bázi pro knihy plus příslušná pole pro osoby, korporace, geografickou entitu. Pro své účely dál používat dosavadní systém s vazbami.

V Ostravě je situace jednodušší - do léta 2001 byly články zpracovávané v ISISu, koncem roku 2001 přechod na jemněji strukturovaný formulář T-Series.

V roce 2002 na T-Series přešla i krajská knihovna v Ústí nad Labem, kde bude používána stejná metodika jako v Ostravě.

V červnu 2002 přešlo oddělení analytického zpracování v NKČR na verzi ALEPH 14.2.4, která umožňuje vetší komfort pro opravy uložených dat. Na toto verzi přešly též v r. 2002 (před NK) i knihovny v Brně a Olomouci. Pracovníci MZK ukládají záznamy přímo do báze ANL.

V červnu 2002 přešlo oddělení analytického zpracování v NKČR na verzi ALEPH 14.2.4, která umožňuje vetší komfort pro opravy uložených dat. Na toto verzi přešly též v r. 2002 (před NK) i knihovny v Brně a Olomouci. Pracovníci MZK ukládají záznamy přímo do báze ANL.

V r. 2003 se ladila struktura záznamů vzhledem k formátu UNIMAR ve spolupráci s krajskými knihovnami v Pardubicích a Zlíně (KP-sys), v K arlových Varech a Havlíčkově Brodě (Lanius, resp. Clavius). Zároveň by la delimitována excerpční základna vzhledem k novému státoprávnímu uspořádání a vstupu těchto knihoven do reálné kooperace (viz výše).

V r. 2003 záznamy ANL respektují metodický materiál Záznam pro soubornou databázi : UNIMARC a Záznam pro soubornou dat abázi : Výměnný formát. Dle možností je aktualizována pracovní verze příručky pro zpracování článků v UNIMARCu - Metodika popisu článků ve formátu UNIMARC a vystavena na Internetu s názornými příklady. Většina knihoven vybavuje záznamy předmětovými kategoriemi, které jsou jednotícím prvkem souborné databáze. Oddělení analytického zpracování přistupuje k intenzivnějšímu využívání souborů autorit v NK , korekturám báze ANL a připravuje data pro soubory jmenných a věcných autorit. Také kooperující instituce postupně používají národní soubory autorit.

V rámci ANL i ANL FULL jsou formulovány základní principy věcného popisu, aplikovaného při zpracování článků V NKČR. Pořadí kategorií, předmětových hesel odpovídá pořadí MDT. MDT vztahující se k osobám a formě článku se uvádí na konec věcného popisu (osoby, forma). Kategorie : obecné zařazení tématiky dokumentu pod obecné hlavní téma (615a) a zpřesnění (615x). Předmětové heslo: vystihuje hlavní téma dokumentu. Klíčová slova variantní selekční termíny k předmětovým heslům uvádíme zatím z důvodů postupného propojování báze ANL na soubory autorit, v současné době se eliminují - s postupným provázání věcného popisu na autority i s ohledem ke zpřístupnění plných textů v bázi ANL prostřednictvím báze ANL FULL.

Ve většině kooperujících institucí se používá kombinace těchto tří prvků věcného popisu v různé míře. Předmětová hesla se aplikují pro osoby, korporace, typ dokumentu, geografické téma. Předmětová hesla tematická (pole 606 UNIMARC) se užívají zejména v NK, ve většině knihoven se praktikují klíčová slova (pole 610 UNIMARC). Vazba na autority se objevuje ve větší míře v NK a v krajské knihovně v Kladně, Olomouci, Brně, Liberci. Je třeba důsledněji používat pole 660 Geografický kód.

V současné době se řeší NKČR problematika standardizace věcných selekčních údajů a jejich harmonizace pomocí souboru věcných autorit. Aplikuje se metoda konspektu - metoda popisu fondu a všech informačních zdrojů pomocí předmětových kategorií konspektu. Domníváme se, že po důkladné redakci předmětových kategorií v rámci báze ANL, které jsou někde detailnější a vyplývají ze specifiky článkových informací je možno je užívat paralelně s konspektem.

Údaje jmenného a věcného popisu jsou podle možností v bázi ANL revidovány a opravovány pomocí globálních a hromadných oprav, dále pak s využitím jmenných a věcných autorit.

Propojení na zdrojový dokument

U 5 seriálů (Týden, Ekonom, Reflex, Respekt, Právo) zpracovávaných v lince je generována v azba LKR (nahoru) k propojení se zdrojovým dokumentem v bázi NKC. Tato vazba je funkční.

Do budoucna lze uvažovat o propojení na zdrojový dokument přes ISSN pomocí OpenUrl. Názvy zdrojových dokumentů v bázi ANL je třeba sjednotit (někdy je problém určit jednoznačně název, protože pod určitým názvem je seriál uložen v regionální knihovně, pod určitým v NKC apod.). Řešením je vazba na ISSN. Existuje báze ISSN budovaná v STK, hypoteticky se mohou lišit i ISSN v NKC, SK ČR a ISSN. Někdy problematický je zápis zdrojových dokumentů tzv. nepravých periodik a jejich sjednocení v bázi ANL. V bázi ANL probíhají v současné době korektury.


B.1.8.3 Akce

Kromě průběžných a pravidelných konzultací proběhly v r. 2002 tyto akce: prezentace báze ANL FULL a KOSABI na Inforu 2002, prezentace KOSABI na konferenci Knihovny současnosti 2002.

Kromě průběžných a pravidelných konzultací proběhly v r. 2003 tyto akce: prezentace báze ANL, ANL FULL a KOSABI na Infos 2003, prezentace KOSABI na zasedání SDRUK, sekce pro bibliografii v Hradci Králové. Řešitelka se zúčastnila zasedání IFLY v Berlíně. Sekci pro noviny byly poskytnuty informace o KOSABI, ANL, ANL FULL (viz dříve).



B.1.8.4 Česká národní bibliografie - řada Články v českých novinách, časopisech a sbornících na CD-ROM (viz Příloha F1)

V roce 2003 byla pravidelně poskytována data KOSABI pro měsíční aktualizace a CD-ROM ČNB - řada Články v českých novinách , časopisech a sbornících.

B.1.9 Perspektivy Kooperačního systému článkové bibliografie a jeho další možný vývoj, některé předpoklady a cíle

Organizace spolupráce

  • Postupně reálně začlenit nově konstituované krajské knihovny v Pardubicích, Karlových Varech, Havlíčkově Brodě a Zlíně do KOSABI. Přerozdělení některých titulů vzhledem k novému státoprávnímu uspořádání proběhlo, bude se zřejmě ještě ladit.

  • Postupně sladit profil zpracovávaných titulů v KOSABI se Souborným katalogem článků systému LANius, resp. Clavius.

  • Spolupráce s institucemi pedagogického a vědeckého zaměření (UK, ČSAV aj.) - zjistit možnosti.

  • Spolupráce se společností Anopress a event. navázání spolupráce s dalšími
  • nakladateli/vydavateli. V r. 2003 jednáno předběžně s nakladatelstvím Economia, v rámci excerpční základny je možno určit skupinu titulů z hlediska této spolupráce. Je možné uvažovat o spolupráci s vydavateli titulů, které jsou dotovány MKČR. Pro návrh projektu rámci 1N MŠMT byly poskytnuty některé plné texty z oblasti zemědělství, ekonomie, náboženství, lékařství.

Metody zpracování, standardizace

  • Doladit převod výstupů z některých systémů do standardního UNIMARCu a báze ANL. Harmonizace popisu článků v rámci KOSABI se soubory autorit zejména v oblasti věcného zpracování (předmětová hesla, předmětové kategorie a metoda konspektu).

  • Korektury báze ANL, zejména zdrojových dokumentů.

  • Konverze UNIMARC - MARC 21 (ladit), pravidla pro popis článků vzhledem k tomuto formátu.

  • Případně otestovat linku v institucicích spolupracujících v KOSABI.

  • Testovat metody, popř. navázat na metody získávání a zpracování elektronických plných textů (projekt Webarchiv).

  • Sledovat vývoj harmonizace AACR2R, ISBD, aktualizované a nové standardy

  • Postupně přecházet z tradičního zpracování článků obsažených v určených titulech na zpracování pomocí nových technologických metod. Přechod však musí být uvážlivý vzhledem k zachování kontinuity zpracování titulů.

Organizace zpracování článků vzhledem k excerpovaným titulům z hlediska systémového
Do budoucna je možné uvažovat o několika subsystémech zpracování z hlediska typů titulů:

I. Zpracování sborníků a nepravých periodik aj. odborných seriálových informačních zdrojů (v rámci integrovaných knihovnických systémů), které zatím nejsou dostupné na Internetu.

II. Zpracování odborných seriálových informačních zdrojů, které jsou dostupné na Internetu v lince aut omatické extrakce/indexace.

II. Zpracování článků z deníků a časopisů na základě akvizice z databanky TamTam (Anopress) v lince automatické extrakce/indexace.

III. Zpracování článků ze seriálů na základě spolupráce z vydavateli, nakladateli.

IV. Zpracování plných textů volně přístupných na www na základě automatického sběru dat event. metod vyvíjených v rámci projektu Webarchiv?

Dodržování zásad výběru článků.

Organizace zpracování článků z hlediska typů institucí:


    Vzájemná kooperace mezi násle dujícími sítěmi knihoven:
  • NK, krajské knihovny, základní knihovny
  • Specializované knihovny
  • Vysokoškolské knihovny
  • Vědecké instituce


Současné výstupy z KOSABI a jejich možné zpřístupnění v budoucnu

  • Báze ANL a ANAL (Olomouc) je zpřístupněna v Metalibu jako zdroj, ANL FULL a článková databáze krajské knihovny v Liberci jako odkaz. Další zpřístupnění článkových databází závisí na strategii Metalibu a příslušných institucí.
  • Propojení je realizováno v rámci linky zpracování bibliografických záznamů s plnými texty zatím v rámci NK, tuto metodu lze aplikovat i v dalších institucích KOSABI na dohodnutých titulech.
  • Linky na volně přístupné plné texty na Internetu jsou součástí ČNB, Řady články v českých novinách, časopisech a sbornících. Linky na plné texty báze ANL FULL zatím součásti ČNB nejsou.
  • V r. 2003 podán projekt týkající se kooperačního systému a zpřístupnění odborných zdrojů pro VaV v rámci programu 1N, zapojení báze ANL FULL do JIB přes Z39.50 a Open URL, migrace TOPICu na systém K2.

Legislativně právní otázky zpřístupnění plných textů

Vyřešení autorsko právních aspektů zpřístupnění plných textů s příslušnými nakladateli/vydavateli a distributory a dohody s těmito subjekty za situace, kdy neexistuje v ČR právo povinného výtisku elektronických dokumentů. Koncem roku 2002 se zdálo, že zpřístupnění ANL FULL v rámci konzorcia knihoven zdarma nebude problematické. Anopress souhlasil. Později se však ukázalo, že by mohly nastat některé problémy. Jasné je zpřístupnění ANL FULL interním uživatelům knihovny. Národní knihovny je koncový uživatel pro Anopress.
Otázky zpřístupnění ANL FULL zdarma v rámci konzorcia bude předmětem jednání v roce 2004, podobně jako zpřístupnění báze externím uživatelům.

V r. 2004, v posledním roce projektu by měla být uzavřena smlouva mezi NKČR a Anopress o zpřístupňování báze ANL FULL interním a pokud to půjde, i externím uživatelům. Ke stávající smouvě týkající se Konzorcia Anopress by měl být učiněn dodatek.

Diferencované zpřístupnění plných textů

Jasné vymezení a ošetření přístupu k plným textům, které jsou zpřístupňovány volně, přes konzorcia , interním a externím uživavelům institucí a způsob plateb (paušál, kredity, apod.).

Personální a finanční zajištění KOSABI

  • KOSABI se již tradičně potýká s problémem personálního zajištění činností. Dobrá personální situace je podmínkou převedení systému do nového prostředí a pro aplikaci novým metod. Tyto metody pomohou práci zrychlit a zkvalitnit za menšího počtu pracovníků. Metody je však dobré nejdříve vyvinout a dobře otestovat při současném zachovaní kontinuity zpracování a zpřístupnění. V posledních dvou letech probíhají silné redukce oddělení analytického zpracování. V době řešení projektu, v letech 2000 - 2002 je oddělení redukováno o 5 pracovníků. Redukce byly plánovány na cílový počet 11 pracovníků v r. 2003. Tento rok poslední redukce místa zatím neproběhla, současný stav pracovníků je 12.
  • Vývoj systému je po finanční stránce zajištěn do roku 2004 díky podpoře MKČR. V r. 2003 je podán návrh projektu v rámci programu 1N MŠMT, který navazuje v plné míře na stávající projekt týkající se KOSABI. Týká se zejména systému TOPIC a jeho vývoje, zapojení báze ANL FULL do JIB přes Z39.50 a OpenUrl, převedení odborných knihoven z ISISu do UNIMARCU (kromě ČGS - zde WIN ISIS). Další projekt - výzkumný záměr podává Národní knihovna jako komplexní projekt, je v něm částečně zahrnuto i analytické zpracování a týká se zejména věcného popisu a práce v ALPEHu.


B.1.10 Management Kooperačního systému článkové bibliografie, aplikace MNG KOSABI (viz Příloha F5)

B.1.10.1 Management KOSABI - systémový pohled

Management KOSABI
se dělí na správu a údržbu dvou bází: bibliografické báze ANL a plnotextové báze ANL FULL.

Vznik, správa a údržba ANL FULL byla popsána částečně výše, lze říci, že je stádiu rutinního provozu v NKČR.

Aplikace pro správu a údržbu báze ANL je ve stádiu poloprovozu v NKČR.

  • MNG ANL
    báze titulů - volně přístupná upload dat od kooperujících institucí - registrace
    export/import záznamů pro bázi ANL v ALEPHu - registrace


  • ANL bibliografická báze - volně přístupná

  • MNG ANL FULL
    TTSNK licence (TamTam Special NK)
    linka zpracování TTDE (TamTam Data Extractor) zatím lokálně v NKČR
    (zpracování bibliografických záznamů z plných textů, zpřístupnění ve formátech
    UNIMARC, HTML, XHTML, XML), v budoucnu WWW TTDE
    báze ANL FULL (i mport metadat a plných textů z TTDE) - sytém TOPIC
    báze ANL (import metadat z TTDE) - systém ALEPH
    externí uživatelé - metadata volně
    xterní uživatelé - plné texty na 1 den - registrace a přihlášení
    vybraní uživatelé - export dat a sthování dat - registrace a přihlášení
    WWW periodika (portál) - volně
    administrace báze ANL FULL a portálu - registrace

B 1.10.2 Báze ANL

Na základě zadání pro řízení a správu kooperačního systému a za využití již vyvinutých řešení v rámci Souborného katalogu CASLIN pro bíhají dále práce na vývoji aplikace pro KOSABI na serveru ANL( systém LINUX a ORACLE). Ve stádiu poloprovozu pouze v NKČR (zatím) vzhledem k nutnosti průběžného náročného ladění je aplikace pro příjem, automatizované zpracování a export dat (příjímání analytických záznamů, integrace stávajících programů pro konverzi analytických záznamů, globální úpravy analytických záznamů, vývoj programů na formálně logické kontroly kooperujících knihoven - test na UNIMARC pro analytické záznamy, test na kritické chyby, test na duplicitu klíčů). Dále probíhají práce na aplikaci pro bázi titulů z hlediska možného dialogového zpracování této báze.

Upload záznamů je zatím testován v NKČR, v r. 2004 proběhne test s kooperujícími institucemi.

Zbývá vyřešit přebírání dat získaných od kooperujících institucí z příslušného adresáře do ALEPHu. Rovněž tak je třeba, v případě potřeby, ještě doladit importy pro KOSABI u 4 nově vzniklých krajských knihoven.

Seznam prací v roce 2002

1) Testování uploadu souborů získávaných od institucí spolupracujících v KOSABI.

2) Specifikace úprav dat na výstupu z aplikace (export pro ALEPH)

3) Vypracování podkladu pro import dat (Excel) pro aplikaci Báze titulů (evidence excerpční základny)

4) Návrh a implementace jednotného www rozhraní pro management KOSABI pro přístup do dílčích aplikací.

Management KOSABI (stručná charakteristika - html stránky):

Vstup do aplikace

Báze titulů

Upload předávání dat do KOSABI

Import - statistiky (včetně exportu do Alephu)

Klíče (kontrola na duplicitu záznamů)

5) Upgrade serveru ANL: operační systém Linux SuSE 7.3

Nová verze: Oracle 9.2

Java j2sdk1.4.0-01

Servlety jakarta-tomcat 4.0.4

Seznam prací v r. 2003

  1. Testování uploadu souborů získávaných od institucí spolupracujících v KOSABI

  2. Specifikace úprav dat na výstupu z aplikace (export pro ALEPH)

  3. Test URL adres
    Byla vypracována nová aplikace pro testování platnosti URL adres.
    1. Převzetí dat z Alephu a naplnění sql tabulek pro test a statistiky.
      Provádí se automaticky, momentálně 1x týdně.
    2. Vlastní test URL adres. Spuštění testu prováděno ručně.
      Při spuštění možno definovat množinu testovaných adres:
      pouze chybné adresy
      pouze ok adresy
      adresy vyjma full
      pouze adresy full
    3. Statistiky
      Přehled aktualizace báze adres, ( tj. přebírání dat z Alephu )
      Výsledky provedených testů, včetně historie.

  4. Test na duplicity
    Pro každý záznam v bázi SKA je vytvořen klíč.
    Vznikne přehled o klíčích, které se opakovaně vyskytují v různých záznamech.

  5. Jištění serveru full.nkp.cz
    Vzhledem k tomu, že jištění serveru pouze na pásky je nedostatečné, je zajištěno zrcadlení báze na serveru ANL. Na serveru anl byly vytvořeny scripty pro automatické jištění vybraných adresářů na serveru full.

  6. Import
    Program pro import upraven: - do baze SKA (KOSABI ANL) ukládány všechny záznamy, nezávisle na výsledku vstupních testů
    - test na UNIMARC doplněn o test na kritické chyby (u každého záznamu je rozlišeno:
    test UNIMARC OK nebo ERROR
    test na kritické chyby OK nebo ERROR
    - úpravy řešící chyby ve vstupních datech
    Např. doplňování pole 005

  7. Export
    Program pro export doplněn o různé úpravy dat vzhledem k následnému importu do Alephu.
    Např. Pole FMT, LDR, 100, 660, 461/463, 7xx, 600, 801c

  8. Báze titulů opravy
    Vytvořen dialog program pro úpravy záznamů v bázi titulů aplikace v JDeveloperu)
  9. Opravy dat určených pro import do Alephu
    Vytvořen dialog program pro úpravy záznamů (aplikace v JDeveloperu)


V roce 2004 se budou programy testovat. V možném návazném projektu v rámci 1N je uvažován vývoj aplikace založený na JDeveloperu pro opravu dat před importem do Alephu.



B.1.10.3 MNG KOSABI - aplikace pro správu a údržbu KOSABI - přehled dílčích funkcí



1. Příjem dat pro systém
  • způsoby příjmu dat: ftp, upload, disketa
  • formáty: Aleph, Aleph500, UNIMARC řádkový, UNIMARC ISO 2709, Výměnný formát

  • kódování: GIZMO, PC Latin 2, Kamenicky, ISO 8859-2, UTF-8, Ansel, ISO 646

  • při importu se u každého záznamu vytvoří klíč na duplicitu záznamů (dále uložení klíčů v bázi a následně zobrazení klíče s počtem záznamů)


2. Zpracování přijímaných dat
  • přidělení identifikace pro zpracovávanou dávku ( batch_id )
  • formát a kódování dle názvových konvencí
  • překódování do UTF-8
  • Konverze do UNIMARC ( u formátu, které to vyžadují)
  • převod do interní struktury SQLLCB
  • globální úpravy záznamů - 1. etapa ( chyby v datech, které lze programově ošetřit, např. tvrdé mezery, tagy ve vazebních polích )
    test UNIMARC
  • uložení do baze SKA
  • statistika zpracování



3. Export dat z baze SKA do adresáře určeného k opravám nebo do adresáře určeného pro ALEPH

  • záznamy pro export určeny dle batch_id
  • globální úpravy záznamu Etapa II. (oprava specifických "chyb" v dávkách od jednotlivých knihoven)
  • konverze do kódování UTF-8 a formátu Aleph500
  • uložení výstupního souboru do příslušného adresáře pro import do ALEPHu nebo do adresáře pro opravy
  • statistika zpracování


Export: kritické chyby
chyby na UNIMARC


 
Aplikace pro správu a údržbu KOSABI - přehled základních funkcí z hlediska správce KOSABI


  • Přijímání dat: zpracování probíhá bez zásahu správ ce KOSABI (kromě kopírování dat z diskety)
  • Export dat: správce zadá číslo batch_id, které určuje exportované záznamy
  • Statistiky: přehled o přijatých datech, statistiky zpracování členěny
    • dle batch_id
    • přehled o exportovaných datech


K výše uvedeným funkcím slouží mj. tyto moduly :

conva - překódování

testuni - test na UNIMARC

logpst - statistiky

locvoc - modul pro práci se slovníkem

un2aleph - modul pro konverzi UNIMARCu do ALEPHu

crerr - test na kritické chyby


B.1.10.4 Aplikace pro evidenci zpracovávaných titulů (doplnění báze základními daty excerpční základny do nadefinovaných polí, které odpovídají SK CASLIN)

V bázi excerpční základny jsou obsaženy tituly všech institucí, které kooperují v systému článkové bibliografie. Tituly lze třídit podle zpracovávající instituce, podle abecedy, podle toho, zda jsou vybrané články titulů zpřístupňovány plnotextově. Pro jednotlivé tituly je definován krátký záznam dle polí UNIMARCu.


Formát pro bázi titulů (modifikovaný formát SHORT SK CASLIN). Názvové údaje: 200a. 200i [200b] : 200e
Zdroj katalogizace: [801b].[801c]
Sigla vlastníka: [910a].[910a]
Region: [952a].[952a]
Údaje o excerpci: [980a].[980b].[980c].[980k].[980p].[980r]

K této bázi budou nadefinovány přístupové soubory pro možnost hledání a báze bude doplňována a aktualizována. Jsou uvedeny zatím základní údaje o titulech.

B.1.10.5 Test na duplicitu klíčů

Klíče, podle nichž je prováděna kontrola na duplicitu přijímaných dat.
Kontrola na duplicitní záznamy již uložené v ALEPHu není mimo ALEPH možná.
Mezi základní klíče patří název článku, autor, název zdrojového dokumentu, datum vydání.

B.1.11 HW a SW podpora pro správu KOSABI a pro bázi ANL FULL

V r. 2000 byl management kooperačního systému zakoupen PC Pentium III, 700 MhZ, ORACLE 8i server. Release 8.1.5 (5 licencí).

Pro správu a údržbu plnotextové databáze ANL FULL byl v r. 2000 zakoupen server DELL - PowerEDge 6300 - Pentium III Xeon 500Mhz/512, Search Verity Information Server (TOPIC) v. 3.6 pro jednoprocesorový server Windows NT zatím pro ultranet (30 licencí), Windows NT v. 4.0. (server full.nkp.cz). V tomto roce byly analyzovány možnosti nové verze TOPICu - Portal ONE.

V r . 2002 byl proveden upgrade a update serveru ANL FULL. Instalace Windows 2000, instalace nové verze TOPICu v. 3.7 - Portal One. Byla zvýšena operační paměť a kapacita disku ( na 1 GB RAM, 68 GB disk).

V r. 2002 byl proveden u pgrade serveru ANL: operační systém Linux SuSE 7.3, verze Oracle 9.2.

V r. 2003 nedošlo k žádné inovaci SW ani HW. Došlo k havárii serveru, Předcházela porucha služby publikování - příčina dosud neobjasněna, nebyly shledány problémy ze strany instalace serveru.

V návrhu projektu v rámci 1 N je uvedena migrace TOPICu na platformu K2, implementace Z39.50 a OpenUrl pro zpřístupnění v JIB.

V návrhu projektu pro 1N je požadavek na na disk pro zrcadlení báze ANL full, upgrade procesoru, desky, paměti. DVD jednotka pro jištění báze, neomezená licence JDeveloperu - tyto nástroje jsou také předmětem návrhu projektu v rámci 1N.


B.1.12 Smluvní ošetření projektu

Pro automatickou indexaci, správu (údržbu) plnotextové databáze a dodávku plných textů byly uzavřeny dvě smlouvy: s ing. I. Matternem a Anopressem dne 15.6.2000. Smlouva na vývoj aplikace pro management kooperačního systému s ing. Koktanem byla uzavřena dne 26.9.2000. Všechny smlouvy zůstávají v platnosti.

Dále zůstává v platnosti v r. 2001 Dodatek č. 3 ke Smlouvě o sdružení pro Českou národní bibliografii, který zabezpečuje fungování Kooperačního systému článkové bibliografie v situaci reformy státní správy.

Anopress, v současné době Anopress IT, a.s., plní všechny své dosavadní závazky vůči projektům (zpráva pro MKČR z května 2002).



B.2 Přínos řešitele

Přínos projektu v r. 2003 spočívá v realizaci metod navržených v r. 2000, 2001, 2002 ve stádiu rutinního provozu v případě budování báze ANL FULL v NKČR. Aplikace pro příjem a zpracování dat pro bázi ANL je v poloprovozním stádiu pouze v NKČR vzhledem k nutnosti průběžného ladění v závislosti na různých systémech spolupracujících institucí a zařazování nových knihoven do systému.

Přínos projektu v r. 2003 spočívá v praktické integraci elektronických zdrojů do služeb knihovny pomocí technologicky nejvyspělejších nástrojů pro zpřístupnění těchto zdrojů při zachování tradičně zpřístupňovaných sekundární informací formou bibliografických záznamů.
Jde o integraci heterogenních dat do Kooperačního systému článkové bibliografie, v němž dochází k propojení tradičních knihovnických postupů a fondů s určitými prvky digitální knihovny.

Přínos projektu spočívá v postupném budování plnotextové databáze s možností kvalitního vyhledávání založeného na principu pojmovém vyhledávání (concept based retrieval) v kombinaci s metadaty, s možností dalšího doplňování, její správy a údržby.

Přínos v spočívá v revidování tradičních postupů při zpracování české národní bibliografie v oblasti jmenného i věcného popisu a ve funkční realizaci linky automatické indexace bibliografických záznamů. Pro popis elektronických informačních zdrojů je aplikován formát Dublin Core v jeho dosud možných aplikacích v jazyku HTML, XHTML a XML.

Zdá se, že předmětové kategorie používané v kooperačním systému budou možno po důkladné redakci a revizi dop l nit metodu konspektu. Pro pojmové vyhledávání byly aktualizovány topiky vypracované v roce 2000, 2002 doplněny o nové definice topiků.

Velká pozornost byla věnována definici báze ANL.FULL, zejména pak systému vyhledávání .

Koncem roku mají ještě probíhat práce na konverzi UNIMARC M21. Zatím je navržen minimální záznam pro soubornou databázi.

Další přínos projektu spočívá v rychlém zpřístupnění analytických záznamů provázaných s plnými texty zdrojových dokumentů v rámci Kooperačního systému článkové bibliografie. Báze ANL je jedním ze zdrojů Metalib, ve kterém jsou plné texty také zpřístupňovány. Báze ANL FULL je do Metalibu připojena jako odkaz.

Byla navržena a částečně re alizována internetová podoba linky pro zpracování bibliografických záznamů z plných textů s propojením této linky na rejstříky báze ANL FULL.

V současné době probíhají práce n a zprovoznění komponenty pro propojení linky na autority v rámci Z39.50.

V r. 2003 byl navázán poměrně intenzivní kontakt s nově konstituovanými krajskými knihovnami, ladil se UNIMARC a excerpční základna těchto institucí.

Aplikace pro MNG KOSABI byla rozšířena o významný test URL adres, probíhaly práce na zkvalitnění www stránek aplikace, dále se ladily programy pro příjem, zpracování a export dat do ALEPHu. Byl vytvořen dialog program pro editaci báze titulů kooperačního systému a bibliografických záznamů přispívajících institucí v JDeveloperu.

V r. 2003 je udržován portál pro zpřístupnění volně dostupných elektronických periodik na Internetu, která jsou členěna na principu regionů a oborů.

Stále realističtější je možnost vývoje systému v budoucnu v rámci několika zpracovatelských subsystémů podle typu dokumentů a přístupnosti plných textů. Agentuře Anopress byl navržen seznam titulů, které by eventuelně mohla plnotextově zpřístupňovat.

Možnost vzniku duplicit či multiplicit při zpracování je minimalizováno delimitací periodik mezi spolupracující instituce. Tím má projekt i ekonomický význam.

Další přínos spočívá ve zvýšení uživatelského komfortu - v nalezení příslušného článku z novin či časopisu (v budoucnu snad i statě ze sborníku) v elektronické formě Navigace k primárním dokumentům patří k základním trendům. Byla otestována aplikace k zajištění registrovaného přístupu externích uživatelů k plným textům. Tito uživatele se mohou zkušebně zaregistrovat na dobu 1 dne a vyhledávat v plných textech.

Pro uživatele NK jsou plné texty přístupné. Uživatelé je mohou prohlížet, tisknout, nikoli však zatím kopírovat na disketu.

V případě vhodných podmínek přichází v úvahu možnost aplikace linky na zpracování článků v rámci některých kooperujících institucí, dále pak, po jisté úpravě, aplikace linky zpracování bibliografických záznamů z plných textů v komunikaci mezi autorem, nakladatelem, informační institucí, bibliografickou agenturou .

Pro projekt jsou důležité analýzy, které se týkají automatické indexace a které byly provedeny v rámci projektu Propojení analytických záznamů s plnými texty. Vyplývá z nich, že metody řešené v projektu souvisí spíše s automatickou extrakcí dat. Metoda automatického přiřazování údajů věcného popisu nebude patrně aplikována. V úvahu přichází automatizovaná kategorizace dokumentů. Projekt se dále zaměří na využití možnosti inteligentního vyhledávání systému TOPIC a interakci mezi systémem a uživatelem a systémem a indexátorem.

Z analýzy zahraničních materiálů vyplývá, že články se zpracovávají jednak soukromými společnostmi, jednak národními knihovnami a jsou zpřístupňovány online, ve formě digitálních knihoven a někde jsou součástí národní bibliografie. Zpracování odpovídá současným světovým trendům, v kooperaci i metodice je do jisté míry předchází. Dále bylo zjištěno, že podobný model zpracování a podobné technologie jsou vyvíjeny např. Ve Švédsku, Spojených státech a jsou do jisté míry s nimi oprávněně srovnatelné. Podobný model (metodicky) reorganizace zpracování národní bibliografie se vyvíjí např. v Austrálii.

Aplikace pro management KOSABI se dále ladí, byl navržen test na URL adres.

Výsledky projektu byly prezentovány na konferenci Infos 2003 a zasedání sekce pro bibliografii SDRUK, Informace byly poskytnuty sekci IFLA, zabývající se problematikou novin. Aktuální tematikou je zpřístupňování informací, obsažených v novinách.


B.3 Posun znalostí

K významnému posunu znalostí došlo především v těchto oblastech:

  • Poměrně dobrá orientace v nových trendech zpracování a zpřístupňování informací.

  • Praktická realizace těchto trendů na konkrétní fungující systém , která umožn í jeho přetrvání v budoucnu (metadata, pojmové vyhledávání, propojování informací, vazba na klasický fond, fond elektronických dokumentů a registrace v CNB, budování digitální knihovny), u báze ANL FULL rutinní provoz v NKČR

  • Fungující linka zpracování bib liografických záznamů z plných textů na lokálních stanicích v NKČR - TTDE, návrh a částečná realizace internetové verze linky - WWWTTDE (nové)

  • Propojení internetové verze linky na autority a rejstříky ANL FULL (nové)

  • Propojení bibliografických záznamů s elektronickými zdroji na základě dynamických i statických URL adres, kombinace pojmového vyhledávání s metadaty jako předpoklad pro impelmentaci kooperačního systému do konceptu metaknihovny, informačních bran a "subject gateways"

  • Vytvoření předpokladů pro distribuované vyhledávání informací za současného využití tradičního slučování informací do souborné databáze

  • Zpřístupnění plných textů v rámci moderně koncipované báze ANL FULL na základě vyspělých technologií pro zpřístupňování elektronických dokumentů, praktická implementace Dublin Core v rámci HTML, XHTML, XML v kvalifikované a nekvalifikované formě. Definování Anl Core pro zpřístupnění jemnějších údajů analytického popisu

  • Údržba strukturovaného portálu volně dostupných zdrojů na Internetu s popisem těchto zdrojů

  • Možnost využití metody vypracované pro linku automatické indexace pro zpracování informací a toku informací mezi autorem, nakladatelem, informační agenturou, bibliografickou agenturou/knihovnou

  • Možnost opravy metadat v rámci WWWTTDE (komplet nové)

  • Možnost stahování a export plných textů a metadat

  • Další aktualizace topiků (nové)

  • Analýza problematiky automatické indexace a selekční úplnosti topiků

  • Hypotézy na základě analýzy problematiky automatické indexace: orientace spíše na
  • automatickou extrakci dat, clustering, automatické abstrahování event. klasifikaci a podporu indexátorů a automatizovanou kategorizaci s využití dalších možností inteligentního vyhledávání systému TOPIC, než na automatické přiřazování věcných termínů. Zohlednit inter akci systému s uživatelem a indexátorem

  • Ověření hypotézy, že intelektuální indexace věcná je zatím nezastupitelná

  • Posílení vazby v rámci KOSABI se 4 nově konstituovanými knihovnami - ladění UNIMARCu a excepční základny

  • Testování a další vývoj aplikace pro MNG KOSABI, zlepšení interface pro MNG KOSABI
    Údržba báze titulů


  • Ověření, že podobné metody zpracování, organizace zpracování i bibliografického systému se ve světě vyvíjejí a jsou s nimi srovnatelné a do jisté míry je i předcházejí z hlediska kooperace a metodiky

  • Pravděpodobný vývoj KOSABI - nastínění perspektiv KOSABI a možný vývoj jeho subsystémů z hlediska typu zpracovávaných dokumentů

  • Zjištění, že článková bibliografie je zpracovávána v zahraniční řadou knihovnických i komerčních institucí

  • Zjištění trendu spolupracovat při zpřístupňování informací z novin a dalších seriálů s institucemi (i komerčními), které se touto problematikou zabývají a implementovat nové technologické metody již používané mimo oblast knihovnictví (strategický plán IFLA - sekce pro seriály, nově vytvořená sekce pro noviny v r. 2002)

  • Nová forma poskytování informačních služeb za spolupráce knihovnické a moderní informační instituce. Bez kvalitního know how těchto společností není možný vývoj v oblasti knihoven

  • Prezentace v rámci ČR a reference v zahraničí ( řešitelce projektu nabídnuto členství v IFLA Section for Newspapers, což je určitým uznáním práce, kterou tým pracovníků, kolem projektu, vykonává)





C Navrhovaná část

Zpět na Granty .



10.9. 2004 Ivana Anděrová