added domfilter.svg to distribution tarball, now make dist runs again
[idzebra-moved-to-github.git] / doc / introduction.xml
1 <chapter id="introduction">
2  <!-- $Id: introduction.xml,v 1.49 2007-02-05 14:32:31 marc Exp $ -->
3  <title>Introduction</title>
4  
5  <section id="overview">
6   <title>Overview</title>
7   
8       <para>
9         &zebra; is a free, fast, friendly information management system. It can
10         index records in &xml;/&sgml;, &marc;, e-mail archives and many other
11         formats, and quickly find them using a combination of boolean
12         searching and relevance ranking. Search-and-retrieve applications can
13         be written using &api;s in a wide variety of languages, communicating
14         with the &zebra; server using industry-standard information-retrieval
15         protocols or web services. 
16       </para>
17       <para>
18         &zebra; is licensed Open Source, and can be
19         deployed by anyone for any purpose without license fees. The C source
20         code is open to anybody to read and change under the GPL license.  
21       </para>
22       <para>
23         &zebra; is a networked component which acts as a 
24         reliable &z3950; server 
25         for both record/document search, presentation, insert, update and 
26         delete operations. In addition, it understands the &sru; family of 
27         webservices, which exist in &rest; &get;/&post; and truly
28         &soap; flavors. 
29       </para>
30       <para>
31         &zebra; is available as MS Windows 2003 Server (32 bit) self-extracting
32         package as well as GNU/Debian Linux (32 bit and 64 bit) precompiled
33         packages. It has been deployed successfully on other Unix systems,
34         including Sun Sparc, HP Unix, and many variants of Linux and BSD
35         based systems.  
36       </para>
37       <para>
38         <ulink url="http://www.indexdata.com/zebra/">http://www.indexdata.com/zebra/</ulink>
39         <ulink url="http://ftp.indexdata.dk/pub/zebra/win32/">http://ftp.indexdata.dk/pub/zebra/win32/</ulink>
40         <ulink url="http://ftp.indexdata.dk/pub/zebra/debian/">http://ftp.indexdata.dk/pub/zebra/debian/</ulink>
41       </para>
42
43   <para>
44    <ulink url="http://indexdata.dk/zebra/">&zebra;</ulink>
45    is a high-performance, general-purpose structured text
46    indexing and retrieval engine. It reads records in a
47    variety of input formats (eg. email, &xml;, &marc;) and provides access
48    to them through a powerful combination of boolean search
49    expressions and relevance-ranked free-text queries.
50   </para>
51
52   <para>
53    &zebra; supports large databases (tens of millions of records,
54    tens of gigabytes of data). It allows safe, incremental
55    database updates on live systems. Because &zebra; supports
56    the industry-standard information retrieval protocol, &z3950;,
57    you can search &zebra; databases using an enormous variety of
58    programs and toolkits, both commercial and free, which understand
59    this protocol.  Application libraries are available to allow
60    bespoke clients to be written in Perl, C, C++, Java, Tcl, Visual
61    Basic, Python, &php; and more - see the
62    <ulink url="&url.zoom;">&zoom; web site</ulink>
63    for more information on some of these client toolkits.
64   </para>
65
66   <para>
67    This document is an introduction to the &zebra; system. It explains
68    how to compile the software, how to prepare your first database,
69    and how to configure the server to give you the
70    functionality that you need.
71   </para>
72  </section>
73  
74  <section id="features">
75   <title>&zebra; Features Overview</title>
76   
77
78       <!--
79       <row>
80        <entry></entry>
81        <entry></entry>
82        <entry></entry>
83        <entry><xref linkend=""/></entry>
84       </row>
85       <row>
86        <entry></entry>
87        <entry></entry>
88        <entry></entry>
89        <entry><xref linkend=""/></entry>
90       </row>
91       <row>
92        <entry></entry>
93        <entry></entry>
94        <entry></entry>
95        <entry><xref linkend=""/></entry>
96       </row>
97       -->
98
99
100    <section id="features-document">
101     <title>&zebra; Document Model</title>
102
103    <table id="table-features-document" frame="top">
104     <title>&zebra; document model</title>
105     <tgroup cols="4">
106      <colspec colwidth="1*" colname="feature"/>
107      <colspec colwidth="1*" colname="availability"/>
108      <colspec colwidth="3*" colname="notes"/>
109      <colspec colwidth="2*" colname="references"/>
110      <thead>
111       <row>
112        <entry>Feature</entry>
113        <entry>Availability</entry>
114        <entry>Notes</entry>
115        <entry>Reference</entry>
116       </row>
117      </thead>
118      <tbody>
119       <row>
120        <entry>Complex semi-structured Documents</entry>
121        <entry>&xml; and &grs1; Documents</entry>
122        <entry>Both &xml; and &grs1; documents exhibit a &dom; like internal
123        representation allowing for complex indexing and display rules</entry>
124        <entry><xref linkend="record-model-alvisxslt"/> and 
125        <xref linkend="grs"/></entry>
126       </row>
127       <row>
128        <entry>Input document formats</entry>
129        <entry>&xml;, &sgml;, Text, ISO2709 (&marc;)</entry>
130        <entry>
131         A system of input filters driven by
132         regular expressions allows most ASCII-based
133         data formats to be easily processed.
134         &sgml;, &xml;, ISO2709 (&marc;), and raw text are also
135         supported.</entry>
136        <entry><xref linkend="componentmodules"/></entry>
137       </row>
138       <row>
139        <entry>Document storage</entry>
140        <entry>Index-only, Key storage, Document storage</entry>
141        <entry>Data can be, and usually is, imported
142         into &zebra;'s own storage, but &zebra; can also refer to
143         external files, building and maintaining indexes of "live"
144         collections.</entry>
145        <entry></entry>
146       </row>
147
148      </tbody>
149     </tgroup>
150    </table>
151    </section>
152
153    <section id="features-search">
154     <title>&zebra; Search Features</title>
155
156    <table id="table-features-search" frame="top">
157     <title>&zebra; search functionality</title>
158     <tgroup cols="4">
159      <colspec colwidth="1*" colname="feature"/>
160      <colspec colwidth="1*" colname="availability"/>
161      <colspec colwidth="3*" colname="notes"/>
162      <colspec colwidth="2*" colname="references"/>
163      <thead>
164       <row>
165        <entry>Feature</entry>
166        <entry>Availability</entry>
167        <entry>Notes</entry>
168        <entry>Reference</entry>
169       </row>
170      </thead>
171      <tbody>
172       <row>
173        <entry>Query languages</entry>
174        <entry>&cql; and &rpn;/&pqf;</entry>
175        <entry>The type-1 Reverse Polish Notation (&rpn;)
176        and it's textual representation Prefix Query Format (&pqf;) are
177        supported. The Common Query Language (&cql;) can be configured as
178        a mapping from &cql; to &rpn;/&pqf;</entry>
179        <entry><xref linkend="querymodel-query-languages-pqf"/> and 
180        <xref linkend="querymodel-cql-to-pqf"/></entry>
181       </row>
182       <row>
183        <entry>Complex boolean query tree</entry>
184        <entry>&cql; and &rpn;/&pqf;</entry>
185        <entry>Both &cql; and &rpn;/&pqf; allow atomic query parts (&apt;) to
186        be combined into complex boolean query trees</entry>
187        <entry><xref linkend="querymodel-rpn-tree"/></entry>
188       </row>
189       <row>
190        <entry>Field search</entry>
191        <entry>user defined</entry>
192        <entry>Atomic query parts (&apt;) are either general, or
193        directed at user-specified document fields
194       </entry>
195        <entry><xref linkend="querymodel-atomic-queries"/>, 
196               <xref linkend="querymodel-use-string"/>, 
197               <xref linkend="querymodel-bib1-use"/>, and 
198               <xref linkend="querymodel-idxpath-use"/></entry>
199       </row>
200       <row>
201        <entry>Data normalization</entry>
202        <entry>user defined</entry>
203        <entry>Data normalization, text tokenization and character
204        mappings can be applied during indexing and searching</entry>
205        <entry><xref linkend="fields-and-charsets"/></entry>
206       </row>
207       <row>
208        <entry>Predefined field types</entry>
209        <entry>user defined</entry>
210        <entry>Data fields can be indexed as phrase, as into word
211        tokenized text, as numeric values, url's, dates, and raw binary
212        data.</entry> 
213        <entry><xref linkend="character-map-files"/> and
214               <xref linkend="querymodel-pqf-apt-mapping-structuretype"/>
215        </entry>
216       </row>
217       <row>
218        <entry>Regular expression matching</entry>
219        <entry>available</entry>
220        <entry>Full regular expression matching and "approximate
221         matching" (eg. spelling mistake corrections) are handled.</entry>
222        <entry><xref linkend="querymodel-regular"/></entry>
223       </row>
224       <row>
225        <entry>Term truncation</entry>
226        <entry>left, right, left-and-right</entry>
227        <entry>The truncation attribute specifies whether variations of
228        one or more characters are allowed between search term and hit
229        terms, or not. Using non-default truncation attributes will
230        broaden the document hit set of a search query.</entry> 
231        <entry><xref linkend="querymodel-bib1-truncation"/></entry>
232       </row>
233       <row>
234        <entry>Fuzzy searches</entry>
235        <entry>Spelling correction</entry>
236        <entry>In addition, fuzzy searches are implemented, where one 
237           spelling mistake in search terms is matched</entry>
238        <entry><xref linkend="querymodel-bib1-truncation"/></entry>
239       </row>
240      </tbody>
241     </tgroup>
242    </table>
243    </section>
244
245    <section id="features-scan">
246     <title>&zebra; Index Scanning</title>
247
248    <table id="table-features-scan" frame="top">
249     <title>&zebra; index scanning</title>
250     <tgroup cols="4">
251      <colspec colwidth="1*" colname="feature"/>
252      <colspec colwidth="1*" colname="availability"/>
253      <colspec colwidth="3*" colname="notes"/>
254      <colspec colwidth="2*" colname="references"/>
255      <thead>
256       <row>
257        <entry>Feature</entry>
258        <entry>Availability</entry>
259        <entry>Notes</entry>
260        <entry>Reference</entry>
261       </row>
262      </thead>
263      <tbody>
264       <row>
265        <entry>Scan</entry>
266        <entry>term suggestions</entry>
267        <entry><literal>Scan</literal> on a given named index returns all the 
268           indexed terms in lexicographical order near the given start
269        term. This can be used to create drop-down menus and search 
270        suggestions.</entry>
271        <entry><xref linkend="querymodel-operation-type-scan"/> and 
272        <xref linkend="querymodel-atomic-queries"/>
273        </entry>
274       </row>
275       <row>
276        <entry>Facetted browsing</entry>
277        <entry>partial</entry>
278        <entry>&zebra; supports <literal>scan inside a hit 
279           set</literal> from a previous search, thus reducing the listed 
280           terms to the 
281           subset of terms found in the documents/records of the hit
282        set.</entry> 
283        <entry><xref linkend="querymodel-zebra-attr-scan"/></entry>
284       </row>
285       <row>
286        <entry>Drill-down or refine-search</entry>
287        <entry>partially</entry>
288        <entry>scanning in result sets can be used to implement
289        drill-down in search clients</entry>
290        <entry><xref linkend="querymodel-zebra-attr-scan"/></entry>
291       </row>
292      </tbody>
293     </tgroup>
294    </table>
295    </section>
296
297    <section id="features-presentation">
298     <title>&zebra; Document Presentation</title>
299
300    <table id="table-features-presentation" frame="top">
301     <title>&zebra; document presentation</title>
302     <tgroup cols="4">
303      <colspec colwidth="1*" colname="feature"/>
304      <colspec colwidth="1*" colname="availability"/>
305      <colspec colwidth="3*" colname="notes"/>
306      <colspec colwidth="2*" colname="references"/>
307      <thead>
308       <row>
309        <entry>Feature</entry>
310        <entry>Availability</entry>
311        <entry>Notes</entry>
312        <entry>Reference</entry>
313       </row>
314      </thead>
315      <tbody>
316       <row>
317        <entry>Hit count</entry>
318        <entry>yes</entry>
319        <entry>Search results include at any time the total hit count of a given
320           query, either exact computed, or approximative, in case that the
321           hit count exceeds a possible pre-defined hit set truncation
322        level.</entry>
323        <entry>
324        <xref linkend="querymodel-zebra-local-attr-limit"/> and
325        <xref linkend="zebra-cfg"/>
326        </entry>
327       </row>
328       <row>
329        <entry>Paged result sets</entry>
330        <entry>yes</entry>
331        <entry>Paging of search requests and present/display request
332        can return any successive number of records from any start
333        position in the hit set, i.e. it is trivial to provide search
334        results in successive pages of any size.</entry>
335        <entry></entry>
336       </row>
337       <row>
338        <entry>&xml; document transformations</entry>
339        <entry>&xslt; based</entry>
340        <entry> Record presentation can be performed in many
341        pre-defined &xml; data 
342           formats, where the original &xml; records are on-the-fly transformed
343           through any preconfigured &xslt; transformation. It is therefore
344           trivial to present records in short/full &xml; views, transforming to
345           RSS, Dublin Core, or other &xml; based data formats, or transform
346           records to XHTML snippets ready for inserting in XHTML pages.</entry>
347        <entry> 
348        <xref linkend="record-model-alvisxslt-elementset"/></entry>
349       </row>
350       <row>
351        <entry>Binary record transformations</entry>
352        <entry>&marc;, &usmarc;, &marc21; and &marcxml;</entry>
353        <entry>post-filter record transformations</entry>
354        <entry></entry>
355       </row>
356       <row>
357        <entry>Record Syntaxes</entry>
358        <entry></entry>
359        <entry> Multiple record syntaxes
360       for data retrieval: &grs1;, &sutrs;,
361       &xml;, ISO2709 (&marc;), etc. Records can be mapped between
362        record syntaxes and schemas on the fly.</entry>
363        <entry></entry>
364       </row>
365       <row>
366        <entry>&zebra; internal metadata</entry>
367        <entry>yes</entry>
368        <entry> &zebra; internal document metadata can be fetched in
369        &sutrs; and &xml; record syntaxes. Those are useful in client
370        applications.</entry>
371        <entry><xref linkend="special-retrieval"/></entry>
372       </row>
373       <row>
374        <entry>&zebra; internal raw record data</entry>
375        <entry>yes</entry>
376        <entry> &zebra; internal raw, binary record data can be fetched in
377        &sutrs; and &xml; record syntaxes, leveraging %zebra; to a
378        binary storage system</entry>
379        <entry><xref linkend="special-retrieval"/></entry>
380       </row>
381       <row>
382        <entry>&zebra; internal record field data</entry>
383        <entry>yes</entry>
384        <entry> &zebra; internal record field data can be fetched in
385        &sutrs; and &xml; record syntaxes. This makes very fast minimal
386        record data displays possible.</entry>
387        <entry><xref linkend="special-retrieval"/></entry>
388       </row>
389      </tbody>
390     </tgroup>
391    </table>
392    </section>
393
394    <section id="features-sort-rank">
395     <title>&zebra; Sorting and Ranking</title>
396
397    <table id="table-features-sort-rank" frame="top">
398     <title>&zebra; sorting and ranking</title>
399     <tgroup cols="4">
400      <colspec colwidth="1*" colname="feature"/>
401      <colspec colwidth="1*" colname="availability"/>
402      <colspec colwidth="3*" colname="notes"/>
403      <colspec colwidth="2*" colname="references"/>
404      <thead>
405       <row>
406        <entry>Feature</entry>
407        <entry>Availability</entry>
408        <entry>Notes</entry>
409        <entry>Reference</entry>
410       </row>
411      </thead>
412      <tbody>
413       <row>
414        <entry>Sort</entry>
415        <entry>numeric, lexicographic</entry>
416        <entry>Sorting on the basis of alpha-numeric and numeric data
417        is supported. Alphanumeric sorts can be configured for
418        different data encodings and locales for European languages.</entry>
419        <entry><xref linkend="administration-ranking-sorting"/> and
420        <xref linkend="querymodel-zebra-attr-sorting"/></entry>
421       </row>
422       <row>
423        <entry>Combined sorting</entry>
424        <entry>yes</entry>
425        <entry>Sorting on the basis of combined sorts Â­ e.g. combinations of 
426           ascending/descending sorts of lexicographical/numeric/date field data
427           is supported</entry>
428        <entry><xref linkend="administration-ranking-sorting"/></entry>
429       </row>
430       <row>
431        <entry>Relevance ranking</entry>
432        <entry>TF-IDF like</entry>
433        <entry>Relevance-ranking of free-text queries is supported
434        using a TF-IDF like algorithm.</entry>
435        <entry><xref linkend="administration-ranking-dynamic"/></entry>
436       </row>
437       <row>
438        <entry>Static pre-ranking</entry>
439        <entry>yes</entry>
440        <entry>Enables pre-index time ranking of documents where hit
441        lists are ordered first by ascending static rank, then by
442        ascending document ID.</entry> 
443        <entry><xref linkend="administration-ranking-static"/></entry>
444       </row>
445      </tbody>
446     </tgroup>
447    </table>
448    </section>
449
450
451    <section id="features-updates">
452     <title>&zebra; Live Updates</title>
453
454
455    <table id="table-features-updates" frame="top">
456     <title>&zebra; live updates</title>
457     <tgroup cols="4">
458      <colspec colwidth="1*" colname="feature"/>
459      <colspec colwidth="1*" colname="availability"/>
460      <colspec colwidth="3*" colname="notes"/>
461      <colspec colwidth="2*" colname="references"/>
462      <thead>
463       <row>
464        <entry>Feature</entry>
465        <entry>Availability</entry>
466        <entry>Notes</entry>
467        <entry>Reference</entry>
468       </row>
469      </thead>
470      <tbody>
471       <row>
472        <entry>Incremental and batch updates</entry>
473        <entry></entry>
474        <entry>It is possible to schedule record inserts/updates/deletes in any
475         quantity, from single individual handled records to batch updates
476         in strikes of any size, as well as total re-indexing of all records
477         from file system. </entry>
478        <entry><xref linkend="zebraidx"/></entry>
479       </row>
480       <row>
481        <entry>Remote updates</entry>
482        <entry>&z3950; extended services</entry>
483        <entry>Updates can be performed from remote locations using the
484        &z3950; extended services. Access to extended services can be
485        login-password protected.</entry>
486        <entry><xref linkend="administration-extended-services"/> and 
487               <xref linkend="zebra-cfg"/></entry>
488       </row>
489       <row>
490        <entry>Live updates</entry>
491        <entry>transaction based</entry>
492        <entry> Data updates are transaction based and can be performed
493        on running  &zebra; systems.  Full searchability is preserved
494        during life data update due to use  of shadow disk areas for
495        update operations. Multiple update transactions at the same
496        time are lined up, to be performed one after each other. Data
497        integrity is preserved.</entry> 
498        <entry><xref linkend="shadow-registers"/></entry>
499       </row>
500      </tbody>
501     </tgroup>
502    </table>
503    </section>
504
505  <section id="features-protocol">
506   <title>&zebra; Networked Protocols</title>
507
508    <table id="table-features-protocol" frame="top">
509     <title>&zebra; networked protocols</title>
510     <tgroup cols="4">
511      <colspec colwidth="1*" colname="feature"/>
512      <colspec colwidth="1*" colname="availability"/>
513      <colspec colwidth="3*" colname="notes"/>
514      <colspec colwidth="2*" colname="references"/>
515      <thead>
516       <row>
517        <entry>Feature</entry>
518        <entry>Availability</entry>
519        <entry>Notes</entry>
520        <entry>Reference</entry>
521       </row>
522      </thead>
523      <tbody>
524       <row>
525        <entry>Fundamental operations</entry>
526        <entry>&z3950;/&sru; <literal>explain</literal>, 
527            <literal>search</literal>, <literal>scan</literal>, and 
528            <literal>update</literal></entry>
529        <entry></entry>
530        <entry><xref linkend="querymodel-operation-types"/></entry>
531       </row>
532       <row>
533        <entry>&z3950; protocol support</entry>
534        <entry>yes</entry>
535        <entry> Protocol facilities supported are: 
536        <literal>init</literal>, <literal>search</literal>, 
537        <literal>present</literal> (retrieval),
538        Segmentation (support for very large records), 
539        <literal>delete</literal>, <literal>scan</literal>
540        (index browsing), <literal>sort</literal>, 
541        <literal>close</literal> and support for the <literal>update</literal>
542        Extended Service to add or replace an existing &xml;
543        record. Piggy-backed presents are honored in the search
544        request. Named result sets are supported.</entry>
545        <entry><xref linkend="protocol-support"/></entry>
546       </row>
547       <row>
548        <entry>Web Service support</entry>
549        <entry>&sru_gps;</entry>
550        <entry> The protocol operations <literal>explain</literal>, 
551        <literal>searchRetrieve</literal> and <literal>scan</literal>
552        are supported. <ulink url="&url.cql;">&cql;</ulink> to internal
553        query model &rpn;
554        conversion is supported. Extended RPN queries
555        for search/retrieve and scan are supported.</entry>
556        <entry><xref linkend="zebrasrv-sru-support"/></entry>
557       </row>
558      </tbody>
559     </tgroup>
560    </table>
561    </section>
562
563    <section id="features-scalability">
564     <title>&zebra; Data Size and Scalability</title>
565
566    <table id="table-features-scalability" frame="top">
567     <title>&zebra; data size and scalability</title>
568     <tgroup cols="4">
569      <colspec colwidth="1*" colname="feature"/>
570      <colspec colwidth="1*" colname="availability"/>
571      <colspec colwidth="3*" colname="notes"/>
572      <colspec colwidth="2*" colname="references"/>
573      <thead>
574       <row>
575        <entry>Feature</entry>
576        <entry>Availability</entry>
577        <entry>Notes</entry>
578        <entry>Reference</entry>
579       </row>
580      </thead>
581      <tbody>
582       <row>
583        <entry>No of records</entry>
584        <entry>40-60 million</entry>
585        <entry></entry>
586        <entry></entry>
587       </row>
588       <row>
589        <entry>Data size</entry>
590        <entry>100 GB of record data</entry>
591        <entry>&zebra; based applications have successfully indexed up
592        to 100 GB of record data</entry>
593        <entry></entry>
594       </row>
595       <row>
596        <entry>Scale out</entry>
597        <entry>multiple discs</entry>
598        <entry></entry>
599        <entry></entry>
600       </row>
601       <row>
602        <entry>Performance</entry>
603        <entry><literal>O(n * log N)</literal></entry>
604        <entry> &zebra; query speed and performance is affected roughly by 
605           <literal>O(log N)</literal>,
606           where <literal>N</literal> is the total database size, and by 
607           <literal>O(n)</literal>, where <literal>n</literal> is the
608           specific query hit set size.</entry>
609        <entry></entry>
610       </row>
611       <row>
612        <entry>Average search times</entry>
613        <entry></entry>
614        <entry> Even on very large size databases hit rates of 20 queries per
615           seconds with average query answering time of 1 second are possible,
616           provided that the boolean queries are constructed sufficiently
617           precise to result in hit sets of the order of 1000 to 5.000
618           documents.</entry>
619        <entry></entry>
620       </row>
621       <row>
622        <entry>Large databases</entry>
623        <entry>64 bit file pointers</entry>
624        <entry>64 file pointers assure that register files can extend
625        the 2 GB limit. Logical files can be
626         automatically partitioned over multiple disks, thus allowing for
627        large databases.</entry>
628        <entry></entry>
629       </row>
630      </tbody>
631     </tgroup>
632    </table>
633    </section>
634
635    <section id="features-platforms">
636     <title>&zebra; Supported Platforms</title>
637
638    <table id="table-features-platforms" frame="top">
639     <title>&zebra; supported platforms</title>
640     <tgroup cols="4">
641      <colspec colwidth="1*" colname="feature"/>
642      <colspec colwidth="1*" colname="availability"/>
643      <colspec colwidth="3*" colname="notes"/>
644      <colspec colwidth="2*" colname="references"/>
645      <thead>
646       <row>
647        <entry>Feature</entry>
648        <entry>Availability</entry>
649        <entry>Notes</entry>
650        <entry>Reference</entry>
651       </row>
652      </thead>
653      <tbody>
654       <row>
655        <entry>Linux</entry>
656        <entry></entry>
657        <entry>GNU Linux (32 and 64bit), journaling Reiser or (better)
658        JFS file system 
659         on disks. NFS file systems are not supported.
660        GNU/Debian Linux packages are available</entry> 
661        <entry><xref linkend="installation-debian"/></entry>
662       </row>
663       <row>
664        <entry>Unix</entry>
665        <entry>tar-ball</entry>
666        <entry>&zebra; is written in portable C, so it runs on most
667        Unix-like systems.
668        Usual tar-ball install possible on many major Unix systems</entry>
669        <entry><xref linkend="installation-unix"/></entry>
670       </row>
671       <row>
672        <entry>Windows</entry>
673        <entry>NT/2000/2003/XP</entry>
674        <entry>&zebra; runs as well on Windows (NT/2000/2003/XP).
675         Windows installer packages available</entry>
676        <entry><xref linkend="installation-win32"/></entry>
677       </row>
678      </tbody>
679     </tgroup>
680    </table>
681    </section>
682
683   
684  </section>
685  
686   <section id="introduction-apps">
687   <title>References and &zebra; based Applications</title>
688   <para>
689    &zebra; has been deployed in numerous applications, in both the
690    academic and commercial worlds, in application domains as diverse
691    as bibliographic catalogues, Geo-spatial information, structured
692    vocabulary browsing, government information locators, civic
693    information systems, environmental observations, museum information
694    and web indexes.
695   </para>
696   <para>
697    Notable applications include the following:
698   </para>
699
700
701   <section id="koha-ils">
702    <title>Koha free open-source ILS</title>
703    <para>
704      <ulink url="http://www.koha.org/">Koha</ulink> is a full-featured
705      open-source ILS, initially developed  in 
706      New Zealand by Katipo Communications Ltd, and first deployed in
707      January of 2000 for Horowhenua Library Trust. It is currently
708      maintained by a team of software providers and library technology
709      staff from around the globe. 
710     </para>
711     <para>
712      <ulink url="http://liblime.com/">LibLime</ulink>, 
713      a company that is marketing and supporting Koha, adds in
714      the new release of Koha 3.0 the &zebra;
715      database server to drive its bibliographic database.
716     </para>
717     <para>
718      In early 2005, the Koha project development team began looking at
719      ways to improve &marc; support and overcome scalability limitations
720      in the Koha 2.x series. After extensive evaluations of the best
721      of the Open Source textual database engines - including MySQL
722      full-text searching, PostgreSQL, Lucene and Plucene - the team
723      selected &zebra;. 
724     </para>
725     <para>
726      "&zebra; completely eliminates scalability limitations, because it
727      can support tens of millions of records." explained Joshua
728      Ferraro, LibLime's Technology President and Koha's Project
729      Release Manager. "Our performance tests showed search results in
730      under a second for databases with over 5 million records on a
731      modest i386 900Mhz test server." 
732     </para>
733     <para>
734      "&zebra; also includes support for true boolean search expressions
735      and relevance-ranked free-text queries, both of which the Koha
736      2.x series lack. &zebra; also supports incremental and safe
737      database updates, which allow on-the-fly record
738      management. Finally, since &zebra; has at its heart the &z3950;
739      protocol, it greatly improves Koha's support for that critical
740      library standard." 
741     </para>
742     <para> 
743      Although the bibliographic database will be moved to &zebra;, Koha
744      3.0 will continue to use a relational SQL-based database design
745      for the 'factual' database. "Relational database managers have
746      their strengths, in spite of their inability to handle large
747      numbers of bibliographic records efficiently," summed up Ferraro,
748      "We're taking the best from both worlds in our redesigned Koha
749      3.0. 
750      </para>
751      <para>
752      See also LibLime's newsletter article
753       <ulink url="http://www.liblime.com/newsletter/2006/01/features/koha-earns-its-stripes/">
754      Koha Earns its Stripes</ulink>.
755      </para>
756    </section>
757
758   <section id="emilda-ils">
759    <title>Emilda open source ILS</title>
760    <para>
761      <ulink url="http://www.emilda.org/">Emilda</ulink> 
762      is a complete Integrated Library System, released under the 
763      GNU General Public License. It has a
764      full featured Web-OPAC, allowing comprehensive system management
765      from virtually any computer with an Internet connection, has
766      template based layout allowing anyone to alter the visual
767      appearance of Emilda, and is
768      &xml; based language for fast and easy portability to virtually any
769      language.
770      Currently, Emilda is used at three schools in Espoo, Finland.
771     </para>
772     <para>
773      As a surplus, 100% &marc; compatibility has been achieved using the
774     &zebra; Server from Index Data as backend server. 
775     </para> 
776    </section>
777
778   <section id="reindex-ils">
779    <title>ReIndex.Net web based ILS</title>
780     <para>
781      <ulink url="http://www.reindex.net/index.php?lang=en">Reindex.net</ulink>
782      is a netbased library service offering all
783      traditional functions on a very high level plus many new
784      services. Reindex.net is a comprehensive and powerful WEB system
785      based on standards such as &xml; and &z3950;.
786      updates. Reindex supports &marc21;, dan&marc; eller Dublin Core with
787      UTF8-encoding.  
788     </para>
789     <para>
790      Reindex.net runs on GNU/Debian Linux with &zebra; and Simpleserver
791      from Index 
792      Data for bibliographic data. The relational database system
793      Sybase 9 &xml; is used for
794      administrative data. 
795      Internally &marcxml; is used for bibliographical records. Update
796      utilizes &z3950; extended services. 
797     </para>
798    </section>
799
800    <section id="dads-article-database">
801     <title>DADS - the DTV Article Database
802      Service</title>
803     <para>
804     DADS is a huge database of more than ten million records, totalling
805     over ten gigabytes of data.  The records are metadata about academic
806     journal articles, primarily scientific; about 10% of these
807     metadata records link to the full text of the articles they
808     describe, a body of about a terabyte of information (although the
809     full text is not indexed.)
810    </para>
811    <para>
812     It allows students and researchers at DTU (Danmarks Tekniske
813     Universitet, the Technical College of Denmark) to find and order
814     articles from multiple databases in a single query.  The database
815     contains literature on all engineering subjects.  It's available
816     on-line through a web gateway, though currently only to registered
817     users.
818    </para>
819    <para>
820     More information can be found at
821     <ulink url="http://www.dtv.dk/"/> and
822     <ulink url="http://dads.dtv.dk"/>
823    </para>
824   </section>
825
826   <section id="infonet-eprints">
827    <title>Infonet Eprints</title>
828    <para>
829      The InfoNet Eprints service from the 
830      <ulink url="http://www.dtv.dk/">
831       Technical Knowledge Center of Denmark</ulink>
832      provides access to documents stored in
833      eprint/preprint servers and institutional research archives around
834      the world. The service is based on Open Archives Initiative metadata
835      harvesting of selected scientific archives around the world. These
836      open archives offer free and unrestricted access to their contents.
837     </para>
838    <para>
839     Infonet Eprints currently holds 1.4 million records from 16 archives.
840     The online search facility is found at
841     <ulink url="http://preprints.cvt.dk"/>.
842    </para>
843   </section>
844
845   <section id="alvis-project">
846    <title>Alvis</title>
847    <para>
848      The <ulink url="http://www.alvis.info/alvis/">Alvis</ulink> EU
849      project run under the 6th Framework (IST-1-002068-STP)
850      is building a semantic-based peer-to-peer search engine. A
851      consortium of eleven partners from six different European
852      Community countries plus Switzerland and China contribute
853      with expertise in a broad range of specialties including network
854      topologies, routing algorithms, linguistic analysis and
855      bioinformatics. 
856     </para>
857     <para>
858      The &zebra; information retrieval indexing machine is used inside
859      the Alvis framework to
860      manage huge collections of natural language processed and
861      enhanced &xml; data, coming from a topic relevant web crawl.
862      In this application, &zebra; swallows and manages 37GB of &xml; data
863      in about 4 hours, resulting in search times of fractions of
864      seconds. 
865      </para>
866    </section>
867
868
869   <section id="uls">
870    <title>ULS (Union List of Serials)</title>
871    <para>
872     The M25 Systems Team
873     has created a union catalogue for the periodicals of the
874     twenty-one constituent libraries of the University of London and
875     the University of Westminster
876     (<ulink url="http://www.m25lib.ac.uk/ULS/"/>).
877     They have achieved this using an
878     unusual architecture, which they describe as a
879     ``non-distributed virtual union catalogue''.
880    </para>
881    <para>
882     The member libraries send in data files representing their
883     periodicals, including both brief bibliographic data and summary
884     holdings.  Then 21 individual &z3950; targets are created, each
885     using &zebra;, and all mounted on the single hardware server.
886     The live service provides a web gateway allowing &z3950; searching
887     of all of the targets or a selection of them.  &zebra;'s small
888     footprint allows a relatively modest system to comfortably host
889     the 21 servers.
890    </para>
891    <para>
892     More information can be found at
893     <ulink url="http://www.m25lib.ac.uk/ULS/"/>
894    </para>
895   </section>
896
897   <section id="nli">
898    <title>NLI-&z3950; - a Natural Language Interface for Libraries</title>
899    <para>
900     Fernuniversit&#x00E4;t Hagen in Germany have developed a natural
901     language interface for access to library databases.
902     <!-- <ulink
903     url="http://ki212.fernuni-hagen.de/nli/NLIintro.html"/> -->
904     In order to evaluate this interface for recall and precision, they
905     chose &zebra; as the basis for retrieval effectiveness.  The &zebra;
906     server contains a copy of the GIRT database, consisting of more
907     than 76000 records in &sgml; format (bibliographic records from
908     social science), which are mapped to &marc; for presentation.
909    </para>
910    <para>
911     (GIRT is the German Indexing and Retrieval Testdatabase.  It is a
912     standard German-language test database for intelligent indexing
913     and retrieval systems.  See
914     <ulink url="http://www.gesis.org/forschung/informationstechnologie/clef-delos.htm"/>)
915    </para>
916    <para>
917     Evaluation will take place as part of the TREC/CLEF campaign 2003 
918     <ulink url="http://clef.iei.pi.cnr.it"/>.
919     <!-- or <ulink url="http://www4.eurospider.ch/CLEF/"/> -->
920    </para>
921    <para>
922     For more information, contact Johannes Leveling
923     <email>Johannes.Leveling@FernUni-Hagen.De</email>
924    </para>
925   </section>
926
927   <section id="various-web-indexes">
928    <title>Various web indexes</title>
929    <para>
930     &zebra; has been used by a variety of institutions to construct
931     indexes of large web sites, typically in the region of tens of
932     millions of pages.  In this role, it functions somewhat similarly
933     to the engine of google or altavista, but for a selected intranet
934     or a subset of the whole Web.
935    </para>
936    <para>
937     For example, Liverpool University's web-search facility (see on
938     the home page at
939     <ulink url="http://www.liv.ac.uk/"/>
940     and many sub-pages) works by relevance-searching a &zebra; database
941     which is populated by the Harvest-NG web-crawling software.
942    </para>
943    <para>
944     For more information on Liverpool university's intranet search
945     architecture, contact John Gilbertson
946     <email>jgilbert@liverpool.ac.uk</email>
947    </para>
948    <para>
949     Kang-Jin Lee
950     has recently modified the Harvest web indexer to use &zebra; as
951     its native repository engine.  His comments on the switch over
952     from the old engine are revealing:
953     <blockquote>
954      <para>
955       The first results after some testing with &zebra; are very
956       promising.  The tests were done with around 220,000 SOIF files,
957       which occupies 1.6GB of disk space.
958      </para>
959      <para>
960       Building the index from scratch takes around one hour with &zebra;
961       where [old-engine] needs around five hours.  While [old-engine]
962       blocks search requests when updating its index, &zebra; can still
963       answer search requests.
964       [...]
965       &zebra; supports incremental indexing which will speed up indexing
966       even further.
967      </para>
968      <para>
969       While the search time of [old-engine] varies from some seconds
970       to some minutes depending how expensive the query is, &zebra;
971       usually takes around one to three seconds, even for expensive
972       queries.
973       [...]
974       &zebra; can search more than 100 times faster than [old-engine]
975       and can process multiple search requests simultaneously
976      </para>
977      <para>
978       I am very happy to see such nice software available under GPL.
979      </para>
980     </blockquote>
981    </para>
982   </section>
983  </section>
984   
985   
986   <section id="introduction-support">
987    <title>Support</title>
988    <para>
989     You can get support for &zebra; from at least three sources.
990    </para>
991    <para>
992     First, there's the &zebra; web site at
993     <ulink url="&url.idzebra;"/>,
994      which always has the most recent version available for download.
995      If you have a problem with &zebra;, the first thing to do is see
996      whether it's fixed in the current release.
997    </para>
998    <para>
999     Second, there's the &zebra; mailing list.  Its home page at
1000     <ulink url="&url.idzebra.mailinglist;"/>
1001      includes a complete archive of all messages that have ever been
1002      posted on the list.  The &zebra; mailing list is used both for
1003      announcements from the authors (new
1004      releases, bug fixes, etc.) and general discussion.  You are welcome
1005      to seek support there.  Join by filling the form on the list home page.
1006    </para>
1007    <para>
1008     Third, it's possible to buy a commercial support contract, with
1009     well defined service levels and response times, from Index Data.
1010     See
1011     <ulink url="&url.indexdata.support;"/>
1012      for details.
1013    </para>
1014   </section>  
1015 </chapter>
1016  <!-- Keep this comment at the end of the file
1017  Local variables:
1018  mode: sgml
1019  sgml-omittag:t
1020  sgml-shorttag:t
1021  sgml-minimize-attributes:nil
1022  sgml-always-quote-attributes:t
1023  sgml-indent-step:1
1024  sgml-indent-data:t
1025  sgml-parent-document: "zebra.xml"
1026  sgml-local-catalogs: nil
1027  sgml-namecase-general:t
1028  End:
1029  -->