Methodology
for the migration of bibliographic data between automation software:
from ECLAC to MARC
RESUMEN
En la actualidad existen aún muchas bases de datos bibliográficas diseñadas en WinIsis sobre formato de intercambio de información CEPAL; sin embargo, la tendencia de los nuevos software de gestión de unidades de información es la utilización del formato MARC21, con el inconveniente de que ambos formatos son incompatibles entre sí. Por eso, el presente documento ofrece una guía para migrar del formato CEPAL al formato MARC21 utilizando una tabla de equivalencias de campos en una FST de exportación. Se construyó, además, una base de datos intermedia en WinIsis donde se vaciaron los datos convertidos. Posteriormente, se describe el proceso de conversión de un archivo de salida ISO2709 a un archivo MARC puro, que puede ser cargado desde cualquier sistema de gestión de unidades de información de última generación. También, se describe el proceso de depuración del mismo utilizando el programa MarcEdit y se realiza un ejemplo de la carga final en la aplicación de automatización EspaBiblio 3.2. Se concluye que todo proceso de migración debe responder a un proyecto previamente definido y la importancia de realizar la depuración para garantizar la pureza de los datos.
Palabras clave: automatización de bibliotecas, migración de datos, bases de datos, bases de datos textuales
ABSTRACT
At present there are still many bibliographic databases designed in WinIsis on ECLAC exchange format information, however, the trend of new software management information units is the use of MARC21 format, with the drawback that both formats are incompatible with each other. This document provides guidance for migrating from ECLAC format to MARC21 format using a conversion table of fields in a FST export. It also built an intermediate database in which the converted data WinIsis emptied. Subsequently, the process of converting an output file ISO2709 to a file pure MARC, which can be loaded from any system of information management units described generation. It also describes the process of debugging the same program using the MARCEdit and an example of the final charge is made in the application of automation EspaBiblio 3.2. It is concluded that the process of migration to respond to a previously defined project and the importance of debugging to ensure the purity of the data.
Keywords: library automation, data migration, databases, textual databases
Fecha de recibido: 31 de
marzo del 2014
Fecha de
aprobado: 12 de mayo del 2014
1. INTRODUCCION
Hasta hace muy poco tiempo, el software de automatización de catálogos WinIsis se ha utilizado como estándar para el manejo de la descripción bibliográfica en muchas unidades de información. Por su parte y para el caso concreto de América Latina, la Comisión Económica para América Latina y el Caribe (CEPAL) tuvo en la década de los 80 y 90 del siglo pasado una participación sumamente activa en el ámbito de la distribución del WinIsis y el intercambio de información bibliográfica.
En primera instancia, la CEPAL desarrolló su formato de intercambio de información (conocido como formato CEPAL) para uso interno. Sin embargo, se detectó la problemática surgida por el diseño libre y desordenado de bases de datos bibliográficas sin formato alguno, lo cual generaba incompatibilidades en el intercambio de información. Por tal motivo y como apoyo a las bibliotecas de América Latina, se distribuyó el formato CEPAL junto con el paquete WinIsis, por lo cual se utilizó de manera extensiva (Ugobono, 2011).
No obstante, debido a los cambios y demandas actuales de los usuarios, ahora se requieren sistemas de automatización modernos, ágiles, modulares y con posibilidades de crecimiento bajo estándares internacionales. Por lo tanto, el WinIsis ya ha dejado de ser una opción. De hecho, hay que recordar que WinIsis es una sistema de primer nivel de automatización (Chinchilla, 2011), no es multiplataforma y su desarrollo se detuvo en la versión 1.5 (solamente corre sobre las antiguas versiones de Windows NT/2000/XP). Esto hace necesario el evaluar otras alternativas para los nuevos proyectos de automatización y para el desarrollo tecnológico de las unidades de información ya automatizadas.
Sin bien es cierto que el formato CEPAL es aún de uso extensivo, los nuevos sistemas de automatización integral de unidades de información han apostado por el formato MARC (MAchine-Readable Cataloging), desarrollado por la Biblioteca del Congreso de los Estados Unidos de América y que ya va por la versión 21. Con este panorama nos enfrentamos al hecho de que si deseamos migrar a una nueva plataforma informática, es necesario comenzar por migrar de formato de intercambio de información.
Aunque, algunos sistemas como SIABUC© o aplicaciones basadas en WinIsis como ABCD3 pueden cargar archivos tipo ISO 2709, los archivos MRC pueden ser cargados por cualquier aplicación de automatización de unidades de información. Para ofrecer un ejemplo de este último punto, se ejemplifica dicha carga utilizando el programa EspaBiblio 3.24.
Entonces, el objetivo de este documento es atender la problemática descrita, proponiendo una metodología de migración. En primera instancia, se explica cómo realizar la migración de datos del formato CEPAL al MARC utilizando una tabla de equivalencias. En segunda, se explica cómo utilizar la aplicación MarcEdit 5.95 para transformar el archivo ISO 27096 generado por el proceso de exportación de WinIsis en un archivo tipo MRC (MARC puro) y depurarlo. Una vez limpio, este archivo puede ser cargado por el sistema de automatización de nuestra elección.
2. PROCESO DE MIGRACION
Se debe recordar que al momento de diseñar una bases de datos en WinIsis, deben definirse cuatro archivos de trabajo:
1. Tabla de definición de
campos (FDT): aquí se
muestra el número y nombre de cada uno de los campos sobre
los
cuales se trabajará, así como una serie de variables para cada campo, como la
definición de los subcampos, si son repetibles o no y si tienen
un patrón definido para el ingreso de la información. Es aquí donde se
define el formato de intercambio sobre el que se
trabajará.
2. Hoja de entrada de datos (FMT): se construye la hoja sobre la cual se digitarán los datos bibliográficos que serán ingresados a la base de datos.
3. Formato de visualización (PFT): en este archivo se diseña la forma como se verán los datos en pantalla o impresos.
4. Tabla se selección de datos (FST): en este archivo se indica cuales serán los campos que servirán como puntos de entrada a los registros.
2. Hoja de entrada de datos (FMT): se construye la hoja sobre la cual se digitarán los datos bibliográficos que serán ingresados a la base de datos.
3. Formato de visualización (PFT): en este archivo se diseña la forma como se verán los datos en pantalla o impresos.
4. Tabla se selección de datos (FST): en este archivo se indica cuales serán los campos que servirán como puntos de entrada a los registros.
Una vez diseñada la base de datos, se generan de forma automáticas varios archivos, dentro de los cuales se destacan los siguientes:
- Archivo Maestro (MST): archivo que contiene todos los registros ingresados a la base de datos.
- Archivo Invertido o Diccionario de Datos (IFP): archivo de punteros generado por los campos señalados en el FST previamente definido.
Todos los archivos mencionados son almacenados en el directorio DATA de WinIsis. La estructura de almacenamiento de todo el programa es la siguiente:
En el directorio PROG se encuentran los programas ejecutables, en MENU todos los menús del sistema y en el directorio WORK se almacenan todas las salidas, como impresiones, exportaciones y demás. Este último directorio es muy importante para el proceso que se describirá más adelante.
2.1 Proceso de conversión de CEPAL a MARC en WinIsis
Para este proceso, se utilizan dos bases de datos desarrolladas en WinIsis: la primera con los campos más utilizados del formato CEPAL7 y la segunda con los campos equivalentes en el formato MARC. Se construye, además, una FST con las equivalencias de campos y que funcionará como puente entre ambas bases. Si la base de datos a migrar tuviese más campos, es posible ampliar la tabla de equivalencias.
La primera base de datos tiene la FDT tal y como se muestra en la tabla siguiente. Además, se debe tener presente que el formato CEPAL no utiliza subcampos.
Por su parte, la base de datos sobre la que se descargarán los datos a migrar se diseña utilizando MARC. También, debe tenerse en cuenta que toda migración es propensa a la pérdida de datos si no existe el campo o subcampo equivalente en el formato al que se va a migrar. Por eso, la Tabla 2 muestra la estructura de campos.
Se podrá notar que no se incluyen algunos subcampos, como el ^d del campo 100 o los subcamos adicionales del campo 245, esto debido a que no hay un campo equivalente en la Tabla 1. Se insiste en que toda migración es propensa a la pérdida de datos.
Revisadas ambas estructuras, se procede a construir la tabla de equivalencias. Para ello, se desarrolla una FST con la siguiente estructura:
• En la columna de la izquierda contiene el identificador de campo de entrada MARC donde se almacenarán los datos.
• En la columna central se muestra la técnica de indización. En el caso concreto debe ser tipo 0, que seleccionará el contenido completo del campo.
• En la columna de la derecha se señala el formato de extracción que contiene los indicadores de cada campo, el campo de salida en formato CEPAL que contiene los datos a transferir y los subcampos MARC.
La función de los indicadores la describe la Biblioteca del Congreso de los Estados Unidos:
Indicadores:
De las dos posiciones de caracteres
que le siguen a cada
etiqueta (con excepción de los campos 001 al 009), una o ambas pueden
estar ocupadas por indicadores. En
algunos campos se
utiliza únicamente
la primera o la segunda posición; en otros campos se usan las dos, y en
algunos como el 020 y el 300 no se usa ninguna. Cuando una posición de
indicador no se usa se dice que "no está definida", y dicha posición se
deja en blanco. Por regla convencional se representa a los espacios
dejados en blanco en los indicadores (no definidos) mediante el símbolo
"#" (Biblioteca
del Congreso, 2003, párr 31.).
Los indicadores son dos dígitos que van del 0 al 9 y no se leen en forma conjunta sino en forma individual, debido a que son dos números individuales. Como se muestra en el ejemplo siguiente (Figura 1), el número 245 corresponde al campo de título, el 13 representa los indicadores (Biblioteca del Congreso, 2003).
El primer indicador es el 1, el cual señala que el título de la obra es un asiento secundario; si fuese 0 significa que el documento no tiene autor o son más de 3 y el título entra como punto de acceso principal.
El segundo indicador es 3, que le señala a la base de datos donde debe iniciar la alfabetización del título, es decir, si es un 3 debe ubicarse en el cuarto campo del título para el acomodo alfabético del mismo, estos 3 campos incluyen espacios en blanco para que la computadora no tome en cuenta dichos caracteres en el proceso de ordenamiento alfabético. En el título La cordillera andina el valor del segundo indicador es 3, de manera que los primeros tres caracteres (la "L" la "a," y el espacio) serán ignorados y el título será alfabetizado bajo la letra “c” de "cordillera andina".
Es importante recordar que ninguna migración es completamente efectiva y siempre habrá algún porcentaje de pérdida de datos. Esto se debe a que, por su propia naturaleza, no existe uniformidad en la información bibliográfica ingresada y no es posible prever todas las posibles combinaciones que pudiesen presentarse. Esto se explica en el siguiente ejemplo:
Etiqueta Técnica Formato
245 0 "10^a"v60,v75
El indicador 1 se utiliza cuando el título tiene entrada secundaria, es decir cuando hay un autor responsable del documento, pero si hay documentos que entran por título, entonces el indicador debería ser 0 . El segundo indicador es 0, el cual se utiliza cuando el título no tiene artículos, pero siempre habrán algunos que si los tienen.
Por su parte, el subcampo ^a es para el título propiamente dicho. Sin embargo es necesario contemplar el subcampo ^b para el resto del título, el ^c para la mención de responsabilidad y el ^h para la Designación General del Material (DGM). Si la base de datos original tiene estos subcampos, entonces es necesario agregarlos en la tabla de equivalencias.
Una vez construida la FST de exportación, la que para este ejercicio llamaremos MIGRA.FST, se procede a exportar la base de datos en CEPAL. El archivo de salida, el cual es generado por WinIsis utilizando el estándar ISO2709 como se mencionó con antelación, se denominará MIGRA.ISO (Ver Figura 2). Los parámetros que se deben mostrar en la ventana de diálogo de exportación son los siguientes:
• Nombre del archivo ISO de salida: MIGRA.ISO
• Intervalo desde 1 hasta 999999 (toda la base de datos)
• Longitud de línea de salida (en algunas versiones aparece Caracteres por línea): 0
• Dirección física de la FST de reformateo: C:\WINISIS\DATA\MIGRA.FST
Una vez ejecutada la exportación, se generará el archivo MIGRA.ISO en el directorio WORK de WinIsis.
Ahora es necesario salir de la base de datos de CEPAL e ingresar a la base de datos diseñada sobre MARC señalada en la Tabla 3. Una vez dentro se procede a importar el archivo ISO generado con antelación. En la ventana de diálogo de importación es necesario demostrar lo siguiente:
• Archivo ISO de entrada: MIGRA.ISO
• Primer MFN a ser asignado: 1
• En las opciones de importación que se ofrecen, se debe seleccionar CARGAR. Con esto se asegura que se eliminará cualquier registro previo existente.
• Longitud de línea de entrada (o caracteres por línea): 0
Una vez realizado el proceso, se pueden verificar los registros ingresados a la base y posteriormente se procede a exportar la base de datos completa una vez más. En esta oportunidad en la ventana de diálogo de exportación se indica el nuevo nombre del archivo de salida (para este ejercicio será MARC.ISO) y los caracteres por línea nuevamente serán 0 y ya no es necesario señalar la FST de reformateo. Este proceso generará el archivo indicado y lo almacenará nuevamente en el directorio WORK.
2.2 Depuración de datos utilizando MarcEdit
Los datos almacenados en el archivo ISO generado en el proceso anterior siempre tendrán algunas inconsistencias y errores, sobre todo con el manejo de tildes y demás signos propios, en este ejemplo concreto, del idioma español. Por tal motivo, es necesario realizar alguna limpieza directamente sobre cada uno de los registros contenidos en el archivo de salida. Para depurar dichos datos se utiliza MarcEdit8, un programa multiplataforma de acceso libre para editar y corregir registros MARC.
La acción anterior ha generado un archivo tipo MRC que es necesario depurar. Para ello, se abre el Marc Tools para convertirlo en a la extensión MRK con la finalidad de editarlo y depurarlo como se muestra en la Figura 6.
Una vez convertido el archivo con la extensión mrk, se abre con MarcEditor, que consiste en un editor de texto plano. En dicho editor se selecciona el menú File y la opción Open. Se busca el archivo openbiblio.mrk generado en el paso anterior y se abre para proceder a su limpieza (Figura 7).
Este proceso requiere de mucho cuidado y dedicación. Por lo tanto, es importante tener presentes los caracteres básicos que deberán ser tomados en cuenta para su respectiva recuperación, que no fueron reconocidos en el proceso de conversión y que se sustituyeron por grupos de caracteres encerrados en llaves {}. A manera de ejemplo tendríamos los siguientes:
á, é, í, ó, ú, ü, ñ (Y sus respectivas mayúsculas)
Es importante indicar que, si se tuviesen registros en otros idiomas diferentes del inglés, se deben incluir los caracteres propios de dicho idioma.
Después de una rápida revisión por los primeros registros, se puede ir formando una tabla de conversión de la siguiente forma:
Hay que recordar que es necesario salvar el documento cada vez que se realiza una conversión, con el fin de evitar pérdidas de trabajo por posibles imprevistos. Una vez finalizada la revisión es necesario volver a generar el archivo mrc. Para ello se selecciona en el menú File la opción Compile file into MARC, se selecciona el archivo openbiblio.mrc y se salva. El sistema indicará si se desea reeemplazar el archivo, se indica que si. Al final de la labor de limpieza tendremos un archivo MARC listo para ser cargado por cualquier sistema de automatización de unidades de información.
2.3 Carga de datos en un sistema de automatización de unidades de información
Para ejemplificar la carga de un archivo MARC en un sistema de automatización de unidades de información, se utilizará EspaBiblio 3.29. Se escogió dicho programa por ser un software de tercer nivel de automatización (Chinchilla y Fernandez, 2012), pero de complejidad mediana (Fernández, 2013), lo cual facilita la ejecución y comprensión del ejemplo.
Como primer paso, es necesario ingresar al sistema y autenticarse como usuario administrador, a fin de tener los permisos necesarios para poder realizar los cambios pertinentes. Posteriormente se debe revisar que los campos contenidos en la hoja de trabajo book sean los mismos que contiene visibles la tabla 3, a fin de verificar la correcta descarga de los datos. Para ello basta con ingresar al menú Catalogación y seleccionar Nuevo material. Por defecto se encuentra seleccionada la hoja de trabajo book, correspondiente a libros.
Si falta algún campo, es necesario agregarlo. Para hacerlo se siguen los siguientes pasos:
1. Dentro del menú Administración se selecciona Tipos de Material, donde aparecerán las distintas hojas de trabajo.
2. Se selecciona Campos Marc en la línea book, como se muestra en la siguiente figura:
3. y, posteriormente, da click sobre la
única opción
que aparece en la parte superior: Agregar
un campo MARC para este tipo
de materiales (book). Como se muestra
en la siguiente figura:
4. Esta opción permite el poder agregar
los campos
faltantes, esquematizados con antelación en la Tabla 3. Por ejemplo, si
faltase el campo con la etiqueta 505, simplemente lo agregamos, al
igual que el subcampo correspondiente y su descripción. Es posible
indicar, también, si dicho campo es requerido o no. Esto es importante,
ya que si se indica que sí es requerido (true), el sistema mostrará que
es un campo obligatorio. En este caso particular, dicho campo no es
obligatorio, por lo que se señala FALSE.
Por último, el tipo de
control, que consta del campo de texto para unas cuantas palabras o la
otra opción llamada área de texto, que se utiliza para escribir mucha
más palabras que la anterior opción (Figura 12).
Para realizar la carga de datos, se selecciona Subir datos Marc dentro del menú Catalogación. Con el fin de verificar los registros, se puede realizar una carga de prueba, para lo cual se deberá marcar la casilla Verdadero. Si se desea realizar la carga final, se debe marcar la casilla Falso. Para la entrada de datos, se debe seleccionar el archivo openbiblio.mrc generado en el punto anterior por MarcEdit y que se encuentra en la carpeta WORK de WinIsis (c:\winisis\work\openbiblio.mrc). Se selecciona la codificación de caracteres (UTF-8 es la codificación para español), el tipo de la colección donde se ubicará el material, el tipo de material (book) y si se desea que los registros puedan ser visualizados en el catálogo en línea del sistema (Opac). Al finalizar esta opción se da click sobre el botón Cargar Archivo Almacenado (Figura 13).
Si se realizó la carga de prueba, se visualizarán los registros para realizar una verificación del archivo MRC, tal y como lo muestra la siguiente figura. De esta forma es posible realizar cambios sobre el mismo antes de efectuar la carga final (Figura 14).
This data is not unicoded
string &
would be converted.
Technical information:
Detected encoding: SJIS
Conversion: UTF-8 > UTF-8
Registros transferidos: 34
Technical information:
Detected encoding: SJIS
Conversion: UTF-8 > UTF-8
Registros transferidos: 34
Ahora es posible realizar búsquedas, ediciones, controles de copias y demás sobre los registros almacenados desde el EspaBiblio.
3. CONCLUSION
Las unidades de información deben ir a la vanguardia en la tecnología de almacenamiento y recuperación de la información. El uso de formatos de intercambio de información ha permitido la transferencia de datos entre ellas y la migración a nuevas y más modernas plataformas. Asimismo, contar con un usuario mucho más alfabetizado tecnológicamente implica que se deben ofrecer servicios de alta calidad sobre sistemas de automatización cada vez más sofisticados.
La migración hacia dichos sistemas es imperante. Sin embargo, es importante tener en cuenta que siempre existirá pérdida de información, sobre todo, si es necesario el migrar no solamente de sistema, sino también de formato. Como se mencionó, el estándar que actualmente se utiliza de manera extendida por los nuevos sistemas de automatización es el MARC, por lo que es necesario establecer un plan de migración procurando transferir la mayor cantidad de campos y con la menor pérdida posible.
Por otra parte, el proceso de limpieza de la información posterior debe realizarse con sumo cuidado y esmero, a fin de garantizar hasta donde sea posible, la pureza de los datos iniciales. Es importante realizar un estudio previo, con base en la integridad de la base de datos fuente, que determine el posible nivel de inconsistencias que podrían surgir en el proceso. Debido a la cantidad de inconsistencias y pérdida de información, cabe la posibilidad de que dicho estudio muestre que el proceso de depuración sería más costoso que ingresar de forma manual todos los datos en el nuevo sistema.
Por lo tanto, este documento pretende ser una guía con los elementos básicos para realizar una migración de datos de manera exitosa. Sin embargo, todo el proceso de migración debe responder a un proyecto de automatización o de migración de datos previamente diseñado.
4. REFERENCIAS
Bermúdez, Y. (2013). Migración de datos de WinIsis a OpenBiblio. San José, Costa Rica: EBCI.
Biblioteca del Congreso de los Estados Unidos. (2003). ¿Qué es un registro MARC, y porqué es importante? Recuperado de http://www.loc.gov/marc/umbspa/um01a06.html
Chinchilla, R. (2011). El software libre: una opción para la automatización de de unidades de información. Bibliotecas, 29(2). Recuperado de http://eprints.rclis.org/19389/1/1557-3836-1-SM.pdf
Chinchilla, R. y Fernández, M. (2012). Bibliotecas automatizadas con software libre: establecimiento de niveles de automatización y clasificación de las aplicaciones. Bibliotecas, 30(2). Recuperado de http://eprints.rclis.org/19390/1/4912-10390-1-SM.pdf
Fernández, M. (2013). Clasificación del software libre orientado a la automatización integral de bibliotecas según el nivel de complejidad de la biblioteca: bibliotecas simples, bibliotecas de mediana complejidad y bibliotecas de alta complejidad. E-Ciencias de la Información, 3(1). Recuperado de http://revistas.ucr.ac.cr/index.php/eciencias/article/view/8491/0
Furrie, B. (2001). Conociendo MARC bibliográfico: catalogación legible por máquina. Washington: Biblioteca del Congreso de los Estados Unidos.
Ugonono, M. (2011). Cronología del CDS/ISIS. Boletín electrónico ABGRA, 3(3).
United Nations Educational, Scientific and Cultural Organization [Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura, UNESCO]. (2003). WinIsis: manual de referencia [Versión 1.5]. Madrid: CINDOC-CSIC
United Nations Educational, Scientific and Cultural Organization [Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura, UNESCO]. (2010). CDS/ISIS database software: UNESCO and Information processing tools. Recuperado de http://portal.unesco.org/ci/en/ev.php-URL_ID=5330&URL_DO=DO_TOPIC&URL_SECTION=201.html
Vera, C. (2003). Sistema de Información Bibliográfica de la CEPAL: manual de referencia. Santiago de Chile: CEPAL
Metodología
para la migración de datos bibliográficos entre programas de software de
automatización: de CEPAL a MARC
by José Ivan Saborío-Acuña y
Ricardo Chinchilla-Arley is licensed under a Creative
Commons Reconocimiento-NoComercial-CompartirIgual 4.0 Internacional
License.
[1] Universidad de Costa Rica, Escuela de Bibliotecología y C.I. JOSE.SABORIOACUNA@ucr.ac.cr
[2] Universidad de Costa Rica, Escuela de Bibliotecología y C.I. RICARDO.CHINCHILLA@ucr.ac.cr
[3] http://reddes.bvsaude.org/projects/abcd
[4] http://sourceforge.net/projects/espabiblio/
[5] http://marcedit.reeset.net/
[6] ISO 2709 es el estándar de la International Standar Organizaction para la descripción bibliográfica. Para mayor información consultar http://es.wikipedia.org/wiki/ISO_2709
[7] Para una lista completa de los campos del formato CEPAL se puede consultar el documento Vera, C (2003) Sistema de Información Bibliográfica de la CEPAL: manual de referencia. Santiago de Chile: CEPAL.
[8] La aplicación puede ser descargada de forma libre en http://marcedit.reeset.net/downloads
[9] EspaBiblio es software libre (GNU General Public License) basada en OpenBiblio y puede descargar la aplicación en http://sourceforge.net/projects/espabiblio/