История разработки программного обеспечения CERL Лекция для курса программно‑ техническое обеспечение АБИС Раздел «Межбиблиотечные системы»
Введение Согласно решению, принятому консультативно‑ координационной группой в ноябре 2003 года, Консорциум пригласил две компании для разработки эскизных проектов одновременного поиска в нескольких базах данных печатных и рукописных книг. Разработки сделаны в течение 2004 года и представлены для тестирования сначала членам рабочей группы рукописей, а затем и группе экспертов, специально приглашенных для тестирования и анкетирования.
Выбор организации На общем собрании членов Консорциума в ноябре 2003 года члены Консорциума приняли рекомендации, предложенные Лоттой Хеллингой в качестве консультанта в октябре 2003 года в докладе под названием «Возможности поиска: пять предложений от организаций, предоставляющих поисковый сервис» , о том, чтобы на основании выдвинутых экспертами аргументов согласовать работу по изучению предложений фирм Кросснет и Мьюз. Глобал, имея в виду возможный контракт с одной из этих фирм.
Выбор организации Фирма Кросснет приняла заказ на пилотную разработку. В конце марта фирма Мьюз. Глобал уведомила о своем отказе от эксперимента, но рекомендовала фирму СИРСИ, с которой она вела совместные разработки. Контракт с СИРСИ был заключен в мае 2004 года на условиях, сформулированных на первом совещании
Выбор баз данных – источников Цифровой Скрипторий (Digital Scriptorium ) Файл находится в Колумбийском университете. Нью ‑Йорк. Он содержит описания в формате Access средневековых и ренессансных рукописей, хранящихся в американских библиотеках, а также цифровые изображения. Записи из библиотеки H. E. Huntington, (Сан Марино) также были доступными через разработку Кросснет. Удаленного доступа к файлу нет (хотя ЦС планирует организацию доступа по протоколу Z 39. 50), и потому на период пилотных исследований записи находились на сервере разработчика
Выбор баз данных – источников Королевская библиотека Нидерландов, Гаага В разработке использованы Библиографические описания, доступные в OPAC королевской библиотеки. Данный файл содержит большое количество вторичного материала, а также данные о Нидерландских изданиях содержащиеся в БД STCN. Предполагается, что значительное число баз данных рукописей, которые должны войти в многофайловую систему поиска Консорциума, не будут доступны по протоколу Z 39. 50, и потому необходимо было протестировать возможности компаний по использованию альтернативных методов отдаленного доступа. В ходе исследований Королевская библиотека выяснила, что при планировании имела место ошибка, и описания рукописей на самом деле недоступны через OPAC библиотеки. Отдельный массив помещен с сентября сего года на сервер разработчика, что сделало его доступным для обеих компаний.
Национальная библиотека Чешской республики, Прага Файл содержит смешенные материалы – описания рукописей, старопечатных книг и карт, всего 29559 записей из 27 польских, чешских и словацких библиотек (а также (в т. ч. ) из архивов и музеев). Это файл проекта MASTER с разметкой XML. В ходе экспериментальных исследований национальная библиотека обеспечила доступ к файлу через протокол Z 39. 50. Каталоги многих библиотек используют формат проекта MASTER. По этой причине принято решение о проведении тестирования возможности работы с этим форматом
Выбор баз данных – источников База данных книг ручного пресса Файл содержит 1. 6 млн библиографических записей на старопечатные материалы в формате MARC 21 и доступными по протоколу Z 39. 50.
Диалог с фирмами Кросснет и Сирси Кросснет Пилотная разработка выполнена Робертом Булем (Robert Bull), директором и Криспином Манкастером (Crispin Muncaster), консультантом по реализации. Г‑н Манкастер присутствовал на совещаниях рабочей группы в Антверпене и Лондоне, г‑н Бул присоединился к нему позднее. В целом связи между фирмой и Консорциумом имели позитивный характер. В сентябре‑ октябре 2004 года фирма Кросснет была особенно активна в реализации предложений рабочей группы и дальнейшем развитии проекта. СИРСИ Д. Шоу и М. Леффертс встретились с Питером Гетином (Peter Gethin), Исполнительным директром, и Лесли Джонсом (Lesley Jones), руководителем отдела оперативных решений, в офисе СИРСИ в Лондоне 11 мая 2004 года. Программа исследования была разработана Джонатаном Филдом (Jonathan Field), руководителем разработок программных продуктов. В его отсутствие связь с Консорциумом поддерживал Давид Робертс (David Roberts). Г‑н Филд участвовал в совещании рабочей группы в Лондоне 13 сентября. Изменение поискового интерфейса могут быть разработаны сотрудниками СИРСИ, тогда как изменения в характеристиках базы данных (‘plug‑ins’), в т. ч. режимы доступа, поисковые поля, представление диакритики и т. д. выполнены фирмой Мьюз. Глобал
Диалог с организациями – источниками данных Консорциум весьма благодарен Национальной библиотеке Чешской Республики, Королевской библиотеке в Гааге и проекту «Цифровой Скрипторий» за предоставление данных для исследований. Когда будет подготовлена полная версия экспериментального продукта, и Консорциум, и организации - источники данных должны будут затратить много времени и усилий для выполнения анализа каждой из баз данных, участвующих во многофайловом поиске. Руководитель проекта от Консорциума должен будет обеспечить последовательное сопоставление данных всех файлов с предлагаемыми поисковыми терминами, возможно при участии рабочей группы (или другой такой организации, которая может провести экспертизу или действовать как аналитическая группа)
Консорциум и проект «Европейская библиотека» (TEL) Консорциум ставит задачу обеспечить совместимость технологических средств одновременного поиска в нескольких системах с разработками TEL. В качестве теста к базе данных библиотеки в Гааге был организован доступ через веб интерфейс TEL. Консорциум весьма благодарен Тео ван Веену (Theo van Veen ) из библиотеки в Гааге за установку программ тестирования. После проведения тестирования Европейская Библиотека провела большую работу по пересмотру интерфейса и функций своих поисковых программ, таким образом, наш интерфейс не имеет заметных отличий в наборе функций от интерфейса Европейской библиотеки. При поиске в БД ручного пресса необходимо выбрать индекс [критерий поиска] (заглавие, автор и т. д. ).
Тестирование разработок План эксперимента предусматривал тестирование двух пилотных разработок тремя группами экспертов: 1. Рабочая группа проекта «Рукописи» 2. Консультационно‑координационная группа Консорциума 3. Группа из примерно 30 специалистов, которых можно рассматривать как будущих пользователей программного средства. 4. 1 Рабочая группа получила доступ к предварительным результатам разработок, а также к участию в предварительных совещаниях с представителями двух компаний 13 сентября (см. выше). Отзывы рабочей группы широко использовались в настоящем докладе. 4. 2 Четвертого октября члены консультативно‑координационной группы получили электронный адрес разработок, кроме того, документация и анкеты были разосланы членам группы специалистов. К сожалению, из консультативно‑координационной группы получены только ответы общего характера и рекомендации. 4. 3 Двадцать седьмого сентября электронные письма с пояснительными документами разосланы 32 экспертам, имеющим опыт изучения рукописей, работы с рукописными фондами или исследований вместе рукописных и печатных книг, из Бельгии (2), Франции (3), Германии (2), Италии (3), Нидерландов (1), России (1), Испании (1), Швеции (2), Великобритании (11), США (6). Из них лишь четверо не ответили на предложение участвовать в тестировании, восемь приняли предложение и проявили интерес, но в дальнейшем принесли извинения, так как из‑за большой занятости не смогли принять участие. В одном случае не удалось осуществить доступ к разработкам.
Тестирование разработок Участникам опроса направлена дополнительная информация и анкета из 17 вопросов, в т. ч. общих ‑ о поддержке в целом данной инициативы и специальных ‑ относительно функций программных средств. Один из заключительных вопросов касался наличия предпочтения одной из тестируемых разработок. Этот вопрос имел цель определить опыт пользователя, но не являлся голосом для принятия решения. В целом из этой группы получено 20 ответов, большинство из них в форме ответов на анкету, некоторые с подробными комментариями.
Анкета Считаете ли Вы целесообразной долговременную поддержку (финансирование) любых форм научных исследований рукописного и печатного наследия Западного мира? Ответы: да, (все, кроме Государственной библиотеки в Берлине, не ответившей на данный вопрос).
Анкета Как бы Вы использовали настоящую разработку в Ваших исследованиях? Ответы: Не вдаваясь детали, в можно тверждать, у что все респонденты в высшей степени приветствуют возможность такого поиска. Во многих ответах подчеркивается важность поиска по автору/тексту Примеры: «Было бы великолепно иметь доступ к удаленным библиотекам» , «для поиска необходимых источников и материалах по теме на начальном этапе исследований» , «простой и быстрый доступ к информации о рукописях определенного произведения (автора)»
Анкета Согласны ли Вы с тем, что Консорциум европейских научных библиотек – это организация, которая хорошо подходит для осуществления такой разработки? Ответ: Почти во всех случаях – «да» , однако имеется несколько ответов: «я недостаточно знаю о Консорциуме» , и один ответ: «Консорциум должен больше давать информацию о себе»
Анкета Достаточно ли количество поисковых полей для ваших исследований? Ответы: «Да» (16) Сократить набор поисковых полей до следующего: «автор, заглавие, дата, место изготовления, художник/ переписчик/ типограф, прежние владельцы/ провенанс» (3) Сократить, но добавить «язык» (1) Убрать функцию фирмы Кросснет «Библиотеки, которые сильны в…» Предоставить ссылку к цифровому изображению (1).
Анкета Поиск в пилотных разработках ограничен шестью полями. Есть ли у Вас предложения по замене этих полей, учитывая, что при существующей технологии писк более чем по 15 полям плохо управляем? Ответы: Согласен с существующим набором полей (10) … следует отредактировать терминологию. (3) … убрать поле «предмет» (1) … уточнить поле «предмет» (1) … добавить до пятнадцати полей ‑ ввести «количественные характеристики» (напр. «число листов» ), а также «пометы, печати, наклейки, экслибрисы» … Для определения, что еще может быть полезным, необходимо дополнительное тестирование.
Анкета Был ли доступ по электронному адресу (URL) удовлетворительным? Ответы: «Да» (8) «Не всегда» (1) «Доступ к Кросснет не был удовлетворительным» (3) «Доступ к СИРСИ не был удовлетворительным» (2) «Большие временные затраты у СИРСИ» (3) «Частые перезагрузки у СИРСИ
Анкета Удалось ли Вам найти поисковую стратегию, оптимальную для данной среды (напр. Булевы операторы, ограничения запроса)? Ответы: В расширенном поиске ‑ да (8) Нет (4) Иногда странный результат поиска (1) Не пытался (3) Ограничение эффективнее, чем Булевы операторы. СИРСИ предлагает слишком много функций, интерфейс непонятен Следует добавить подстановочные знаки, напр. . ‘illum*’ [в данном случае, по –видимому, знак усечения выражения illuminare – украшать]
Анкета Учитывая, что число доступных в ходе тестирования баз данных очень ограничен, смогли ли вы найти то, что ожидали (или больше, чем ожидали)? Ответы: «Да» или «больше, чем ожидал» (12) Да, но материал разнороден (1) Нет, не совсем (5) Нет (1) Слишком много нерелевантных записей Пользователь нуждается в подготовке
Анкета Удовлетворяет ли Вас представление результатов поиска? Ответы: Да, в обеих разработках (8) Не всегда (1) У Кросснет лучше (5) У СИРСИ лучше (2) У СИРСИ неприемлемо (1) Представление результатов у СИРСИ неаккуратно Представление результатов СИРСИ нуждается в корректировке (1) Нет, результаты странные В обеих разработках нет диакритических знаков
Анкета Было ли Вам понятно, какой библиотеке принадлежали записи, которые Вы видели? Ответы: да всех (во случаях) с оговоркой, у что Цифрового Скриптория только на втором экране (второй странице) становится понятным что местонахождение Колумбийская библиотек и MSS.
Анкета Всегда ли удовлетворительно работала гиперссылка для поиска в следующей базе данных? Ответы Да (12) Не всегда Иногда бывали сбои (1) Не в случае с Манускрипториумом Хорошо работала у Кросснет для Цифрового Скриптория
Анкета На основе предварительных исследований, считаете ли Вы, что требования, предъявляемые к эффективному поисковому средству, удовлетворены? Если нет, что бы Вы предложили? Ответы да (12) Практически ‑ да, но возможны улучшения (7)
Анкета Насколько существенным считаете Вы использование тезауруса Консорциума? Ответ В высшей степени важным, абсолютно необходимым (15) Недостаточно знаю этот вопрос (5).
Анкета Считаете ли вы на основе тестирования двух пилотных разработок, что разработка одной из фирм лучше, чем другая? Если да, то какая? Ответы. Кросснет (14) Интерфейс Кросснет намного понятнее, поиск значительно быстрее, но все же возможны улучшения (1) Интерфейс Кросснет необходимо полностью изменить (1) СИРСИ (2) Имеются положительные и отрицательные стороны в обеих разработках (3) Мнения нет (3)
Анкета Другие замечания Ответ (1). Уже существуют технологии для решения любой задачи, которую ставит Консорциум. Проблемы, связанные с разработкой и функционированием такого средства, могут быть разрешены в самой рабочей группе. (2) Я сомневаюсь в полезности создания поисковых систем, доступных через портал. Прежде всего, большинство людей используют всегда одну поисковую систему с хорошо организованным представлением результатов поиска. Мне кажется, что набор функций просто повторяет то, что может быть сделано в системе Google, но без преимуществ Google, позволяющей ограничивать поиск именами доменов и типами данных. Кроме того в результатах поиска дают слишком много несортированных данных. Наконец, несортированные материалы, извлеченные из поисковыми системами сети Интернет и материалы из научных баз данных слишком различны по своей природе и качеству, и я сомневаюсь, что их соединение может быть полезным. (3) Поиск очень медленный (4) Необходимо обсудить форму участия Российской национальной библиотеки
Анкета Специальные комментарии и рекомендации экспертов Отбор файлов: Возможно окажется необходимым осуществлять отбор массивов на основании форматов и качества материалов в предлагаемых базах данных. Система, имеющая слишком большое количество источников, будет работать медленно. Альтернативой отбору может быть группировка баз данных с одинаковым уровнем каталогизации. Выбор источников, рукописи и печатные издания. Многие отметили как преимущество фирмы СИРСИ то, что в начале поиска предлагаются опции «Рукописи» и «Печатные книги» . Однако, у многих экспертов возникало недоумение или раздражение от того, что печатные материалы в большом количестве появлялись в результатах поиска даже в тех случаях, когда они были исключены с помощью этой опции СИРСИ, или при «клике» на кнопке, открывающей, как им казалось, базу данных рукописей в Кросснете. Кроме OPAC из Гааги, доступ к которому вообще не предполагался, основным источником нежелательных записей на печатные книги был Манускрипториум. Объединение рукописных и печатных материалов изначально присуще этой системе, и единственное, что можно предложить – разработка метода маркирования печатных и рукописных материалов, чтобы иметь возможность исключения любой категории при поиске в интегрированной базе данных. В любом случае опыт показывает, что возможность выбора и исключения баз данных в соответствии с потребностью пользователя играет решающую роль. Набор поисковых функций. Некоторые эксперты предложили сократить число поисковых полей. (см. В. 1. ). Двое предложили даже сократить только до критериев «Автор» и «Заглавие» . Основная функция системы состоит в том, чтобы предоставить пользователю доступ к полной записи в массиве‑источнике. Сокращенный набор поисковых полей может привести к необходимости еще одного уровня индексирования, в том числе физической основы материала в базе данных. Важные предупреждения: «Чем сложнее наполнение поисковой системы, тем проще должны быть экран и стратегия поиска» Дисплей. Многие эксперты нашли дисплей СИРСИ слишком усложненным, плохо продуманным, шрифт слишком мелким и неясным. Один из экспертов даже усомнился, удовлетворяет ли он нормативный критерий различения
Заключение по тестированию По тому энтузиазму, с которым пока еще ограниченное, но весьма, тем не менее, представительное сообщество специалистов приняло инициативу Консорциума, можно вполне заключить, что эта работа должна быть продолжена. Обе пилотных разработки показали осуществимость проекта, но при этом позволили увидеть сущность и диапазон проблем, связанных с разнообразием и особенностями материала, для доступа к которому предназначен поисковый инструмент. Если Консорциум примет решение продолжать проект, то до его начала следует сделать два шага: Решить с какой из фирм проект будет продолжен Определить форму развития проекта, при сопровождении внешней экспертизой, без чего невозможно начать любой достаточно сложный проект, обладающий значительным потенциалом. Работы с экспертами показала, что существует значительный круг лиц, способных к конструктивной критике и консультациям, и при этом доброжелательных к Консорциуму. Консорциум благодарен всем за затраченные время и силы
Рукописи и печатное наследие Европы Портал Консорциума европейских научных библиотек (В настоящее время в процессе создания!) o http: //cerl. epc. ub. uu. se/sportal или наберите в поисковом окне Google o cerl portal Иван Бозеруп Хранитель рукописей и редких книг, Королевская библиотека, Копенгаген, Дания. Председатель Консультативной группы Консорциума по рукописям Санкт – Петербург 19 Сентября 2007 г. 33
Cредство одновременного поиска в нескольких собраниях рукописей Vision: A cross-collection search utility for materials in manuscript collections It unites and allows to share digital resources regarding manuscripts (descriptive records and digital facsimiles) It is hospitable to data of both members and non-members of CERL It is accessible to everybody without charge or membership obligation 34 Позволяет объединить цифровые ресурсы рукописей (описания и цифровые копии) Принимает данные организаций и членов и не членов Консорциума Доступен каждому без оплаты и членских обязательств
Назначение (Mission) To provide a cross-collection search utility in online-accessible manuscript collections, alias an overarching “index” to available manuscript records. To promote the included databases through direct linking from the Portal’s display to the original and full display in the database of origin. To give access to the ESTC and to HPB (CERL’s Hand Press Book Database: 2, 700, 000 pre-1830 records from ca. 50 institutions, but with reduced display). To implement “Assisted Search” on variants of personal names and place names via the CERL Thesaurus. 35 Предоставить поисковое средство в собраниях рукописей online, а также «индексирование» всех доступных записей. Предоставлять пользователю все базы данных, включенные в систему интерфейса, посредством прямой связи через дисплей портала с полными изображениями оригинальных записей. Предоставлять доступ к БД ESTC и HPB (БД 2700000 записей из 50 учреждений, но в сокращенном описании) Ввести «поддерживаемый поиск» на варианты личных имен и географических названий с помощью тезауруса Консорциума.
Преимущества (Benefits) Extends the awareness of and access to small or specialised manuscript databases. Stimulates discussions on practices and standards of cataloguing of manuscripts. Extends the expertise of CERL and of manuscript collections on technological issues related to cross-collection access to and promotion of manuscript collections. Promotes membership of CERL by pointing to CERL services: HPB, Thesaurus, Provenance initiatives, etc. 36 Повышение информированности о малых или специальных базах данных рукописей и доступ к ним Стимулируется обсуждение по практике и стандартам каталогизации рукописей. Распространение опыта Консорциума и собраний рукописей в использовании новых технологий, связанные с развитием единовременного доступа и раскрытием фондов рукописей Пропаганда членства в Консорциуме, разъяснение службы Консорциума БД эпохи книг ручного пресса, тезауруса, разработок провенанса
Некоторые общие черты Портала (Some General Features) Target date for official opening: January 2008. Constructed and hosted for CERL by The Electronic Publishing Center (EPC) at Uppsala University Library, Sweden. Developed as Open Source software. Based on contractual relations with contributing institutions set out in a Memorandum of Agreement stating the terms for access to a given databases and conditions for withdrawal of data. 37 Предполагаемая дата открытия – январь 2008 Создан и размещен по заказу Консорциума центром электронных публикаций в университете Уппсала, Швеция Разработан с помощью программного обеспечения «Open Source» Основывается на контрактных связях с организациями участниками сформулированными в Меморандумом соглашением, описывающим условия доступа к данным и извлечения данных
Некоторые новые разработки (Some Advanced Features) Integrated access to the CERL Thesaurus (Assisted Search): Variants forms of personal names and place names can be automatically retrieved from the CERL Thesaurus developed and hosted by Göttingen University Library. Multilinguality: Currently Danish, German, English, French, Croatian, Italian, Dutch, and Swedish. Multilingual search and display interface. Multilingual pop-up tips and explanations. Multilingual information the contents of each database. Интегрированный консорциума доступ к Тезаурусу Варианты форм личных имен и географических названий могут быть автоматически извлечены из тезауруса Консорциума разработанные Библиотекой Гёттингенского библиотекой Многоязычие: В настоящее время датский, немецкий, английский, французский, хорватский, итальянский голландский и шведский Мнгоязычный поисковый интерфейс Мнгоязычные выплывающие сообщения и пояснения Многоязычнсть данных каждой базы данных 38
Форматы и протоколы (Formats and Protocols) Hospitable to almost any record format: MARC, MAB, XML (MASTER, Digital Scriptorium). Supports the OAI-PMH protocol (Open Access Initiative; harvested data, “Local index”). Supports the Z 39. 50 protocol (distributed data; virtual database; “Remote index”). Supports the SRU protocol (“Remote index”). 39 Совместимость со всеми форматами MARC, MAB, XML (MASTER, Digital Scriptorium) Поддержка протокола OAI‑PMH (Проект открытого доступа; данные, собранные в Интернет, «Локальный индекс» Поддержка протокола Z 39. 50 (распределенные данные; виртуальная база данных; «Удаленный индекс» ) Поддержка протокола Search and retrieve ( «Удаленный индекс» )
Содержание: статус в настоящее время Contents: Current Status Manuscripts and archives: By OAI protocol: 6 manuscript databases. By Z 39. 50 protocol: 3 manuscript databases. By SRU protocol: None to date. Early printed books: By Z 39. 50 protocol: The Hand Press Book Database (HPB with limited display), and English Short Title Catalogue (ESTC). 40 Рукописи и архивы Доступны по протоколу OAI – 6 БД рукописей По протоколу Z 39. 50 3 БД рукописей По протоколу SRU – в настоящее время нет Старопечатные книги Протокол Z 39. 50 БД книг эпохи ручного пресса (ограниченный доступ) и Английский каталог с краткими записями
Contents: Current Databases Manuscripts (ca. 71. 000) Australia: National Library: Manuscripts and Archives (9, 000) Denmark: Royal Library: Manuscripts (16, 000) Manuscriptorium (Consortium): Manuscripts (1, 200) Portugal: National Library: Manuscripts (4, 000) Sweden: Ediffah consortium: Archival deposits (7, 500) Sweden: Lund: Laurentius Database: Medieval manuscripts (67) Sweden: Uppsala: Waller Collection: Autographs (27, 000) UK: National Library of Scotland: Manuscripts (5, 000) US: New York: Columbia UL: Medieval manuscripts (2, 000) Early printed books (ca. 3, 200, 000) CERL (Consortium): The Hand Press Book Database (2, 700, 000) Manuscriptorium (Consortium): Early printed books (103, 000) UK: English Short Title Catalogue (ESTC) (460, 000) 41
Содержание: развитие в 2007 году Contents: Development in 2007 Germany: The Kalliope union Германия: database of letters and personal archival deposits, Berlin. Germany: Manuscripta Medievalia, Berlin. Italy: The MANUS database of ICCU, Rome. The Netherlands: Union Catalog of Medieval Manuscripts, The Hague. US: Beinecke Library, Yale University. 42 «Каллиопа» сводная БД писем и личных архивов, Берлин Германия «Manuscripta Medievalia» , Берлин Италия «MANUS» БД сводного каталога Италии, Рим Нидерланды Сводный каталог средневековых рукописей Библиотека Бейнеке США, Йельский университет
Other Development 2007 -08 Другие разработки 2007 -08 Better mapping of data between database of origin and the Portal’s search and display More direct linking to database of origin Specialists’ review of data in the CERL Thesaurus regarding medieval names Display of biographical data of the CERL Thesaurus Initiatives regarding standardisation of data concerning: Types of manuscripts and archives Production date of manuscript Provenance of manuscript Fundraising Лучшее соответствие между БД источника и системой поиска и представления портала Прямая связь с базой данных источника Просмотр специалистами nезауруса Консорциума с целью сверки средневековых имен Представление биографических данных тезауруса Консорциума Разработки по стандартизации данных в отношении Типы рукописей и архивов Дата создания рукописи Провенанс рукописи Поиск финансирования 43
For More Information The Consortium of European Research Libraries (CERL) is represented by Dr David J. Shaw, Secretary. Email: d. j. shaw@cerl. org CERL’s Manuscript Advisory Board is chaired by Ivan Boserup, The Royal Library, Copenhagen Ivan. Boserup@kb. dk The CERL Portal’s Project Manager 2006/2007 is Liesbeth Oskamp, CERL Secretariat, The Hague Liesbeth. Oskamp@cerl. org http: //cerl. epc. ub. uu. se/sportal - ot type cerl portal in a Google search box 44
Скачать презентацию История разработки программного обеспечения CERL Лекция для курса
История_ПО_портала.pptx