IBM 信息整合解决方案和应用实践 张积斌 Senior IT Specialist IBM 软件部
议程 • 企业IT资源整合面临的挑战 • IBM信息整合解决方案 • IBM信息整合应用案例
企业面临的挑战—整合IT资源 业务转 型对 IT 基础 架构的挑战 Customer Connections 速度 成本 风险 Internal Systems Supplier Networks
整合: 关键能力需求 + People 应 用访问标 准化 动态 适应 作环 境 支持任何时间 , 任何 地点的访问 + Processes Information 流程建模 应 用整合 有效利用数据及内容 资源 对 外接口 分布式数据访问 流程监 控 数据集中 管理业务结 果 数据转换 管理数据分布 安全性和完整性
典型信息系统挑战
传统的企业信息交互方式 集成应 用 数据 接口 接口多难 以管理实现 消息交换 数据 接口 应用 应用 应用
高效信息集成技术 集成应 用 数据 接口 简单 高效 低风险 消息交换 SQL 数据 接口 应用
Federation-联邦数据库技术提供整合信息基础平台 视异构及分散的各种类型数据如同单一数据库所管理的数据 单一用户登录 – 统一视图 – 共同语言 – Web services或Java API 查询及更新 – 优化访问 SQL Mainframe databases Mainframe files Content Relational databases XML Web services Packaged applications Web Other Collaboration Systems Content Workflow Repositories systems and Imaging Systems
联邦数据源 SQL 企业信息集成指这样一种中间件，它使应用可以访 SQL Content 问分布在各处、不同类型的数据，就好像是在访问 单一数据源，而不用考虑其物理实现是否如此 Mainframe databases Mainframe files Relational databases XML Web services Packaged applications Web Other Collaboration Systems Content & Imaging Workflow systems 集成结构化和非结构化数据 – 提供实时读写访问 §IMS §DB 2 UDB §Web. Sphere §OLE DB §VSAM §Lotus Notes §DB 2 CM §Web. Sphere §Adabas §Informix BI Adaptors §Excel Family §Sequential §File. Net §Microsoft §CA-Datacom – 数据转换，为企业的综合服务等应用提供统 §Oracle §SAP §Flat files §Domino. doc Index Server §CA-IDMS §Sybase §People. Soft §IBM Lotus §Documentum §Teradata §Siebel Extended §File. Net Extended 一的信息平台 §Microsoft Search §Open Text Search SQL Server §ODBC §Web search § LDAP §Custom-built §Sametime §Stellent §Quick. Place §Interwoven §Microsoft §Hummingbird Exchange Plus partner tools and custom-built connectors extend access to more sources
IBM信息集成体系结构 应用服务平台 • 全局统一的数据视图 • 丰富的特色功能 • 灵活的访问方式 • 对于标准的支持 Web服务 存取 功能 基础 存储 查询 联邦 XML 缓存 转换 SQL 复制 发布 搜索 Websphere Information Integrator 数据整合平台 高可用 易管理 可扩展 Wrapper Wrapper Application Dataset 电子表格 Oracle Sybase SQLServer DB 2 Informix ODBC Web 服务 Microsoft 外部系统 消息队列
数据联邦提供单点数据访问 • 透明 –对应用而言所有数据如同在同一数据库中。 • 异构 数据源 –集成各类数据源的数据 –包括关系型数据, 结构化数据, XML, 消息队列, Web服务等… Wrappers Meta data Relational data 联 邦引擎 Meta data • 可扩展 Non-relational data –联邦技术几乎可扩展到所有数据源. –基于开放式的Wrapper框架， 提供Wrapper开发接口和 具 Meta data • 自治 –对原有系统应用没有影响, 在原有系统 无需安装软件, 无需特有接口. • 性能优化 –分布式的查询性能优化. –提供数据cache能力. Meta data 本地 数据 XML data, applications, etc Meta data Unstructured content
简化了数据访问的层次 数据源 C/S Meta data Relational data Client Meta data 3 -Tier Application Server Relational data Meta data XML data, applications, etc IBM信息整合 Meta data Information Integrator Unstructured content
例：实现多个数据源的联邦操作-大量的人 编码 排序汇总 类型转换 数据关联 数据获 取 100 rows 各地区每月的销售额 Report Federate l需要联 接到每个 后台数据库 l通常涉及到大量 数据 Oracle Order Custid price DB 2 Customer qty 10000 order/month Custid region 200000 customer 。。。
信息整合技术简化应用 SQL l性能优 化 l系统级 的控制 各地区每月的销售额 Select region, Report sum(o. price) From customer c, order 100 rows o Where c. custid = o. custid Information Integration Federate Group by c. region Cache Oracle Order Custid price DB 2 Customer qty 10000 order/month Custid region 200000 customer 。。。
信息集成提供统一的客户视图 l现 有的应 用不需 要修改 l通过 修改元数据， 新的数据源可以方 便的增加进 来 SQL 各地区每月的销售额 Select region, Report sum(o. price) From customer c, order 100 rows o Where c. custid = o. custid Federation Engine Information Integration custid region … Group by c. region View (customer) Oracle Customer Custkey … View (Order) DB 2 Customer Custid Meta data Sybase Customer … Custno …
传统数据交换方式 文件 文件 ftp 文件 文件
信息整合简化数据迁移 SQL Insert into target select * from source where *** Cross Loader Websphere II 结 果集 • Cross Loader高速数据跨库 加载 • 数据源由SQL定义 , 提供灵活性 • 数据无需中间缓 存 • 在目标 端数据加载 可不记 日志 • 实测 速度可达 98 GB/小时 • DB 2 family • Oracle • Sybase • Informix • SQL Server • IMS
异构数据复制(SQL& Q Replication) SOURCE METADATA IMS - VSAM SOURCE 2 SOURCE 1 应用 Apply DB 2/z. OS METADATA DB 2/UDB Q Apply Browser DB 2/i. Series Trigger DB 2 Log CD Q Captur e Nickname Capture DB 2/z. OS Staging tables Log Sybase ADMINISTRATION Apply Agent Sybase SQL Server • 异构数据复制 • 增量数据的识别 和捕获 • 增量数据的迁移 • 复制流程的管理和监 控 Replication Center Apply Agent DB 2/UDB LOG based Replication Monitor Federation engine SQL Server TGT 3 IBM Informix Oracle Trigger based Oracle TGT 1 TGT 2 Teradata ANY source External TARGET application
基于事件的数据发布 • 数据格式 – 发布源端提交事务的数据 User Application – 数据以XML方式存储 – 灵活的数据捕获粒度 Q Row based = one row per message Captur DB 2 Log e Transaction based = one transaction per message User WBI Event Broker Application • 数据内容 ADMINISTRATION – 选择字段 – 选择条件 User DB 2 MQ – 数据的增量变化 Stored Listener Procedure –Replication 可以包括该前数据 Replication SOURCE 2 SOURCE 1 METADATA Center Monitor TARGET
企业 信息搜索引擎 – Omni. Find Websites Crawlers Client Newsgroups SIAPI for Web Search Runtime for NNTP Application Server Information Integrator for Main Index Delta Index Global Analysis Indexer CM Content Manager for Notes / Domino RDS Raw Data Store for Exchange MS Exchange for Portal (PDM) Portal （PDM) Admin Console Controller for Windows File System for Unix File Store Parser Tokenizer Unix File System Data Listener API Custom Crawler
信息集成提供全局负载管理 应用 应用 C/S 应用 SQL JDBC 生成执 行计 划 • 并发 数 • 成本范围 全局数据 字典 （统计 信息） 评 估执 行成本 负载 管理 规则 负载监 控 • 用户 • 应 用 执行 SQL Oracle SQL DB 2 SQL Sybase Web Service SQL Server
基于成本的全局优化技术 优 化器根据统计优 化信息对 异构数据源的访问进 行优 化 决定”Pushdown”或在本地执 行查询计 划
数据联邦性能比较 SQL Web. Sphere II Oracle Client Oracle
信息集成的数据安全 Information Integration db 2 admin 应 用 cache 用户 映射 system informix sa
提供消息队 列的无缝 集成 发 送端： 连 接数据库 ：connect to enterprise; 发 送消息：values(DB 2 MQ. MQSEND(‘a message for you')); select DB 2 MQ. MQSEND(revenue) from Ora_tab; 接收端： 连 接数据库 ： connect to enterprise; 接收消息：select substr(T. MSG, 1, 50) from table(DB 2 MQ. MQRECEIVEALL()) AS T;
跨企业间信息集成 Web Application Services Server Information Integration Web Services Application Server Information Integration SELECT s. suppname, DECIMAL(q. quote, 10, 2) FROM suppliers s, TABLE(get. Supplier. Quote(s. suppkey, 'http: //localhost: 9080/demo/supplier 1. dadx/SOAP' , : part. Key)) AS q WHERE q. quote > 0 ORDER BY QUOTE ASC • 数据库 SQL可直接调 用Web Services • 直接处 理Web Services应 用产 生的数 据 • 重用数据库 成熟的数据处 理技术 如: • 查询 , 排序, 数据匹配, 类型转换 等
满足横向系统间的信息整和的需求 ? Purchased Application Package From This. . . Application System B ? Program Extract Program Down load File Load Program To This. . Trans action File ? Program Application System A Screen Scrape Message Queue Database Replicator Extract Program ? Program Source: Gartner Group Trans action File ? Program Down load File Load Program ? Program New Application Domain ? Legacy Application System C Load Program Down load File ? Program Extract Program ? Program Service Message Broker ? Program Requester ? Program Message Queue 同类信息分布在不同的应 用系统 跨业务 系统的数据访问 统一业务视图 综合服务应 用
满足纵向系统间信息整合的需求 总 部 • 数据分层 分布 • 统 一的服务 需求 Internet 电话 l 提供批量和准实时 两种模式 l 提供双向数据交换 能力 l 批量方式支持高性能数据加载 l 基于MQ的准实时 模式支持分 钟级 同步 l 提供自动连 接重建能力 l 提供复制监 控手段 l 提供省市间联 邦查询 能力 内网 XML document ? Program ? Program ? Program 分支机构
IBM Ascential为整合平台带来更强大的功能 Search SQL XQuery Content DISCOV PREPAR 面向服务 的架构 ER E 发现 查找 联邦 转换 放置 准备 转换 与传递 发布 数据及内容连 接 元数据管理 并行执 行 元数据管理 企业连 接性
IBM Ascential 为整合平台带来更强大的功能 Extends simple SQL, XML/XSL, and Web services Any with cleansing, data -- Multiple access paradigms standardization, matching, and complex transformation SQL for enhanced data Search quality and reduced coding 查找 联邦 Complements eventdriven, low-latency -- Multiple integration disciplines synchronization with high -volume bulk data movement for flexibility XQuery Content within a single integration solution 转换 放置 发布 数据及内容连 接 元数据管理 Complements operational metadata with data profiling, industry format parsing, and metadata interchange for enhanced data quality and simplified maintainability Extends parallel infrastructure and SOA support, for high performance, scalable execution and added flexibility
IBM Ascential—提供全面的数据处理方法学 Data Initial Assessment/ Extraction Validations 3 rd Party SW SAP, Oracle Siebel People. Soft Connection & Delivery Custom Built Apps on UNIX Extract & Load Staging Discover & Validate Sources Individually Data Alignment Align / Cleanse Sources Individually Profile. Stage Data Harmonization Normalize, Integrate & Consolidate across sources Map / Cleanse / Extract & Stage for upload Quality. Stage Data. Stage Meta. Stage Parallel Execution Engine External Data PC Apps Solution Implementation Prepare, Transform & Load to Production OLAP, Financial Reports Connection & Delivery Custom Built Apps on Mainframe Executives Operational Managers Finance Professionals
Web. Sphere Profile. Stage 探索数据内容和结 构 Profile. Stage Sample Data Full Data Column Analysis Table Analysis Analyze Review Cross Table Analysis Accept Reject • Profile. Stage评 估元数据，通过 反推（技术 ） 理解数据源的物理特性 • 鉴别 数据内容、结 构和质 量 • 在开发 之前确认 源数据是否支持目标 需要 • 建立最佳数据模型& 自动 映射数据源到目标 • 建立Data. Stage整合步骤 • 多CPU透明并行开发 • 多国语 言支持 • 商务 智能的元数据转换 业务 收益 • 对 数据源的分析减少 70%的时间 Create Data Model Normalize & Generate Source/Target Mappings • 在开发阶 段发现问题 ，降低成本和时间 Generate ETL Job • 自动 ETL作业 定义 ，不需要程序调试时间 • 均衡有价值 的遗 留数据，增加访问应 用的可 靠性
元数据分析 Are these meta data properties expected? Can these two tables be integrated? If yes, what needs to be changed/standardized?
冗余数据分析 This could be from System A This could be from System B Is the overlap to be expected? What are the values outside the overlap? How to deal with them?
Web. Sphere Quality. Stage 清理，标 准化、匹配和确认 数据 Quality. Stage Standardization Logic • • Normalized Results • • Rules Matching & Record Linkage Logic Consolidated Views Operational Data Stores Enterprise Data Warehouses, Data Marts 更加准确、完整地对数据进行更加快速的匹配 最灵活的分析/标准化能力 处理复杂的自由格式的字段 全球 – 可以确认 200多个国家地址，完全的 NLS/Unicode支持 透明的并行能力，充分利用多CPU 面向BI的元数据转换 业务收益 • 一致的、可靠的竞争信息 • 不断增加的收入 – 在企业应用&BI中，更快、更完全的ROI，改善行 销& 客户服务 • 不断减少的成本 – 高效率操作、预防过失、 不断调整
例子: 为什么使用Quality. Stage? Q. 从销 售收入上看那个客户 是最重要的客户 ? CUSNUM NAME ADDRESS SALES $ 90328574 IBM 187 N. Pk. Str. Salem NH 01456 8, 494. 00 90328575 I. B. M. Inc. 187 N. Pk. St. Sarem NH 01456 3, 432. 00 90238495 International Bus. M. 187 No. Park St Salem NH 04156 2, 243. 00 90233479 Int. Bus. Machines 187 Park Ave Salem NH 04156 5, 900. 00 90233489 Inter-Nation Consults 15 Main St. Andover MA 02341 6, 800. 00 90234889 Int. Bus. Consultants PO Box 9 Boston MA 02210 10, 243. 00 90345672 I. B. Manufacturing Park Blvd. Boston MA 04106 15, 999. 00 A. (简单 ) I. B. Manufacturing Q. 确定了吗 ?
例子: 为什么使用 Quality. Stage? 通过 Quality. Stage得出数据集 … CUSNUM NAME 潜在一条记录 而不是 4条 ADDRESS SALES $ 90328574 IBM 187 N. Pk. Str. Salem NH 01456 8, 494. 00 90328575 I. B. M. Inc. 187 N. Pk. St. Sarem NH 01456 3, 432. 00 90238495 International Bus. M. 187 No. Park St Salem NH 04156 2, 243. 00 90233479 Int. Bus. Machines 187 Park Ave Salem NH 04156 5, 900. 00 90233489 Inter-Nation Consults 15 Main St. Andover MA 02341 6, 800. 00 90234889 Int. Bus. Consultants PO Box 9 Boston MA 02210 10, 243. 00 90345672 I. B. Manufacturing Park Blvd. Boston MA 04106 15, 999. 00 没有共同键 同意词 和字母缩 写 缺少标 准 拼写错误 错误 代码 ?
例子: 为什么使用 Quality. Stage? Q. 从销 售收入上看那个客户 是最重要的客户 ? (Quality. Stage纠正完数据后) CUSNUM NAME ADDRESS 90233479 Int. Bus. Machines 187 Park Ave. Salem NH 04156 20, 069. 00 90233489 Inter-Nation Consults 15 Main St. Andover MA 02341 6, 800. 00 90234889 Int. Bus. Consultants PO Box 9 Boston MA 02210 10, 243. 00 90345672 I. B. Manufacturing Park Blvd. Boston MA 04106 15, 999. 00 A. (简单 ) Int. Bus. Machines SALES $
Web. Sphere Data. Stage 抽取、转换 和传 送数据 Web. Sphere Data. Stage Client Designer Director Administrator Manager Web. Sphere Data. Stage Server • 图形化的、非代码的设计环境 • 可扩展的转换平台，均衡已存在的逻 辑 • 建立在可升级和调整的处理平台上 • 企业级平台提供被证明的ROI • 管理开发到配置的无缝升级 业务收益 • 卓越的产品功能 • 准确、准时、一致的产品发布 • 统一的访问规则应用 • 数据和处理可检查
从上到下的GUI方法 优势 ： 1. 作业 容易开发 、理解、调 试 和维护 2. 强大的、被验证 的最好的 数据转 移和抽取 具
性能: 并行执行 关键问题 • 如何满 足服务层协议 • 如何处 理未知需求 • 如何优 化硬件投资 ？ 当前系统 源数据 抽取 转换 实时 企业 需求 加载 数据 仓库 可选择 方案 • 手 拆分 • 手 编码处 理 • 单线 程瓶颈 • 分区间 加载 • 改变 代码 来适应 硬件的变 化 • 手 编码实现 并行数据库 和分区结 构 记录 重分片 • 自动执 行 • 当发 生以下情况不需要重新分片 • 增加处理器 • 改变硬件结构 • 分片的范围宽 • 方法 –整个, hash, 系数, 自由, 联合生命, 相同, DB 2 行列
Web. Sphere Meta. Stage--元数据管理 客户 面临 的挑战 • 用户对 数据的错误 理解 • 重要参数的错误处 理 • 不能确定业务 改变 的影响 • 缺乏连贯 的交叉 具 • 缺乏审计 3 rd Party SQL-based Tools Administrator 谁 是数据的业务联 系人? 这 些数据最近更新时间 是什么时 候? 这 些数据用在哪? 他们 的定义 是什么? 这 些规则 通常在哪里使用? 不正确的解决方法 • 在每一个应用系统中跟踪元数据 • 不完善的元数据 • 手 对变化进行评估 • 手 进行或大或小的客户化处理 • 没有一致的解释 • 传统解决方案 – Excel, Access, Word • 不明确的、不完整的标准支持
例子: 为什么使用 Meta. Stage? 业务 系统 A Customer. Number Name Address Comments 不同字段名 唯一标识 每一个客户 ，主 要用于排序目的。 公司客 户标识 主要根据公司的销 售数据的描述和参考唯一 性来定义 。 描述元数据是不 同的 业务 系统 B Customer. Tbl Customer. ID Name Address 1 Comments 唯一标识 每一个客户 ， 主要用于排序目的。以 02开始的为 非公司客户 ， 以 01开始的为 公司客户 。 不同的表名 额 外字段 业务 系统 D 业务 系统 C Customer. Details Customer. Number Name Address Remarks 客户 的标识 号。以 01开始 的为 公司客户 ，以 02开始 的为 非公司客户 ，03为 海 外客户 。 Customer ID Name Address 1 Address 2 Descr <NULL>
例子: 为什么使用 Meta. Stage? 业务 系统 A Customer. Number Name Address Comments 唯一标识 每一个客户 ，主 要用于排序目的。 公司客 户标识 主要根据公司的销 售数据的描述和参考唯一 性来定义 。 业务 系统 B Customer. Tbl Customer. ID Name Address 1 Comments 哪个元数据是正确的? 唯一标识 每一个客户 ， 主要用于排序目的。以 02开始的为 非公司客户 ， 以 01开始的为 公司客户 。 哪个是当前时间 的? 哪一个应该 被使用? 业务 系统 D 业务 系统 C Customer. Details Customer. Number Name Address Remarks 客户 的标识 号。以 01开始 的为 公司客户 ，以 02开始 的为 非公司客户 ，03为 海 外客户 。 Customer ID Name Address 1 Address 2 Descr <NULL>
例子: 为什么使用 Meta. Stage? 业务 系统 A Customer. Number Name Address Comments 唯一标识 每一个客户 ，主 要用于排序目的。 公司客 户标识 主要根据公司的销 售数据的描述和参考唯一 性来定义 。 业务 系统 B Customer. Tbl Customer. ID Name Address 1 Comments 唯一标识 每一个客户 ， 主要用于排序目的。以 02开始的为 非公司客户 ， 以 01开始的为 公司客户 。 Meta. Stage 元数据中心 业务 系统 D 业务 系统 C Customer. Details Customer. Number Name Address Remarks 客户 的标识 号。以 01开始 的为 公司客户 ，以 02开始 的为 非公司客户 ，03为 海 外客户 。 Customer ID Name Address 1 Address 2 Descr <NULL>
例子: 为什么使用 Meta. Stage? 业务 系统 A Customer. Number Name Address Comments 唯一标识 每一个客户 ，主 业务 系统 B 要用于排序目的。 公司客 唯一标识 每一个客户 ，主要用于排序目的。 户标识 主要根据公司的销 公司客户标识 主要根据公司的销 售数据的 Customer. Tbl 售数据的描述和参考唯一 。 以 01开始的为 Customer. ID 描述和参考唯一性来定义 。 ，以 02开始的为 非公司客户 ，以 Name 公司客户 03开始的为 海外客户 。 Address 1 Comments 单一版本 Customer. Details Customer. Number Name Address 1 Address 2 Remarks Meta. Stage 元数据中心 业务 系统 D 业务 系统 C Customer. Details Customer. Number Name Address Remarks 唯一标识 每一个客户 ， 主要用于排序目的。以 02开始的为 非公司客户 ， 以 01开始的为 公司客户 。 客户 的标识 号。以 01开始 的为 公司客户 ，以 02开始 的为 非公司客户 ，03为 海 外客户 。 Customer ID Name Address 1 Address 2 Descr <NULL>
Ascential Products now IBM Web. Sphere Ascential Data. Stage IBM Web. Sphere Data. Stage Ascential Quality. Stage IBM Web. Sphere Quality. Stage Ascential Data. Stage TX IBM Web. Sphere Data. Stage TX Ascential Profile. Stage IBM Web. Sphere Profile. Stage Ascential Meta. Stage IBM Web. Sphere Meta. Stage Ascential Enterprise Integration Suite IBM Web. Sphere Data Integration Suite
IBM信息整合成功案例
山东地税信息整合前架构 发 票系统 省 网上服务 发 票数据 Intranet 征管系统 Oracle 市 Oracle Sybase 征管系统 县 (100+ SQL Server) 征管系统 SQL Server
山东地税信息集成架构 省中心内网 发 票布奖 发 票税控 发 票管理 呼叫中心 对 外服务 Web Services 发 票数据 Call center (DB 2) 信息集成平台 Oracle Wrapper. Sybase Wrapper Oracle Sybase 外网数据 (DB 2) 复制 转换 复制 Oracle 省中心外网 Sybase (Websphere II P 650) SQL Server Wrapper SQL SQL Server 各地市征管系 统 (100+ SQL Server, 10+ Sybase) 互联 网
泰康信息架构挑战 总 公司 泰康在线 Broker 服务 Call Center 银 行接口 中间业务 OA 文件 团险 ，银 险 个险 AS 400 Informi 单项业务 数据集中 x 财务 Oracle 综 合服务 每日下发 数据 SQL Server 28家分公司 Call Center SQL Server 分公司 SQL 业务 分析 Call Center Server 分公司 业务 分析
泰康信息整合 Call Center Broker 服务 泰康在线 总 公司 分公司服务 OA CRM 综 合服务 分析应 用 应 用服务 平台(组 件化) WAS SQL XML Web Services 数据服务层 信息整合层 映射层 透明访 问 团险 ，银 险 复制 个险 AS 400 Informi 单项业务 数据集中 x 分公司 银 行接口 中间业务 信息整合平台 Websphere II 透明访 问 财务 Oracle MQ 分公司 数据服务 SQL Server 分析应 用
招商银行信息集成架构 总行 核心银 行系统 AS 400(备 份) 数据仓库 (DB 2 UDB DPF) 信用卡系统 DB 2/390 Cross-loader(98 G/hour) DB 2 II 总 行数据交换 平台 客户评 分数据 SQL Server Intranet 30+家分行 Sybase
谢谢!
Скачать презентацию IBM 信息整合解决方案和应用实践 张积斌 Senior IT Specialist IBM 软件部
7904546ebf7b00c0033868b599c44a07.ppt