Mashups Web 应用程序新成员 Outline 1 l 2

Mashups： Web 应用程序新成员

Outline 1. l 2. l 3. l 4. l 5. l Mashup的定义 Mashup的分类 Mashup的架构企业级Mashup及引出的研究问题 Summary

Mashup起源 l Mashup can mean: l l Mashup (music), a musical genre of songs that consist entirely of parts of other songs Mashup (web application hybrid), a website or web application that combines content from more than one source Mashup (video), a video that is edited from more than one source to appear as one 它源于流行音乐，mashup 是从两首不同的歌曲（通常属于不同的流派）中混合演唱和乐器的音轨而构成的一首新歌。与那些 “bastard pop” 歌曲类似，mashup 也是内容的一种不常见的创新组合（通常都源自于无关的数据源），这都是人进行合成的（而不是通过计算机来合成的）。

What is Mashup l 一种新型的基于 Web 的数据集成应用程序正在 Internet 上逐渐兴起 – Mashup. l 它利用了从外部数据源检索到的内容来创建全新的创新服务（ combines content from more than one source into an integrated experience ） l 涵盖public APIs, XML/RSS/Atom feeds, web services, HTML…… l 具有第二代 Web 应用程序的特点，也称为 Web 2. 0 （ collaborate & share） l 许多人已经和正在用e. Bay, Amazon, Google, Windows Live, and Yahoos APIs构建新的Mashups

Statistics l 如果我们就以两年来看，两年后的Mashup技术会成熟到一个什么局面呢？ l 有数据说，现在已经有越来越多的API被开放，而每天都会有大概2. 5个Mashup产生。预计到 2007 年，每天Mashup的产生数量就会增加到 10个。 l 按照这个速度计算，两年内产生的Mashup的确非常惊人

Outline 1. l 2. l 3. l 4. l 5. l Mashup的定义 Mashup的分类 Mashup的架构企业级Mashup及引出的研究问题 Summary

Mashup 类型 l 地图 Mashup l 视频和图像 Mashup l 搜索和购物 Mashup l 新闻 Mashup l Anything other……

视频和图像Mashup l 图像主机和社交网络站点（例如 Flickr 使用自己的 API 来共享图像）的兴起导致出现了很多有趣的 mashup。由于内容提供者拥有与其保存的图像相关的元数据（例如谁拍的照片，照片的内容是什么，在何时何地拍摄的等等），mashup 的设计者可以将这些照片和其他与元数据相关的信息放到一起 l 例如，mashup 可以对歌曲或诗词进行分析，从而将相关照片拼接在一起，或者基于相同的照片元数据（标题、时间戳或其他元数据）显示社交网络图。另外一个例子可能以一个 Web 站点（例如 CNN 之类的新闻站点）作为输入，并在新闻中通过照片匹配而将照片中的内容以文字的形式呈现出来

搜索和购物Mashup l 搜索和购物 mashup 在 mashup 这个术语出现之前就已经存在很长时间了 l l 在 Web API 出现之前，有相当多的购物具，例如 Biz. Rate、Price. Grabber、My. Simon 和 Google 的 Froogle，都使用了 B 2 B 技术或屏幕抓取的方式来累计相关的价格数据为了促进 mashup 和其他有趣的 Web 应用程序的发展，诸如 e. Bay 和 Amazon 之类的消费网站已经为通过编程访问自己的内容而发布了自己的 API

新闻Mashup l 新闻源（例如纽约时报、BBC 或路透社）已从 2002 年起使用 RSS 和 Atom 之类的联合技术来发布各个主题的新闻提要。 l 以联合技术为基础的 mashup 可以聚集一名用户的提要，并将其通过 Web 呈现出来，创建个性化的报纸，从而满足读者独特的兴趣。 l Diggdot. us 正是这样的一个例子，它合并了 Digg. com、 Slashdot. org 和 Del. icio. us 上与技术有关的内容. （见示例）

地图Mashup l 地图蓬勃发展的一种主要动力就是 Google 公开了自己的 Google Maps API l 现阶段，人们搜集大量有关事物和行为的数据，二者都常常具有位置注释信息。所有这些包含位置数据的不同数据集均可利用地图通过令人惊奇的图形化方式呈现出来 l 可以在地图中包含所有类型的数据（从原子弹灾难到波士顿的 Cow. Parade 奶牛都可以） l Microsoft（Virtual Earth）、Yahoo（Yahoo Maps）和 AOL（ Map. Quest）不甘示弱，也很快相继公开了自己的 API

Google API l 什么是Google API l Google 公司允许其它开发人员通过 Web 服务接口访问其索引。这就是说，开发人员可以以编程的方法将请求发送到 Google 服务器，然后取回结果 l 您还可以利用一些其它信息，它们并不象用以前的办法搜索得到的信息那么明显（Hit Number） l 请求和响应的形式都是 SOAP 消息

SOAP 消息 l SOAP消息--Simple Object Access Protocol(简单对象访问协议) l SOAP 消息基本上是从发送端到接收端的单向传输，但它们常常结合起来执行类似于请求 / 应答的模式。所有的 SOAP 消息都使用 XML 编码 l 见拼写建议（例）

Google API 示例 l 第一点是最重要的，所有搜索都需要有授权码，这是免费的。它每天最多支持 1000 次搜索。每次最多返回 10 条搜索结果。 l 用Google. Search实现简单的应用程序。使用的时候，要设置参数，然后实际执行搜索，就会有结果返回。 l 示例：新建搜索，同时返回hit number和具体搜索结果（搜索）

非常有趣的Google Map API l Example l l rentometer—租房者的福音 Simple Analysis: l l l 地图的移动和变换在地图上添加控件地图标注在标记上显示信息浮窗 ……

Outline 1. l 2. l 3. l 4. l 5. l Mashup的定义 Mashup的分类 Mashup的架构企业级Mashup及引出的研究问题 Summary

架构客户机的 Web 浏览器 Mashup 站点 e. g. Top 10 Highest Paid Women Information …… API/内容提供者

架构 l API内容提供者 l 通过 Web 协议对外提供（例如 REST、Web 服务和 RSS/Atom） l l 消息传递协议，最有名的是简单对象访问协议（Simple Object Access Protocol，SOAP）, Rest相对来说比较陌生。传输协议（如 HTTP、IIOP、SMTP 或其他协议）服务如何公开它们自己以及如何在网络上相互发现？统一描述、发现和集成（Universal Description, Discovery and Integration， UDDI）为查找和访问服务定义了注册中心和相关的协议很多有趣的潜在数据源可能并没有方便地对外提供 API，mashup都是通过一种称为屏幕抓取（screen scraping）的技术实现

REST vs. SOAP l get. User() add. User() remove. User() update. User() get. Location() add. Location() remove. Location() update. Location() list. Users() list. Locations() find. Location() find. User() Rest l http: //example. com/users/{user} (one for each user) http: //example. com/find. User. Form http: //example. com/locations/{location} (one for each location) http: //example. com/find. Location. Form user. Resource = new Resource("http: //example. com/users/001") user. Resource. get() example. App. Object = new Example. App("example. com: 1234") example. App. Object. get. User()

Mashup站点 l 合并内容可以直接在客户机的浏览器中通过客户机端脚本（即 Java. Script）或 applet 生成。 l l mashup 使用的这种方法可以称为胖 Internet 应用程序（RIA）客户机端进行数据集成的优点包括： l l 对 mashup 服务器的所产生的负载较轻（数据可以直接从内容提供者那里传送过来）具有更好无缝用户体验（页面可以请求对内容的一部分进行更新，而不用刷新整个页面）。 —Ajax

Outline 1. l 2. l 3. l 4. l 5. l Mashup的定义 Mashup的分类 Mashup的架构企业级Mashup及引出的研究问题 Summary

企业级Mashup(1) l Mashup技术并非只会提供消费者网站使用的、加了注释的地图，这项技术具有真正的企业应用前景 l 先例： l l l 历史悠久的股票报价系统；将UPS或Fed. Ex等快递公司的跟踪数据与订单记录组合起来，提供订单状态单一视图的电子商务网站现在，更强调服务的可用性和易用性： l l 飞机引擎制造商利用Mashup服务可以为雇员提供对某一零部件的维修、定制和保养记录的访问，并将6种数据源集成在一起房地产经纪公司利用Mashup将来自CRM（客户关系管理）系统的客户数据集成在经纪人电子邮件中，使他们可以通过电子邮件警报来查看当前的财产匹配报告

企业级Mashup(2) l 企业现状 l l l 公司必须将许多原本并不能很好彼此共存的管理系统和应用程序拼凑到一起。DBMS、内容管理系统、数据挖掘包和作流系统都可以购买，但该公司必须自行开发集成软件以集成它们. 每当增加了新的数据源或信息必须流转到新的目标时，就必须扩展客户自制的解决方案即时应用的出现使得利用企业信息架构之外的信息成为新的需求 (Email, Presentations and Documents, External Data (Web), Spreadsheets, Decision Support Datasets…) 企业需求 l l 一个健壮的平台突破存在于 DBMS、内容管理系统、中间层高速缓存和数据仓库之间的界限，提供所有这些服务的统一视图的平台对效率和易用性提出了新的要求，提出了用“assembly”的思想来代替“programming”

企业即时应用（例） l A salesperson needs to make a call on a prospect l l How much did we sell to the customer in the last 5 quarters? What problems they have been having with our staff? Some personal information A CFO has to meet his CEO the next day l Every one of his finance has sent him a presentation containing their financial picture in a spreadsheet

Research Agenda(例) (Zipcode) Pete, 是Florida 的一名保险经纪。他看见了一则新闻报道（风暴灾害）. 那么这场风暴给公司带来了多大的灾害呢，需要评估。他需要递交一份灾害损失分析报告。 (HUC = Hydrological Unit Code) http: //water. usgs. gov/waterwatch/ (Geocode = Latitude/Longitude) edc. usgs. gov/ (Geocode = Latitude/Longitude) http: //www. dotd. louisiana. gov/ http: //florida. maps. anant/

Research Agenda(例) Report Mashup Search Standardization Standardize Screen Scraping www. floodlevels. com standardize policy XLS water. usgs. gov edc. usgs. gov dotd. florida. gov

Research Agenda（1 -1） l Peter怎么创建满足他需求的Mashup？ l Step： l l Criterion： l l l 找到现存的可利用的Mashup；表达自己的需求；构建自己的Mashup；容易使用表达力强 “do deep research and build deep technology, but make the job of application writer much easier!”

Research Agenda（1 -2） l 1. Peter如何找到现存的可利用的Mashup？ l www. floodlevels. com 是动态生成的AJAX 网页（由另一个Mashup应用提供的） l 有没有这样的一种search engine，能够使得Peter通过键入查询 “Flood Levels Louisiana”来返回结果？ l 这个问题有点类似于deep web 中数据源搜索的问题，但是不如deep web数据源的特点好把握，特别是这种查询需要理解mashup的逻辑。

Research Agenda（1 -3） l 2. Peter如何构建他自己的mashup？ Peter他只是一个保险经纪，不是一个Java script专家，他也不懂PHP/Java/Ruby这些编程语言； l 甚至如果他找到的这个mashup对外不提供API，那么还需要自己构建屏幕抓取逻辑； l 面对这些最普通的需求者，如何给他们一个怎样良好的平台构建自己的应用呢？ l

Research Agenda（1 -4） Procedural Code <? php // Get policy holders in a Policy object array $url = "file: //policies/myclients. xsl"; $content = file_get_contents($url); $policy. Arr = get. Policy($content); // Find high risk zones $url = "http: //www. floodlevels. com"; $content = file_get_contents($url); Procedural // Initialize the return array $risk. Arr = array(); Code // Do screen scraping to extract high risk zones $zone. Arr = find. Risky. Zones($content); // Find corresponding policy holders for each city foreach ($policy. Arr as $policy) { if ($policy->amount < 250000) { continue; } // Standardize the address $policy. Zone = find. Zone($policy->address); } // Check whether this policy affected foreach ($zone. Arr as $zone) { if ($zone == $policy. Zone) { // This policy carries a high risk. // Insert into high risk array $risk. Arr [] = $policy; } } // Send email to manager for high risk policies send. Email("suzan@trustinsurance. com", "High risk policies", $risk. Arr); ? > Simplicity

Research Agenda（1 -4） Declarative Queries send. Mail("suzan@trustinsurance. com", <high. Risk. Policies> { for $i in url(“file: //policies/myclients. xsl”) for $j in url("http: //www. floodlevels. com”) where $i//amount > 250000 and $i//address in $j/zone return <policy> {$i} </policy> } </high. Risk. Policies>); Simplicity

Research Agenda（1 -4） GUIs, Spreadsheets, Wikis Strike. Iron Simplicity

Research Agenda（1 -5） l 帮助Peter实现这种企业的即时应用还有更简单的方式吗？ l 当Peter搜索“flood levels for zipcodes 33101, 34106, etc. ” 的时候，整个Mashup能自动构建吗？ l 自动发现和query相关的，能帮助回答query的若干资源；要在这些资源间进行类似join的一些mashup的操作等 l 可参考 1996 VLDB 《 Querying l Heterogeneous Information Sources Using Source Descriptions 》

Q：Get the price and reviews of sports cars for sale that were manufactured no earlier than 1992. Source 1， PLAN 1：Source 1 JOIN Source 5 SELECT Source 2， PLAN 2：Source 2 JOIN Source 5

Research Agenda（2 -1） l 如何进行Mashup中的信息集成？ l l “semantic” && “unstructured data” （a column in personal document. maybe customers’ name） Helped by： l l l 首先，在解决semantic问题上有很多相关的研究领域和大量的作；企业中越来越重视元数据信息的管理；可用的Standardizing服务越来越多； l <male, female>: <M, F> or <1, 2> Mapped "Male" and "Mr" onto 1 l Deriving a new calculated value l l Microformats也被越来越多地被使用 l l 在HTML或XHTML网页中表达semantic，以便语义的抽取 <span class="fn">Joe Blow</span> <span class="tel">604 -555 -1234</span>

Research Agenda（2 -2） l 如何进行Mashup中的信息集成？ l l “semantic” && “unstructured data” “ Everybody wants to run analytics on unstructured data, and create structured data, and then we are back in our favorite world. ” l Mashup的企业级应用面临不同于以往我们考虑的数据抽取问题。 l 假使我们要在一个structured data的电话号码这一列和另一个 unstructured data的电话号码信息上进行连接操作，那么：

Research Agenda（2 -3） Conventional Search 要在Email中查 Beineke的电话号码 Interpreted as Return emails that contain the keywords “beineke” and phone

Research Agenda（2 -3） Conventional Search 避免这种混淆引入错误 Interpreted as Return emails that contain the keywords “beineke” and phone Dear Owen, One thing I forgot to add in my previous mail (re: confirmation Number 295). If, for whatever reason you are unable to reach me, my co-author Shivakumar Vaithyanathan will be reachable at 410. 555. 1212. Thank You Phil Beineke

Research Agenda（2 -3） Located At Relationship Annotator Arg 1: Entity Named Entity Annotator Arg 2: Location Gov Official Title Parts of Speech Annotator President Country Person NP Bush VP visits PP shrine in 文本解析仅在关键词匹配的水平上是不够的 Israel

A Intranet Mashup Fabric HTML XML/Atom/RSS Feed MAFIA Presentation Lightweight Semantics External Data Services Transformation Feed Generation Augmentation Fusion Union Standardization Ingestion Screen Scraping Web Services XML/Atom/RSS Feeds Web Pages Web Services DB/Files

Outline 1. l 2. l 3. l 4. l 5. l Mashup的定义 Mashup的分类 Mashup的架构企业级Mashup及引出的研究问题 Summary

Summary（an interesting quotes） l "We know we don't have a corner on creativity. There are creative people all around the world, hundreds of millions of them, and they are going to think of things to do with our basic platform that we didn't think of. So the mashup stuff is a wonderful way of allowing people to find new ways of applying the basic infrastructures we're propagating. This will turn out to be a major source of ideas. "

Summary l Mashup 是一种令人兴奋的交互式 Web 应用程序，它利用了从外部数据源检索到的内容来创建全新的创新服务。 l 它们具有第二代 Web 应用程序的特点，也称为 info 2. 0。 l 新的应用需求带给我们新的挑战，也存在着一些值得研究的问题，最终目的是提供易用的有效的“组装”Mashup的平台或具。

Q&A