The 4 th International Conference on Algorithms and

The 4 th International Conference on Algorithms and Architecture for Parallel Processing ICA 3 PP 2000 Hong Kong ICA 3 PP 2000 December 11 -13 2000 xcyin@dislab. nju. edu. cn

会 议 承 办 单 位 • • Deakin University, Australia City University of Hong Kong, Hong Kong The Croucher Foundation IEEE Hong Kong Section ICA 3 PP 2000 xcyin@dislab. nju. edu. cn 2

1 概 述 • 收到来自 15个国家的127篇文章 • 每篇文章经至少 3人审阅 • 录用 60篇 (+4，Special session on High-Performance Data Management +9，poster papers) ICA 3 PP 2000 xcyin@dislab. nju. edu. cn 3

1 概述(续)——主题 • Architectures, Algorithms and Networks – Parallel Architectures and Parallel I/O Systems – Interconnection Networks and Routing – Parallel Algorithms – Distributed Scheduling and Load Balancing • Systems and Applications ICA 3 PP 2000 xcyin@dislab. nju. edu. cn 4

1 概述(续)——主题 • Systems and Applications – Tools and Environments for Parallel and Distributed Software Development – High-performance Scientific Computing – Parallel and Distributed Databases – Cluster Computing – Distributed and Parallel Operating Systems and Middleware – Fault-tolerant Computing – Parallel Processing on Web-based Systems ICA 3 PP 2000 xcyin@dislab. nju. edu. cn 5

1 概述(续)——Guest Speakers • On-line Algorithms for Management of Heterogeneous Resource in Scalable Computing Clusters – Amnon Barak, Hebrew Uni. of Jerusalem, Israel • Parallel Processing and Stochastic Search: An Application in Nonlinear Constrained Optimization – Benjamin Wah, Uni. of Illinois at Urbana-Champaign (President of IEEE CS) • Making Internet, A Parallel Processing Machine, Faster, Cheaper, and Better – Wei Zhao, Texas A&M Uni. ICA 3 PP 2000 xcyin@dislab. nju. edu. cn 6

2 回顾—— 并行与分布计算技术的发展 • PVP(或VPP)：Cray YMP 90、NEX SX 3、Fujitsu VP 2000 等； • SMP：SGI Power Challenge、Sun SPARC Center 2000、 曙光1号等； • MPP：Intel Paragon、IBM SP 2、Cray T 3 D、曙光1000、 曙光2000等； • DSM：Sequent的NUMA-Q、HP的SPP、SGI的Origin系列 • Clusters • Computational Grid • Meta computing ICA 3 PP 2000 xcyin@dislab. nju. edu. cn 7

2 回顾(续)——结构特性比较 属 性 PVP SMP MPP DSM COW 结构类型 MIMD MIMD 处理器类型 专用定制 商用 商用 互连网络 定制交叉开关 总线，交叉开关 定制网络 商用网络 通信机制 共享变量 消息传递 地址空间 单地址 系统存储器 访存模型 ICA 3 PP 2000 单地址 集中共享 UMA 多地址 单地址 多地址 分布非共享 NORMA NUMA NORMA xcyin@dislab. nju. edu. cn 8

2 回顾(续)——访存模型 DSM ICA 3 PP 2000 xcyin@dislab. nju. edu. cn 9

3 Cluster——两个侧重点 • 一是如何减少结点机间的通信开销 – 一 是 使 用 新 的 高 速 网 ， 如 ATM、 快 速 Ethernet、以及用户自行设计的专用互联网( 如Myrinet) – 二是设计新的精简通信协议，减少传统通信 协议的层次，以减少通信开销 • 二是有关计算机机群的 作环境 – 主要研究编程环境、任务调度、负载平衡以 及全局资源的管理和使用等 ICA 3 PP 2000 xcyin@dislab. nju. edu. cn 10

3 Cluster——高效的通信系统 • 机群系统一般使用通用局域网连接 • 目前常用的局域网技术大体可以分成两类： –一类是共享介质网络，最常见的是 10 Mbps或 100 Mbps的Ethernet； –另一类是开关网络，如155 Mbps/622 Mbps的ATM、 640 Mbps/1. 28 Gbps的Myrinet和100 Mbps的交换式 Ethernet • 目前，通信系统的研究方向主要是在减小往返 延迟和提高链路带宽的利用率上，实现方法有 精简协议处理、开发新的通信机制和减少系统 开销 ICA 3 PP 2000 xcyin@dislab. nju. edu. cn 11

3 Cluster——并行程序设计环境 • 目前研制的机群系统大多支持PVM和 MPI ，在支持语言、容错及 具等方面 都不完善 • 需要相应支持 具，比如并行调试器、 性能评测 具、并行化辅助 具，它们 对程序得开发效率与运行效率都有重要 得作用 ICA 3 PP 2000 xcyin@dislab. nju. edu. cn 12

3 Cluster——多种并行语言的支持 • 已有的机群系统大多支持FORTRAN、C和C++，实 现方法： –主要是使用原有顺序编译器链接并行库函数，比如PVM、 MPI， –加入预编译，比如Multi-thread C，MPC++ • 目前机群系统并行程序设计语言的研究： –扩展原有顺序语言，提供广泛的并行语言支持，例如， 清华大学可扩展机群系统的ADA、MPC++ –提供全新的并行语言，比如Occam –研究自动化并行编译方法，直接将顺序程序编译成并行 代码，如UIUC的Polaris、Stanford的SUIF、复旦大学的 AFT 、南大 ICA 3 PP 2000 xcyin@dislab. nju. edu. cn 13

3 Cluster——全局资源的管理与利用 • 有效地管理系统中的所有资源是机群系统的一 个重要方面，常用的并行编程环境PVM、MPI 等对这方面的支持都比较弱，仅提供统一的虚 拟机 • 例：UC Berkeley的NOW项目中提出，在一般 操作系统(Unix、Linux、Windows NT)之上建 立一个全局Unix——GL Unix，以解决机群系 统中的所有资源管理，包括组调度、资源分配 和并行文件系统 ICA 3 PP 2000 xcyin@dislab. nju. edu. cn 14

3 Cluster——其他方面的研究 • 广播、多播等全局操作的高效实现 • DSM并行模型的支持 • 并行I/O的研究 ICA 3 PP 2000 xcyin@dislab. nju. edu. cn 15

3 Cluster——典型机群系统 名称 NOW Tread Marks NSCP Globus Pearl Cluster ICA 3 PP 2000 系统特点 非服务器 作站网络，主动消息、协同文 件系统、全局Unix扩展 软件实现的分布共享存储的 作站机群 在通过因特网互连的3个本地机群系统上进 行元计算 在由ATM连接的北美17个站点的WAN上开 发元计算平台和软件 用ATM连接，基于Unix服务器和 作站， 应用于分布式多媒体和元计算 xcyin@dislab. nju. edu. cn 16

Efficient deployment of shared memory models on clusters of PCs using the SMi. LEing HAMSTER approach Martin Schulz (Germany) • • SMi. LE(Shared Memory in a LAN-like Environment) HAMSTER(Hybrid-DSM based adaptive and modular shared memory architecture) ICA 3 PP 2000 xcyin@dislab. nju. edu. cn 17

Parallel Programming with Object Groups—The TACO Approach J Nolte et al (Japan) • TACO——Topologies and Collections • 分布对象组是一种协调并行活动的有效方法 • TACO是一种利用拓扑类和C++模板的重用在 机群系统上进行分布式数据并行处理的纯模板 库 ICA 3 PP 2000 xcyin@dislab. nju. edu. cn 18

A Reduced Communication Protocol for Network of Workstations Weimin Zheng et al • FMP(fast message passing protocol) • 关键技术 – 缓冲区管理 – DMA – 避免死锁 – 局部通信 ICA 3 PP 2000 xcyin@dislab. nju. edu. cn 19

A Software Development Methodology to Support Distributed Computing Clusters David Levine et al (USA) • PARSA(Prism Parallel Technologies, Inc研制的 软件开发环境) • 本文提出对PARSA的改进，以使其适合于利用 标准程序设计语言和库来开发分布式机群软件 ICA 3 PP 2000 xcyin@dislab. nju. edu. cn 20

Parallel and Distributed Knowledge Discovery on the Grid: A Reference Architecture M Cannataro and D Talia (Italy) • 介绍基于Grid的并行与分布式数据挖掘 PDKD的概念 • 给出PDKD一个参考结构 ICA 3 PP 2000 xcyin@dislab. nju. edu. cn 21

INTERESTINGS(1) • 超立方体网络上的多点广播算法 • 洗牌交换网络的可重排性(rearrangeability) • 2 D Meshes中容错多点传送Wormhole(虫蚀) 路由 • 无全局反馈的并行无线路由 • Anycast服务的Qo. S路由算法 ICA 3 PP 2000 xcyin@dislab. nju. edu. cn 22

INTERESTINGS(2) • 求复杂矩阵特征值的动态方程的并行实现 • 微积分代数方程(IDAE)松弛方法加速收敛的并 行处理 • 线路图查询的有效并行处理方法 • 基于PC机群的最短路径算法 • 分布式环境中个人身份识别的并行生物统计学 计算 • 利用HPF求解时间依赖的Maxwell方程的高效可 扩放并行实现 ICA 3 PP 2000 xcyin@dislab. nju. edu. cn 23

Q&C Method for Solving Large Problems in Fixed Size Processor Array X. C. Yin, L. Xie • 提出一种在固定大小的阵列上解决大问 题的分解及调度的一般性方法，对于问 题的并行算法以及给定大小的阵列，使 用分治技术得到一个调度过程来调度所 分解的计算和数据。 ICA 3 PP 2000 xcyin@dislab. nju. edu. cn 24