abca4069873c20944cbcccbf46f59e89.ppt
- Количество слайдов: 71
高等计算机系统结构 存贮系统和I/O (第十讲) 程 旭 2011年 05月23日 北京大学计算机科学技术系 计算机系统结构教研室
动机: 谁关心I/O? <CPU性能: 每年增长 60% <I/O系统的性能受到机械延迟的限制(磁盘I/O) 每年改进 < 10% (每秒的输入输出量 或 MB/sec) <Amdahl定律:系统加速比受制于最慢的部分! 10% IO & 10 x CPU => 性能改进 5倍 (损失 50%) 10% IO & 100 x CPU => 性能改进 10倍 (损失 90%) < I/O瓶颈: 缩小程序执行中 CPU部分的时间 削减快速CPU的潜在性能 <Reliability 可靠性 <Scalability 可扩展性 <Availability 可用性 <Dependability 可信性 北京大学计算机科学技术系 计算机系统结构教研室
个人计算机剖视 Add-in board Cache Processor Cache/DRAM Controller VRAM DRAM Audio Motion Video VRAM DRAM PCI Bus SCSI LAN Base I/O Exp Bus Xface Graphics DRAM VRAM ISA/EISA - Micro. Channel Bridge Architecture 北京大学计算机科学技术系 计算机系统结构教研室
I/O系统 interrupts Processor Cache Memory - I/O Bus Main Memory I/O Controller Disk 北京大学计算机科学技术系 Disk I/O Controller Graphics I/O Controller Network 计算机系统结构教研室
艺发展趋势 First law in Disk Density Million Bits/Square Inch 现在,磁盘容量每 18月翻一番 1990年之前,每 36月翻一番 • 当今:处理器性能 每 18月 翻一番 I/O Gap • 当今:存储器大小每 18月翻一番(三年四倍) • 当今:磁盘容量每 18月翻一番 • 磁盘定位速率 (寻道 + 旋转) 每十年翻一番! 北京大学计算机科学技术系 计算机系统结构教研室
存贮技术的驱动力 <主流计算模式的驱动 =五十年代: 批处理 到 在线处理 的转变 =九十年代: 集中处理 到 普及计算 的转变 ö计算机无处不在:电话、电子书籍、汽车、摄像机 ö全球性光纤网络及无线网络 <存贮 业的成效: =嵌入式存贮 ö更小、更便宜、更可靠、更低功耗 =数据使用 ö高容量、层次式管理存储系统 北京大学计算机科学技术系 计算机系统结构教研室
历史回顾 <1956 IBM Ramac ~ 七十年代早期 Winchester =针对大型机开发,专用接口 =在大小上不断缩小: 27 in. 至 14 in. <七十年代 =5. 25英寸软盘 =出现 业标准磁盘接口 öST 506, SASI, SMD, ESDI <八十年代早期 =个人计算机和第一代 作站 <八十年代中期 =Client/server计算 =基于文件服务器的集中存储 ö加速磁盘的小型化: 8英寸 至 5. 25英寸 =巨大的磁盘驱动器市场成为现实 ö 业标准: SCSI、IPI、IDE ö在PC市场,采用 5. 25英寸驱动器,专用接口寿终正寝 北京大学计算机科学技术系 计算机系统结构教研室
磁盘的历史 数据密度 兆位/平方英寸 显示的 容量单位 兆字节 1973: 1. 7兆位/平方英寸 140 兆字节 1979: 7. 7兆位/平方英寸 2, 300兆字节 source: New York Times, 2/23/98, page C 3, Wakers of disk drives crowd even more data into even smaller spaces 北京大学计算机科学技术系 计算机系统结构教研室
历史回顾 <八十年代末/九十年代初: =膝上机、笔记本电脑(掌上机) =3. 5英寸、 2. 5英寸(1. 8英寸) =大小 加上 容量 驱动 市场,而非性能 ö目前,带宽改进: 40%/年 =来自DRAM、PCMCIA卡中flash RAM的挑战 ö仍然太贵,Intel承诺降低成本但还没有兑现 ö每立方英寸上兆字节,还不能另人满意 =光盘性能尚不理想,但有小的生存空间(CD ROM) 北京大学计算机科学技术系 计算机系统结构教研室
磁盘历史(绪) 1989: 63 Mbit/sq. in 60, 000 MBytes 1997: 1450 Mbit/sq. in 2300 MBytes 1997: 3090 Mbit/sq. in 8100 MBytes source: New York Times, 2/23/98, page C 3, Wakers of disk drives crowd even more data into even smaller spaces 北京大学计算机科学技术系 计算机系统结构教研室
Areal Density <Bits recorded along a track =Metric is Bits Per Inch (BPI) <Number of tracks per surface =Metric is Tracks Per Inch (TPI) <Care about bit density per unit area =Metric is Bits Per Square Inch =Called Areal Density = BPI x TPI 北京大学计算机科学技术系 计算机系统结构教研室
九十年代初的数据存贮技术 Cap (MB) BPI 150 800 12000 104 22860 38 4600 1300 43200 1638 61000 1870 Magnetic & Optical Disk: Hard Disk (5. 25") 1200 IBM 3390 (10. 5") 3800 Sony MO (5. 25") Technology Conventional Tape: Cartridge (. 25") IBM 3490 (. 5") Helical Scan Tape: Video (8 mm) DAT (4 mm) 北京大学计算机科学技术系 640 TPI BPI*TPI Data Xfer Access (Million) (KByte/s) Time 1. 2 0. 9 92 3000 minutes seconds 71 114 492 183 45 secs 20 secs 33528 1880 27940 2235 63 62 3000 4250 24130 18796 454 88 18 ms 20 ms 100 ms 计算机系统结构教研室
存储所有我们已读(写)、 听(说)、看的信息 人类数据类型 阅读文字(含少量图片) /小时 200 K /天 (/4年) 2 -10 M/G /一生 60 -300 G 以 120 wpm说 以 1 KBps说 43 K 3. 6 M 0. 5 M/G 40 M/G 15 G 1. 2 T 50 Kb/s POTS的视频 200 Kb/s VHS质量的视频 22 M 90 M . 25 G/T 1 G/T 25 T 100 T 4. 3 Mb/s HDTV/DVD视频 1. 8 G 20 G/T 1 P 北京大学计算机科学技术系 计算机系统结构教研室
一部小说 Kilo 1封信 Mega 美国国会图书 馆 (文字) 美国国会图书 馆 (声音+电影 ) Giga Tera Peta 所有磁盘 所有磁带 Exa 1部电影 美国国会图书 馆 (图像) 所有相片 Zetta 现在的所有信息 Yotta 北京大学计算机科学技术系 计算机系统结构教研室
未来磁盘容量和性能 <Continued advance in capacity (60%/yr) and bandwidth (40%/yr) <Slow improvement in seek, rotation (8%/yr) <Time to read whole disk Year Sequentially Randomly (1 sector/seek) 1990 4 minutes 6 hours 2000 12 minutes 1 week(!) 2006 56 minutes 3 weeks (SCSI) 2006 171 minutes 7 weeks (SATA) 北京大学计算机科学技术系 计算机系统结构教研室
存贮设备: 磁盘 <用途 = 长期、非易失的存贮 =在存贮层次中,大容量、廉价、较慢的 级别 磁道(Track) 扇区(Sector) <特性 = 寻道时间(平均8 ms左右) ö定位延迟(positional latency) ö旋转延迟(rotational latency) < 传输率 =大约每毫秒一个扇区 (5 -15 MB/s) = 成块 <容量 = Gigabytes = 三年四倍 北京大学计算机科学技术系 柱面(Cylinder) 盘片(Platter) 磁头(Head) 7200 RPM = 120 RPS => 8 ms per rev ave rot. latency = 4 ms 128 sectors per track => 0. 25 ms per sector 1 KB per sector => 16 MB / s 响应时间 = 排队 + 控制器 + 寻道 + 旋转 + 传输 服务时间 计算机系统结构教研室
磁盘面密度:Disk Areal Density <Bits recorded along a track =Metric is Bits Per Inch (BPI) <Number of tracks per surface =Metric is Tracks Per Inch (TPI) <Disk designs brag about bit density per unit area =Metric is Bits Per Square Inch: Areal Density = BPI x TPI 北京大学计算机科学技术系 计算机系统结构教研室
1 inch disk drive! <2000 IBM Micro. Drive: = 1. 7” x 1. 4” x 0. 2” =1 GB, 3600 RPM, 5 MB/s, 15 ms seek =Digital camera, Palm. PC? <2006 Micro. Drive? <9 GB, 50 MB/s! =Assuming it finds a niche in a successful product =Assuming past trends continue 北京大学计算机科学技术系 计算机系统结构教研室
磁带与磁盘 • 纵向磁带使用与磁盘相同的 艺技术;同样的密度改进 • 磁盘的磁头在磁盘表面上方,而磁带在表面上(接触) • 磁盘固定、磁带可移动 • 内在的成本-性能 依赖于 其几何形状: • 具有一定缝隙固定的旋转盘片 (随机访问、限制尺寸、1 media / reader) 与 • 可移动的长带、缠绕在线轴上 (顺序访问、“无限”长度、multiple / reader) • 新 艺技术趋势 • 螺旋扫描(录像带, 数字录音带) • 与磁带成一定角度旋转磁头来改进密度 北京大学计算机科学技术系 计算机系统结构教研室
当前磁带的缺陷 <磁带磨损 =螺旋式磁带上百次 纵向磁带上千次 <磁头磨损 =螺旋式 2000小时 <两者都必须考虑 经济/可靠 <缠绕、退带、装带、旋转次数多 并不是必然如此,只是目前为止尚没有进一步市 场需求 <针对归档需求设计 北京大学计算机科学技术系 计算机系统结构教研室
Current Drawbacks to Tape <Tape wear out: =Helical 100 s of passes to 1000 s for longitudinal <Head wear out: =2000 hours for helical <Both must be accounted for in economic / reliability model <Bits stretch <Readers must be compatible with multiple generations of media <Long rewind, eject, load, spin-up times; not inherent, just no need in marketplace <Designed for archival 北京大学计算机科学技术系 计算机系统结构教研室
Automated Cartridge System: Storage. Tek Powderhorn 9310 7. 7 feet 8200 pounds, 1. 1 kilowatts 10. 7 feet <6000 x 50 GB 9830 tapes = 300 TBytes in 2000 (uncompressed) =Library of Congress: all information in the world; in 1992, ASCII of all books = 30 TB =Exchange up to 450 tapes per hour (8 secs/tape) <1. 7 to 7. 7 Mbyte/sec per reader, up to 10 readers 北京大学计算机科学技术系 计算机系统结构教研室
Flash: The future has driven market for low-cost of disks? < Advent of digital cameras, mp 3 players, non-volatile flash memory = Other promising technologies in development: phase-change RAM, magnetic RAM (core returns!), but flash has big lead < In 2007, several announcements of flash-based disk replacement for laptops/servers = San. Disk, Samsung, I/O fusion, … < Flash drive advantages: = Lower power (no moving parts) = Much faster seek time, 100 X IOs per second (no moving parts) = Greater reliability (no moving parts) = Lower noise (no moving parts) < Flash disadvantages = Cost (20 -100 x disk cost/GB) = Slow writes with current design (competitive with disks) = write endurance - not an issue for most applications since use write-leveling to spread wear around blocks on chip < Potential benefit of flash hidden behind standard disk interface = Scope for massive rethinking of storage architecture if non-volatile moves into memory hierarchy and accessed via processor loads/stores not seek/read/write 北京大学计算机科学技术系 计算机系统结构教研室
名词解释:Dependability <Dependability – The quality of delivered service such that reliance can justifiably be placed on this service. =Failure =Error =Fault =Service öSpecified service öDelivered service =Service accomplishment =Service interruption 北京大学计算机科学技术系 计算机系统结构教研室
名词解释 <Reliability – A measure of the continuous service accomplishment (or, equivalently, of the time to failure) from a reference initial instant. =MTTF – mean time to failure =MTTR- mean time to repaire <Availability – A measure of the service accomplishment with respect to the alternation between the two state of accomplishment and interruption. =MTBF – mean time between failures =Availability = MTTF/MTBF 北京大学计算机科学技术系 计算机系统结构教研室
小尺寸磁盘的优势 低 高 高 低 成本/MB MB/大小 MB/瓦特 成本/驱动器 成本和环境情况 北京大学计算机科学技术系 计算机系统结构教研室
磁盘阵列的制造上优势 Katz and Patterson asked in 1987: “Can smaller disks be used to close gap in performance between disks and CPUs? ” 常规: 4种磁盘设计 3. 5 低端 5. 25 10 14 高端 磁盘阵列: 1种磁盘设计 3. 5 北京大学计算机科学技术系 计算机系统结构教研室
用大量小容量磁盘 替代 少量 大容量磁盘! (1988磁盘) IBM 3390 (K) IBM 3. 5" 0061 x 70 20 GBytes 320 MBytes 23 GBytes 大小 97 cu. ft. 0. 1 cu. ft. 11 cu. ft. 功耗 3 KW 11 W 1 KW 15 MB/s 120 MB/s I/O传输率 600 I/Os/s 55 I/Os/s 3900 IOs/s 平均无故障时间 250 KHrs ? ? ? Hrs $250 K $2 K $150 K 数据容量 数据传输率 成本 高 数据 和 I/O 速率 磁盘阵列的潜力 北京大学计算机科学技术系 高 MB/立方英尺,高 MB/KW 可靠性? 计算机系统结构教研室
磁盘阵列的可靠性 • N个磁盘的可靠性 = 1个磁盘的可靠性 N 50, 000小时 70 磁盘 = 700 小时 磁盘系统的平均无故障时间:从 6 年 跌至 1个月! • 没有冗余的阵列 在使用中 太不可靠! 可与访问过程 并行 进行重构的热备份:可以达 到很高的媒体可用性 北京大学计算机科学技术系 计算机系统结构教研室
冗余存盘阵列 (RAID) • 文件分布到多个磁盘上 数据冗余 达到 高数据可用性 如果磁盘出错 就利用阵列上存储的冗余数据来重建它的内容 需要更多的额外容量来存储冗余数据 需要更多的额外带宽来实现修改 Mirroring/Shadowing (高容量耗损) 关键技术: Horizontal Hamming Codes (过度耗费) Parity & Reed-Solomon Codes Failure Prediction (无容量开销!) Vax. Sim. Plus --技术上有争议 北京大学计算机科学技术系 计算机系统结构教研室
冗余磁盘阵列 RAID 1: 磁盘镜像/影像 恢复组 每个磁盘都完全复制到它的“影子” 可以达到非常高的可用性 完成写操作需要牺牲带宽: 逻辑写 = 两次物理写 对于读操作, 可以进行优化 代价很高的一种解决方案: 100%的容量开销 面向:高 I/O速率、高可用性的环境 北京大学计算机科学技术系 计算机系统结构教研室
冗余磁盘阵列 RAID 3: 位交织奇偶校验磁盘 10010011 11001101 10010011. . . 逻辑记录 条状物理 记录 P 1 0 0 1 1 0 0 1 1 0 0 • 在恢复组上进行奇偶计算 以防 硬盘失效 在上述配置中,维存储奇偶位需要增加 33%的容量开销 更宽的阵列将相对降低容量开销、降低预想的可用性、增加数据重建时间 • 盘臂逻辑上同步、转轴转动同步 逻辑上是一个单一高容量的、高传输率的磁盘 面向高带宽应用:科学计算、图像处理 北京大学计算机科学技术系 计算机系统结构教研室
冗余磁盘阵列 RAID 5+: 块交织分布奇偶校验磁盘 一次逻辑写变成 四次物理I/O D 0 D 1 D 2 D 3 P 由于交叉奇偶位存放, 因而可以进行独立写操 作 D 4 D 5 D 6 P D 7 D 8 D 9 P D 10 D 11 D 12 P D 13 D 14 D 15 增大逻辑 磁盘地址 在数据重建中,为数据 保护采用Reed. Solomon Codes ("Q") 北京大学计算机科学技术系 P D 16 D 17 D 18 D 19 D 20 面向混合应用 D 21 D 22 D 23 P . . . 信息条 (Stripe) 信息条单位 (Stripe Unit) . . . Disk Columns. . . 计算机系统结构教研室
磁盘阵列的难题: 写操作少 RAID-5: Small Write Algorithm 1次逻辑写 = 2次物理读 + 2次物理写 D 0' D 1 D 2 D 3 旧数据 新数据 P 旧奇偶位 (1. 读) (2. 读) + XOR (3. 写) D 0' 北京大学计算机科学技术系 (4. 写) D 1 D 2 D 3 P' 计算机系统结构教研室
子系统组成 主机 适配器 主机 阵列 控制器 管理 与主机的接口、DMA 单板 磁盘控制器 控制、缓冲、 奇偶逻辑 物理设备控制 条块化软件从主机下载到阵列控制器 单板 磁盘控制器 不修改应用程序 不降低主机性能 北京大学计算机科学技术系 often piggy-backed in small format devices 计算机系统结构教研室
系统可用性:正交RAID String Controller . . . String Controller Array Controller . . . 数据恢复组:数据冗余的单位 冗余支持部件:风扇、供电设施、控制器、电缆 端点到端点的数据完整性:具有内在奇偶保护的数据通路 北京大学计算机科学技术系 计算机系统结构教研室
系统级可用性 主机 主机 完全双冗余 I/O控制器 阵列控制器. . . 目标:无单失效点. . . 恢复组 . . . 北京大学计算机科学技术系 通过备份的通路,在没有失效时可以达到更高的性能 计算机系统结构教研室
Berkeley History: RAID-I <RAID-I (1989) =Consisted of a Sun 4/280 workstation with 128 MB of DRAM, four dual-string SCSI controllers, 28 5. 25 -inch SCSI disks and specialized disk striping software <Today RAID is $24 billion dollar industry, 80% non. PC disks sold in RAIDs 北京大学计算机科学技术系 计算机系统结构教研室
小结: RAID技术 Each disk is fully duplicated onto its "shadow" Logical write = two physical writes 100% capacity overhead • Parity Data Bandwidth Array (RAID 3) Parity computed horizontally Logically a single high data bw disk • High I/O Rate Parity Array (RAID 5) 1 0 0 1 1 • Disk Mirroring, Shadowing (RAID 1) 1 0 0 1 1 0 0 1 0 Interleaved parity blocks Independent reads and writes Logical write = 2 reads + 2 writes 北京大学计算机科学技术系 计算机系统结构教研室
磁盘I/O性能 300 度量: 响应时间 吞吐率 200 100 0 队列 处理器 响应时间(ms) 0% 100% 吞吐率 (总带宽百分比) I/O控制 设备 响应时间 = 排队 + 设备服务时间 北京大学计算机科学技术系 计算机系统结构教研室
响应时间 与 服务能力 <交互式环境 每次交互 或 事务处理(transaction)由 3 部分组成: =报交时间(Entry Time):用户输入命令的时间 =系统响应时间(System Response Time): 用户报交和系统应答之间的 时间 =思考时间(Think Time): 从系统应答到用户开始下一命令之间的时间 第一次事务 第二次事务 <当响应时间从1. 0秒减小到 0. 3秒后,事务处理时间会发生什么变 化? =键盘: 4. 0秒报交,9. 4秒思考 =图形: 0. 25秒报交,1. 6秒思考 北京大学计算机科学技术系 计算机系统结构教研室
响应时间 与 服务能力(绪) <响应时间减少 0. 7秒可以分别减少事务处理总时间 4. 9秒(34%)和2. 0 秒 (70%) => 提高服务能力 <另一方面的考虑:人们对于更快的响应都可以做更多的事,但是对 快速响应领域却比较陌生 = 对较慢的响应很在行 北京大学计算机科学技术系 计算机系统结构教研室
磁盘时间示例 <磁盘参数: =传输大小 为 8 K bytes =广告申称的平均寻道时间 为 12 ms =磁盘旋转速度 为 7200 RPM =传输速率 为 4 MB/sec <控制器开销 为 2 ms <假设磁盘空闲,因而没有排队延迟 <那么,对于一个扇区的平均磁盘访问时间为多少? =平均寻道 + 平均旋转延迟 + 传输时间 + 控制器开销 =12 ms + 0. 5/(7200 RPM/60) + 8 KB/4 MB/s + 2 ms =12 + 4. 15 + 2 = 20 ms <广告中的寻道时间假设没有位置问题:现实中,通常为广告寻道 时间的1/4至 1/3: 20 ms => 12 ms 北京大学计算机科学技术系 计算机系统结构教研室
处理器接口 < 处理器接口 = 中断 = 存储器映射I/O < I/O控制结构 = = = 轮询(Polling) 中断(Interrupts) 直接存储器访问(DMA) I/O控制器 I/O处理器 <容量、访问时间、带宽 < 互联 = 总线 北京大学计算机科学技术系 计算机系统结构教研室
I/O 接口 CPU Memory 存储器总线 独立I/O总线 Interface Peripheral 独立的I/O指令 (in, out) Peripheral I/O和存储器传输的联线不同 CPU 公共存储器 & I/O总线 Memory Interface Peripheral 北京大学计算机科学技术系 Interface Peripheral VME bus Multibus-II 40 Mbytes/sec (乐观) 10 MIPS 处理器 使该总线完全饱和! 计算机系统结构教研室
存储器映射 I/O CPU 单存储器&I/O总线 没有独立的I/O指令 ROM Memory Interface RAM CPU Peripheral $ I/O L 2 $ 存储器总线 Memory 北京大学计算机科学技术系 I/O 总线 Bus Adaptor 计算机系统结构教研室
可编程I/O (轮询) CPU 数据是否 准备好? no Memory IOC 若忙就循环等待 不能很有效地利用 除非设备非常快! yes 读数据 但需要不断检测 I/O device I/O 作可以分散到 计算代码之中 存数据 done? no yes 北京大学计算机科学技术系 计算机系统结构教研室
中断驱动数据传输 CPU add sub and or nop (1) I/O中断 Memory IOC device 用户程序 (2) 保存PC (3) 中断服务地址 用户程序仅在实际传输中才暂停 以每 1 ms一次的速率传输 1000次: 1000次中断(每 2微秒一次中断) 1000次中断服务(每次 98微秒) = 0. 1 CPU秒 (4) read store. . . rti 中断 服务 例程 存储器 设备传输率 = 10 MBytes/sec => 0. 1 x 10 -6 sec/byte => 0. 1 sec/byte => 1000 bytes = 100 sec 1000次传输 x 100 sec = 100 ms = 0. 1 CPU seconds 离设备传输率还有很大空间!中断开销的1/2 北京大学计算机科学技术系 计算机系统结构教研室
直接存储器访问 以每毫秒一次的速率完成 1000次传输的时间: 1 DMA建立时间 50 sec 1 次中断 2 sec CPU向DMAC发送开始地址、方向 ; 1 次中断服务 48 sec 然后,发射“开始”命令。 0. 0001 秒的CPU时间 0 CPU ROM 存储器映射 I/O Memory DMAC RAM IOC device Peripherals DMAC 向外设控制器提供握手信号, 向存储器提供存储地址和握手信号 北京大学计算机科学技术系 n DMAC 计算机系统结构教研室
输入/输出处理器 D 1 IOP CPU D 2 主存总线 . . . Mem I/O 总线 (1) CPU IOP (3) Dn (4) 向 IOP发射指令 (2) 完成后中断 存储器 设备 与 存储器之间的数据传送由IOP直接控制 IOP 偷取 存储器周期 北京大学计算机科学技术系 目标设备 命令在哪里 OP Device Address 在存储器中查找命令 OP Addr Cnt Other 做什么 数据放在哪里 多少 特殊请求 计算机系统结构教研室
与处理器体系结构的关系 <I/O 指令已经基本消失了 <中断向量 被 跳转表(jump tables)替代 PC <- M [ 中断向量地址 + 中断号 ] PC <- 中断向量地址 + 中断号 <中断: = 堆栈 被 窗口寄存器 所替代 = 中断处理程序保存寄存器,并且重新使能更高优 先级的中断的请求 = 中断类型的数量不断减少;中断处理程序必须询 问中断控制器 北京大学计算机科学技术系 计算机系统结构教研室
与处理器体系结构的关系(绪) < 提高处理器性能增设的cache对I/O提出新的问题 =冲洗CACHE非常费时,而I/O可能污染cache =可以从共享存储多处理器的“监听(snooping)”策略借鉴解决方 案 < 虚拟存储器 对 DMA 提出新问题 < 一些Load/store结构可能要求原子性操作 = 装入锁定(load locked)、条件存储(store conditional) < 处理器难以进行 上下文切换(context switch) 北京大学计算机科学技术系 计算机系统结构教研室
网络附属存贮 磁盘大小逐步缩小 14" 10" 8" 5. 25" 3. 5" 2. 5" 1. 8" 1. 3" . . . 基于磁盘阵列的高带宽磁盘系统 网络提供了更好的 物理和逻辑接口: 独立的CPU 和 存贮系统! 在高速网络上的 高性能 存贮服务 网络文件服务 支持远程文件访问的 操作系统 结构 3 Mb/s 10 Mb/s 50 Mb/s 100 Mb/s 1 Gb/s 10 Gb/s 网络的持续高带宽传输能力 网络带宽逐步增加 北京大学计算机科学技术系 计算机系统结构教研室
互联的发展趋势 <互联 = 计算机系统中部件间的连接 <高速硬件接口 + 逻辑协议 <网络、通道、底板 网络 通道 底板 距离 >1000 m 10 - 100 m 1 m 带宽 10 - 100 Mb/s 40 - 1000 Mb/s 320 - 1000+ Mb/s 延迟 high (>ms) medium low (<µs) low Extensive CRC medium Byte Parity high Byte Parity 可靠性 基于消息 通路窄 分布式仲裁 北京大学计算机科学技术系 存储器映射 通路宽 集中式仲裁 计算机系统结构教研室
底板的体系结构 差异在不断缩小: SCSI通道很像一条总线 Future. Bus很像通道 (断接/连接) HIPPI形成高速交换网的联路 北京大学计算机科学技术系 计算机系统结构教研室
基于总线的互联 <总线:子系统间的共享通信联路 =低成本:一组线路被多种需要而共享 =多功能性:易于增加新设备,甚至可以利用公共总线在多计算 机之间公用外设 <缺点 =通信瓶颈,可能会限制最大I/O吞吐率 <总线速度受限于一些物理因素 =总线长度 =设备的数量 (总线负载)。 =一些阻碍专用总线加速比的物理限制。 北京大学计算机科学技术系 计算机系统结构教研室
基于总线的互联(续) <两种基本总线类型: =I/O总线:很长、互联很多类型的设备、数据带宽的变化范 围大,并且遵从总线标准(有时,也被称为一个“通道( channel)”) =CPU的存储总线:高速、 与存储系统匹配以获得最大的存 储器-CPU带宽,单一设备(有时也称为“backplane”) =为降低成本,将低成本 (较旧的) 系统联接起来 <总线事务 =发送地址,并接收或发送数据 北京大学计算机科学技术系 计算机系统结构教研室
总线协议 主设备 从设备 控制线 地址线 数据线 Multibus: 20根地址线、16根数据线、5根控制线,50 ns暂停 总线主设备: 具有控制总线的能力,发起总线事务 总线从设备: 被总线事务激活的模块 总线通信协议:在传输信息中的事件序列的规范和定时需求规范。 异步总线传输:控制线(请求、应答)用于控制事件序列。 同步总线传输:事件序列与公共时钟相符 北京大学计算机科学技术系 计算机系统结构教研室
同步总线协议 时钟 地址 数据 读操作完成 等待 开始读操作 流水化/分离事务总线协议(Pipelined/Split transaction Bus Protocol) 地址 数据 等待 北京大学计算机科学技术系 addr 1 addr 2 data 0 wait 1 addr 3 data 1 data 2 OK 1 计算机系统结构教研室
异步握手 写事务 地址 主设备声明地址 数据 下一地址 主设备声明数据 读 请求 4 周期握手 应答 t 0 t 1 t 2 t 3 t 4 t 5 t 0 : 主设备获得控制权,声明地址、方向和数据 等待一定的事件,以便从设备来译码目标 t 1: 主设备占用请求线 t 2: 从设备发出应答,说明已接收到数据 t 3: 主设备释放请求线 t 4: 从设备释放应答线 北京大学计算机科学技术系 计算机系统结构教研室
读事务 地址 主设备声明地址 下一地址 数据 读 请求 4 周期握手 应答 t 0 t 1 t 2 t 3 t 4 t 5 t 0 : 主设备获得控制权,声明地址、方向和数据 等待一定的事件,以便从设备来译码目标 t 1: 主设备占用请求线 t 2: 从设备占用应答线,说明准备传输数据 t 3: 主设备释放请求线,数据接收 t 4: 从设备释放应答线 时间复用总线:地址和数据共享连线 北京大学计算机科学技术系 计算机系统结构教研室
总线仲裁 BR:总线请求(Bus Request) BG:总线授予(Bus Grant) 并行 (集中)仲裁 BR BG M M M 串行 (菊花链) BG BGi BGo M BR A. U. BR 轮询 A. U. BR A 北京大学计算机科学技术系 M BR A C BGi BGo M BR A C 计算机系统结构教研室
总线选项 选项 高性能 低成本 总线宽度 数据宽度 分离数据和地址线 越宽越快 (例如,32位) 多字传输的总线开销小 多(需要仲裁) 是 分离请求和应答信息包 具有高带宽 (需要多个主部件) 同步 复用地址和数据线 越窄越便宜 (例如,8位) 单字传输简单 一个(无需仲裁) 否 连续连接 便宜 具有低延迟 异步 传输大小 总线主设备 分离(split) 事务处理 时序 北京大学计算机科学技术系 计算机系统结构教研室
SCSI: Small Computer System Interface 5 MHz / 10 MHz (fast) / 20 MHz (ultra) <时钟频率: <宽度: n = 8位 / 16位 (宽); 多达(n -1)个设备可以在一 套总线上通信 <设备可以是从设备(目标)或 主设备(发起方) <SCSI协议: 控制器和SCSI磁盘进行特定动作的一系列状态(阶段) =总线空闲: 当前没有设备访问总线 =仲裁: 当SCSI总线空闲,多个设备可能发出总线请求;根据地址 分别具有固定的优先级 =选择: 通知目的方,它将参予(如果断连,需要重选) =命令: 发起方从主机存储器读取SCSI命令,并送到目的方 =数据传输: 数据输入或输出,开始方:目的方 =消息(信报)阶段: 消息输入 或 输出 发起方:目的方 (识别、存 储/恢复数据指针、断连、命令完成) =状态阶段(Status Phase): 目的方,命令刚完成后 北京大学计算机科学技术系 计算机系统结构教研室
并行I/O总线示例 北京大学计算机科学技术系 计算机系统结构教研室
串行I/O总线示例 北京大学计算机科学技术系 计算机系统结构教研室
SCSI “bus”: Channel Architecture 点到点协议 发起方/目的方 线性字节流 断连/重连 北京大学计算机科学技术系 计算机系统结构教研室
通信网络 性能受限于存储系统、操作系统开销 • 发送/接收 在处理器存储器中排队 • 网络控制器 通过DMA进行向前/向后 拷贝 • 无需要主机干涉 • 当消息发送或接收时,中断主机 北京大学计算机科学技术系 计算机系统结构教研室
I/O 控制器体系结构 Peripheral Bus (VME, Future. Bus, etc. ) Peripheral Bus Interface/DMA Host Memory Buffer Memory Processor Cache Host Processor µProc ROM I/O Channel Interface I/O Controller 请求/响应 阻塞接口(block interface) 访问主机存储器的后门 北京大学计算机科学技术系 计算机系统结构教研室
I/O 数据流 高性能的障碍:多拷贝、复杂层次 应用 地址空间 主处理器 存储器到存储器拷贝 操作系统缓冲器(>10 M字节) 外设总线上的DMA 缓冲器(1 M~4 M字节) I/O控制器 磁盘通道上的传输 Track缓冲器(32 K~256 K字节) 嵌入式控制器 串行接口上的传输 I/O设备 北京大学计算机科学技术系 磁头/磁盘 计算机系统结构教研室
Main components of Intel Chipset: Pentium 4 <Northbridge: =Handles memory =Graphics <Southbridge: I/O =PCI bus =Disk controllers =USB controllers =Audio =Serial I/O =Interrupt controller =Timers 北京大学计算机科学技术系 计算机系统结构教研室
abca4069873c20944cbcccbf46f59e89.ppt