SSIS系统的可靠性与可扩展性全解析
1. 利用错误流校正数据质量
使用错误流与主流来校正数据质量问题及相关错误,并非仅适用于明确实现错误输出的情况。我们可手动应用相同逻辑,主要借助条件拆分转换。具体操作如下:
- 执行简单测试,检测潜在问题。
- 将不同质量的行导向不同输出。当遇到高成本操作时,应确保尽量少的行经过此路径,让多数行通过成本更低、通常也更简单的路线到达目的地。
此外,不要因“错误输出”这个术语而却步,它并非要不惜一切代价避免的东西。组件开发者常利用丰富的底层管道架构,将错误输出作为指示给定行转换结果的简单方式,且它不会影响包的整体成功或失败状态。
2. SSIS系统的可扩展性特性
SSIS系统具备一些有助于扩展的特性,主要体现在以下两个重要架构特征上:
| 特性 | 描述 |
| ---- | ---- |
| 查找转换(Lookup Transformation) | 能够缓存数据,有多种配置优化选项。缓存数据源包括纯内存缓存和持久文件存储(持久缓存),需配置为使用全缓存选项。由缓存连接管理器管理这两种缓存选项。缓存操作有全缓存、部分缓存和无缓存三种模式。 |
| 数据管道(Data Pipeline) | 是数据处理引擎的核心,其架构能提供全多线程引擎以实现真正的并行处理,使大多数管道无需大量手动调整就能良好扩展。 |
2.1 查找转换的缓存特性
查找转换的缓存特性为数据处理提供了多种选择:
- 缓存模式 :
- 全缓存(Full) :查找
超级会员免费看
订阅专栏 解锁全文

5480

被折叠的 条评论
为什么被折叠?



