etl数据仓库做什么任务

A. ETL的特色功能

ETL过程在很大程度上受企业对源数据的理解程度的影响，也就是说从业务的角度看数据集成非常重要。一个优秀的ETL设计应该具有如下功能： 合理的业务模型设计对ETL至关重要。数据仓库是企业唯一、真实、可靠的综合数据平台。数据仓库的设计建模一般都依照三范式、星型模型、雪花模型，无论哪种设计思想，都应该最大化地涵盖关键业务数据，把运营环境中杂乱无序的数据结构统一成为合理的、关联的、分析型的新结构，而ETL则会依照模型的定义去提取数据源，进行转换、清洗，并最终加载到目标数据仓库中。
模型的重要之处在于对数据做标准化定义，实现统一的编码、统一的分类和组织。标准化定义的内容包括：标准代码统一、业务术语统一。ETL依照模型进行初始加载、增量加载、缓慢增长维、慢速变化维、事实表加载等数据集成，并根据业务需求制定相应的加载策略、刷新策略、汇总策略、维护策略。 对业务数据本身及其运行环境的描述与定义的数据，称之为元数据（metadata）。元数据是描述数据的数据。从某种意义上说，业务数据主要用于支持业务系统应用的数据，而元数据则是企业信息门户、客户关系管理、数据仓库、决策支持和B2B等新型应用所不可或缺的内容。
元数据的典型表现为对象的描述，即对数据库、表、列、列属性（类型、格式、约束等）以及主键/外部键关联等等的描述。特别是现行应用的异构性与分布性越来越普遍的情况下，统一的元数据就愈发重要了。“信息孤岛”曾经是很多企业对其应用现状的一种抱怨和概括，而合理的元数据则会有效地描绘出信息的关联性。
而元数据对于ETL的集中表现为：定义数据源的位置及数据源的属性、确定从源数据到目标数据的对应规则、确定相关的业务逻辑、在数据实际加载前的其他必要的准备工作，等等，它一般贯穿整个数据仓库项目，而ETL的所有过程必须最大化地参照元数据，这样才能快速实现ETL。

B. etl是什么

对于做过 BI 开发的朋友，ETL 并不陌生，只要涉及到数据源的数据抽取、数据的计算和处理过程的开发，都是 ETL，ETL 就这三个阶段，Extraction 抽取，Transformation 转换，Loading 加载。

从不同数据源抽取数据 EXTRACTION ，按照一定的数据处理规则对数据进行加工和格式转换 TRASFORMATION，最后处理完成的输出到目标数据表中也有可能是文件等等，这个就是 LOADING。

再通俗一点讲，ETL 的过程就跟大家日常做菜一样，需要到菜市场的各个摊位买好菜，把菜买回来要摘一下，洗一洗，切一切最后下锅把菜炒好端到饭桌上。菜市场的各个摊位就是数据源，做好的菜就是最终的输出结果，中间的所有过程像摘菜、洗菜、切菜、做菜就是转换。

在开发的时候，大部分时候会通过 ETL 工具去实现，比如常用的像 KETTLE、PENTAHO、IBM DATASTAGE、INFORNAICA、微软 SQL SERVER 里面的 SSIS 等等，在结合基本的 SQL 来实现整个 ETL 过程。

也有的是自己通过程序开发，然后控制一些数据处理脚本跑批，基本上就是程序加 SQL 实现。

哪种方式更好，也是需要看使用场景和开发人员对那种方式使用的更加得心应手。我看大部分软件程序开发人员出身的，碰到数据类项目会比较喜欢用程序控制跑批，这是程序思维的自然延续。纯 BI 开发人员大部分自然就选择成熟的 ETL 工具来开发，当然也有一上来就写程序脚本的，这类 BI 开发人员的师傅基本上是程序人员转过来的。

用程序的好处就是适配性强，可扩展性强，可以集成或拆解到到任何的程序处理过程中，有的时候使用程序开发效率更高。难就难在对维护人员有一定的技术要求，经验转移和可复制性不够。

用 ETL 工具的好处，第一是整个 ETL 的开发过程可视化了，特别是在数据处理流程的分层设计中可以很清晰的管理。第二是链接到不同数据源的时候，各种数据源、数据库的链接协议已经内置了，直接配置就可以，不需要再去写程序去实现。第三是各种转换控件基本上拖拉拽就可以使用，起到简化的代替一部分 SQL 的开发，不需要写代码去实现。第四是可以非常灵活的设计各种 ETL 调度规则，高度配置化，这个也不需要写代码实现。

所以在大多数通用的项目中，在项目上使用 ETL 标准组件开发会比较多一些。

ETL 从逻辑上一般可以分为两层，控制流和数据流，这也是很多 ETL 工具设计的理念，不同的 ETL 工具可能叫法不同。

控制流就是控制每一个数据流与数据流处理的先后流程，一个控制流可以包含多个数据流。比如在数据仓库开发过程中，第一层的处理是ODS层或者Staging 层的开发，第二层是 DIMENSION维度层的开发，后面几层就是DW 事实层、DM数据集市层的开发。通过ETL的调度管理就可以让这几层串联起来形成一个完整的数据处理流程。

数据流就是具体的从源数据到目标数据表的数据转换过程，所以也有 ETL 工具把数据流叫做转换。在数据流的开发设计过程中主要就是三个环节，目标数据表的链接，这两个直接通过 ETL 控件配置就可以了。中间转换的环节，这个时候就可能有很多的选择了，调 SQL 语句、存储过程，或者还是使用 ETL 控件来实现。

有的项目上习惯使用 ETL 控件来实现数据流中的转换，也有的项目要求不使用标准的转换组件使用存储过程来调用。也有的是因为数据仓库本身这个数据库不支持存储过程就只能通过标准的SQL来实现。

我们通常讲的BI数据架构师其实指的就是ETL的架构设计，这是整个BI项目中非常核心的一层技术实现，数据处理、数据清洗和建模都是在ETL中去实现。一个好的ETL架构设计可以同时支撑上百个包就是控制流，每一个控制流下可能又有上百个数据流的处理过程。之前写过一篇技术文章，大家可以搜索下关键字 BIWORK ETL 应该在网上还能找到到这篇文章。这种框架设计不仅仅是ETL框架架构上的设计，还有很深的ETL项目管理和规范性控制器思想，包括后期的运维，基于BI的BI分析，ETL的性能调优都会在这些框架中得到体现。因为大的BI项目可能同时需要几十人来开发ETL，框架的顶层设计就很重要。

C. ETL工程师是做什么的

ETL工程师又叫数据库工程师。

ETL工程师的主要工作内容有：从事系统编程、数据库编程与设计。ETL是数据仓库中的非常重要的一环。它是承前启后的必要的一步。相对于关系数据库，数据仓库技术没有严格的数学理论基础，它更面向实际工程应用。

所以从工程应用的角度来考虑，按着物理数据模型的要求加载数据并对数据进行一些系列处理，处理过程与经验直接相关，同时这部分的工作直接关系数据仓库中数据的质量，从而影响到联机分析处理和数据挖掘的结果的质量。

职业前景

从业务角度讲，随着数据应用的日益丰富，不同平台、系统的相互大批量数据交互成常态，仅仅满足于采集数据已经不适应业务需要，还需要能够为数据的目的端落地提供支撑，ETL工程师需要一个端到端的更适应业务需要的数据交换系统。

从技术角度讲，ETL做一定的扩展可以升级为兼具交换能力，两者有传承，可以实现平滑过渡，但交换却要考虑用另一个工具实现，同时未来大数据平台组件将异常丰富，相互之间的数据交换将是常态，必要要有更高级别的交换工具满足这些需求。

D. ETL是什么意思

ETL是指获取原始大数据流，然后对其进行解析，并产生可用输出数据集的过程。

从数据源中提取（E）数据，然后经过各种聚合、函数、组合等转换（T），使其变为可用数据。最终，数据会被加载（L）到对它进行具体分析的环境中，这就是ETL流程。

全写是Extract-Transform-Load。

1、E：Extract数据抽取

2、T：Transform转换

3、L：Load装载

(4)etl数据仓库做什么任务扩展阅读：

作用

ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。

以电信为例，A系统按照统计代码管理数据，B系统按照账目数字管理，C系统按照语音ID管理，当ETL需要对这三个系统进行集成以获得对客户的全面视角时，这一过程需要复杂的匹配规则、名称/地址正常化与标准化，而ETL在处理过程中会定义一个关键数据标准，并在此基础上，制定相应的数据接口标准。

E. ETL究竟是什么呢

ETL 其实是在数据仓库的这领域，就单字面意思而已 就是一个对数据抽取、转换和加载的过程。用文字表示原理：源数据——转换——目标数据
如果不用ETL 则需要用程序去实现，如果是规模的的系统，代码实现是很繁重的，而且容易出错，不容易维护。所以就采用了ETL 这样可以保证数据的完整性和可拓展性

F. 深入探讨数据仓库建模与ETL的实践技巧[5]

ETL是数据抽取(Extract) 转换(Transform) 加载(Load )的简写 它是指 将OLTP系统中的数据抽取出来 并将不同数据源的数据进行转换和整合 得出一致性的数据 然后加载到数据仓库中 例如 下图就向我们展示了ETL的数据转换效果 (图七 pic bmp)

那么 在这一转换过程中 我们就完成了对数据格式的更正 对数据字段的合并 以及新增指标的计算三项操作 类似地 我们也可以根据其他需求 完善数据仓库中的数据

简而言之 通过ETL 我们可以基于源系统中的数据来生成数据仓库 ETL为我们搭建了OLTP系统和OLAP系统之间的桥梁

四 项目实践技巧

(一) 准备区的运用

在构建数据仓库时 如果数据源位于一台服务器上 数据仓库在另一台服务器端 考虑到数据源Server端访问频繁 并且数据量大 需要不断更新 所以可以建立准备区数据库(图八 pic bmp) 先将数据抽取到准备区中 然后基于准备区中的数据进行处理 这样处理的好处是防止了在原OLTP系统中频繁访问 进行数据运算或排序等操作

例如我们可以按照天将数据抽取到准备区中 基于数据准备区 我们将进行数据的转换 整合 将不同数据源的数据进行一致性处理 数据准备区中将存在原始抽取表 转换中间表和临时表以及ETL日志表等

(二) 时间戳的运用

时间维度对于某一事实主题来说十分重要 因为不同的时间有不同的统计数据信息 那么按照时间记录的信息将发挥很重要的作用 在ETL中 时间戳有其特殊的作用 在上面提到的缓慢变化维度中 我们可以使用时间戳标识维度成员;在记录数据库和数据仓库的操作时 我们也将使用时间戳标识信息 例如 在进行数据抽取时 我们将按照时间戳对OLTP系统中的数据进行抽取 比如在午夜 取前一天的数据 我们将按照OLTP系统中的时间戳取GETDATE到GETDATE减一天 这样得到前一天数据

G. 万字详解ETL和数仓建模

ETL是数据抽取（Extract）、转换（Transform）、加载（Load ）的简写，它是将OLTP系统中的数据经过抽取，并将不同数据源的数据进行转换、整合，得出一致性的数据，然后加载到数据仓库中。简而言之ETL是完成从 OLTP系统到OLAP系统的过程

数据仓库（Data Warehouse DW）是基于OLTP系统的数据源，为了便于多维分析和 多角度展现将其数据按特定的模式进行存储而建立的关系型数据库，它不同于多维数据库，数据仓库中的数据是细节的，集成的，数据仓库是面向主题的，是以 OLAP系统为分析目的。它包括星型架构与雪花型架构，其中星型架构中间为事实表，四周为维度表， 类似星星；雪花型架构中间为事实表，两边的维度表可以再有其关联子表，而在星型中只允许一张表作为维度表与事实表关联，雪花型一维度可以有多张表，而星型 不可以。考虑到效率时，星型聚合快，效率高，不过雪花型结构明确，便于与OLTP系统交互。在实际项目中，我们将综合运用星型架构与雪花型架构。

即 确定数据分析或前端展现的某一方面的分析主题，例如我们分析某年某月某一地区的啤酒销售情况，就是一个主题。主题要体现某一方面的各分析角度（维度）和统 计数值型数据（量度），确定主题时要综合考虑，一个主题在数据仓库中即为一个数据集市，数据集市体现了某一方面的信息，多个数据集市构成了数据仓库。

在 确定了主题以后，我们将考虑要分析的技术指标，诸如年销售额此类，一般为数值型数据，或者将该数据汇总，或者将该数据取次数，独立次数或取最大最小值 等，这样的数据称之为量度。量度是要统计的指标，必须事先选择恰当，基于不同的量度可以进行复杂关键性能指标（KPI）等的计算。

在 确定了量度之后我们要考虑到该量度的汇总情况和不同维度下量度的聚合情况，考虑到量度的聚合程度不同，我们将采用“最小粒度原则”，即将量度的粒度设置 到最小，例如我们将按照时间对销售额进行汇总，目前的数据最小记录到天，即数据库中记录了每天的交易额，那么我们不能在ETL时将数据进行按月或年汇总， 需要保持到天，以便于后续对天进行分析。而且我们不必担心数据量和数据没有提前汇总带来的问题，因为在后续的建立CUBE时已经将数据提前汇总了。

维 度是要分析的各个角度，例如我们希望按照时间，或者按照地区，或者按照产品进行分析，那么这里的时间、地区、产品就是相应的维度，基于不同的维度我们可 以看到各量度的汇总情况，我们可以基于所有的维度进行交叉分析。这里我们首先要确定维度的层次（Hierarchy）和级别（Level）（图 四：pic4.jpg），维度的层次是指该维度的所有级别，包括各级别的属性；维度的级别是指该维度下的成员，例如当建立地区维度时我们将地区维度作为一 个级别，层次为省、市、县三层，考虑到维度表要包含尽量多的信息，所以建立维度时要符合“矮胖原则”，即维度表要尽量宽，尽量包含所有的描述性信息，而不 是统计性的数据信息。

还有一种常见的情况，就是父子型维度，该维度一般用于非叶子节点含有成员等情况，例如公司员工 的维度，在统计员工的工资时，部 门主管的工资不能等于下属成员工资的简单相加，必须对该主管的工资单独统计，然后该主管部门的工资等于下属员工工资加部门主管的工资，那么在建立员工维度 时，我们需要将员工维度建立成父子型维度，这样在统计时，主管的工资会自动加上，避免了都是叶子节点才有数据的情况。

另外，在建立维度表时要充 分使用代理键，代理键是数值型的ID号码，好处是代理键唯一标识了每一维度成员信息，便于区分，更重要的是在聚合时由于数值型匹 配，JOIN效率高，便于聚合，而且代理键对缓慢变化维度有更重要的意义，它起到了标识 历史 数据与新数据的作用，在原数据主键相同的情况下，代理键起到了 对新数据与 历史 数据非常重要的标识作用。

有时我们也会遇到维度缓慢变化的情况，比如增加了新的产品，或者产品的ID号码修改了，或者产品增加了一个新的属性，此时某一维度的成员会随着新的数据的加入而增加新的维度成员，这样我们要考虑到缓慢变化维度的处理，对于缓慢变化维度，有三种情况：

在确定好事实数据和维度后，我们将考虑加载事实表。

在公司的大量数据堆积如山时，我们想看看里面究竟是什么，结果发现里面是一笔笔生产记录，一笔笔交易记录… 那么这些记录是我们将要建立的事实表的原始数据，即关于某一主题的事实记录表。

我 们的做法是将原始表与维度表进行关联，生成事实表（图六：pic6.jpg）。注意在关联时有为空的数据时（数据源脏），需要使用外连接，连接后我们将 各维度的代理键取出放于事实表中，事实表除了各维度代理键外，还有各量度数据，这将来自原始表，事实表中将存在维度代理键和各量度，而不应该存在描述性信 息，即符合“瘦高原则”，即要求事实表数据条数尽量多（粒度最小），而描述性信息尽量少。

如果考虑到扩展，可以将事实表加一唯一标识列，以为了以后扩展将该事实作为雪花型维度，不过不需要时一般建议不用这样做。

事 实数据表是数据仓库的核心，需要精心维护，在JOIN后将得到事实数据表，一般记录条数都比较大，我们需要为其设置复合主键和索引，以为了数据的完整性和 基于数据仓库的查询性能优化，事实数据表与维度表一起放于数据仓库中，如果前端需要连接数据仓库进行查询，我们还需要建立一些相关的中间汇总表或物化视图，以方便查询。

在构建数据仓库时，如果数据源位于一服务器上，数据仓库在另一 服务器端，考虑到数据源Server端访问频繁，并且数据量大，需要不断更新，所以可以建立准备区数据库（图七：pic7.jpg）。先将数据抽取到准备 区中，然后基于准备区中的数据进行处理，这样处理的好处是防止了在原OLTP系统中中频繁访问，进行数据运算或排序等操作。例如我们可以按照天将数据抽取 到准备区中，基于数据准备区，我们将进行数据的转换，整合，将不同数据源的数据进行一致性处理。数据准备区中将存在原始抽取表，一些转换中间表和临时表以 及ETL日志表等。

时间维度对于某一事实主题来说十分重要，因为不同的时间有不同的统计数据信息，那么按照时间记录 的信息将发挥很重要的作用。在ETL中，时间戳有其特殊的 作用，在上面提到的缓慢变化维度中，我们可以使用时间戳标识维度成员；在记录数据库和数据仓库的操作时，我们也将使用时间戳标识信息，例如在进行数据抽取 时，我们将按照时间戳对OLTP系统中的数据进行抽取，比如在午夜0：00取前一天的数据，我们将按照OLTP系统中的时间戳取GETDATE到 GETDATE减一天，这样得到前一天数据。

在对数据进行处理时，难免会发生数据处理错误，产生出错信息，那么我们 如何获得出错信息并及时修正呢? 方法是我们使用一张或多张Log日志表，将出错信息记录下来，在日志表中我们将记录每次抽取的条数，处理成功的条数，处理失败的条数，处理失败的数据，处 理时间等等，这样当数据发生错误时，我们很容易发现问题所在，然后对出错的数据进行修正或重新处理。

在对数据仓库进行 增量更新时必须使用调度（图八：pic8.jpg），即对事实数据表进行增量更新处理，在使用调度前要考虑到事实数据量，需要多长时间更 新一次，比如希望按天进行查看，那么我们最好按天进行抽取，如果数据量不大，可以按照月或半年对数据进行更新，如果有缓慢变化维度情况，调度时需要考虑到 维度表更新情况，在更新事实数据表之前要先更新维度表。

调度是数据仓库的关键环节，要考虑缜密，在ETL的流程搭建好后，要定期对其运行，所以 调度是执行ETL流程的关键步骤，每一次调度除了写入Log日志表 的数据处理信息外，还要使用发送Email或报警信息等，这样也方便的技术人员对ETL流程的把握，增强了安全性和数据处理的准确性。

ETL构建数据仓库需要简单的五步，掌握了这五步的方法我们将构建一个强大的数据仓库，不过每一步都有很深的需要研究与挖掘，尤其在实际项目中，我们要综合考虑，例如如果数据源的脏数据很多，在搭建数据仓库之前我们首先要进行数据清洗，以剔除掉不需要的信息和脏数据。

总之，ETL是数据仓库的核心，掌握了ETL构建数据仓库的五步法，就掌握了搭建数据仓库的根本方法。不过，我们不能教条，基于不同的项目，我们还将要进行 具体分析，如父子型维度和缓慢变化维度的运用等。在数据仓库构建中，ETL关系到整个项目的数据质量，所以马虎不得，必须将其摆到重要位置，将ETL这一 大厦根基筑牢。

如果ETL和SQL来说，肯定是SQL效率高的多。但是双方各有优势，先说ETL，ETL主要面向的是建立数据仓库来使用的。ETL更偏向数据清洗，多数据源数据整合，获取增量，转换加载到数据仓库所使用的工具。比如我有两个数据源，一个是数据库的表，另外一个是excel数据，而我需要合并这两个数据，通常这种东西在SQL语句中比较难实现。但是ETL却有很多现成的组件和驱动，几个组件就搞定了。还有比如跨服务器，并且服务器之间不能建立连接的数据源，比如我们公司系统分为一期和二期，存放的数据库是不同的，数据结构也不相同，数据库之间也不能建立连接，这种情况下，ETL就显得尤为重要和突出。通过固定的抽取，转换，加载到数据仓库中，即可很容易实现。

那么SQL呢？SQL事实上只是固定的脚本语言，但是执行效率高，速度快。不过灵活性不高，很难跨服务器整合数据。所以SQL更适合在固定数据库中执行大范围的查询和数据更改，由于脚本语言可以随便编写，所以在固定数据库中能够实现的功能就相当强大，不像ETL中功能只能受组件限制，组件有什么功能，才能实现什么功能。

所以具体我们在什么时候使用ETL和SQL就很明显了，当我们需要多数据源整合建立数据仓库，并进行数据分析的时候，我们使用ETL。如果是固定单一数据库的数据层次处理，我们就使用SQL。当然，ETL也是离不开SQL的。

主要有三大主流工具，分别是Ascential公司的Datastage、Informatica公司的Powercenter、NCR Teradata公司的ETL Automation.还有其他开源工具，如PDI(Kettle)等。

DW系统以事实发生数据为基础，自产数据较少。

一个企业往往包含多个业务系统，均可能成为DW数据源。

业务系统数据质量良莠不齐，必须学会去伪存真。

业务系统数据纷繁复杂，要整合进数据模型。

源数据之间关系也纷繁复杂，源数据在加工进DW系统时，有些必须遵照一定的先后次序关系;

流水事件表：此类源表用于记录交易等动作的发生，在源系统中会新增、大部分不会修改和删除，少量表存在删除情况。如定期存款登记簿;

常规状态表：此类源表用于记录数据信息的状态。在源系统中会新增、修改，也存在删除的情况。如客户信息表;

代码参数表：此类源表用于记录源系统中使用到的数据代码和参数;

数据文件大多数以1天为固定的周期从源系统加载到数据仓库。数据文件包含增量，全量以及待删除的增量。

增量数据文件：数据文件的内容为数据表的增量信息，包含表内新增及修改的记录。

全量数据文件：数据文件的内容为数据表的全量信息，包含表内的所有数据。

带删除的增量：数据文件的内容为数据表的增量信息，包含表内新增、修改及删除的记录，通常删除的记录以字段DEL_IND='D'标识该记录。

可划分为： 历史 拉链算法、追加算法(事件表)、Upsert算法(主表)及全删全加算法(参数表);

历史 拉链：根据业务分析要求，对数据变化都要记录，需要基于日期的连续 历史 轨迹;

追加(事件表)：根据业务分析要求，对数据变化都要记录，不需要基于日期的连续 历史 轨迹;

Upsert(主表)：根据业务分析要求，对数据变化不需要都要记录，当前数据对 历史 数据有影响;

全删全加算法(参数表)：根据业务分析要求，对数据变化不需要都要记录，当前数据对 历史 数据无影响;

所谓拉链，就是记录 历史 ，记录一个事务从开始，一直到当前状态的所有变化信息(参数新增开始结束日期);

一般用于事件表，事件之间相对独立，不存在对 历史 信息进行更新;

是update和insert组合体，一般用于对 历史 信息变化不需要进行跟踪保留、只需其最新状态且数据量有一定规模的表，如客户资料表;

一般用于数据量不大的参数表，把 历史 数据全部删除，然后重新全量加载;

历史 拉链，Upsert,Append,全删全加;加载性能：全删全加，Append，Upsert， 历史 拉链;

APPEND算法，常规拉链算法，全量带删除拉链算法;

APPEND算法，MERGE算法，常规拉链算法，基于增量数据的删除拉链算法，基于全量数据的删除拉链算法，经济型常规拉链算法，经济型基于增量数据的删除拉链算法，经济型基于全量数据的删除拉链算法，PK_NOT_IN_APPEND算法，源日期字段自拉链算法;

此算法通常用于流水事件表，适合这类算法的源表在源系统中不会更新和删除，而只会发生一笔添加一笔，所以只需每天将交易日期为当日最新数据取过来直接附加到目标表即可，此类表在近源模型层的字段与技术缓冲层、源系统表基本上完全一致，不会额外增加物理化处理字段，使用时也与源系统表的查询方式相同;

此算法通常用于无删除操作的常规状态表，适合这类算法的源表在源系统中会新增、修改，但不删除，所以需每天获取当日末最新数据(增量或全增量均可)，先找出真正的增量数据(新增和修改)，用它们将目标表中属性发生修改的开链数据(有效数据)进行关链操作(即END_DT关闭到当前业务日期)，然后再将最新的增量数据作为开链数据插入到目标表即可。

此类表再近源模型层比技术缓冲层、源系统的相应表额外增加两个物理化处理字段START_DT(开始日期)和END_DT(结束日期)，使用时需要先选定视觉日期，通过START_DT和END_DT去卡视觉日期，即START_DT'视觉日期';

此算法通常用于有删除操作的常规状态类表，并且要求全量的数据文件，用以对比出删除增量;适合这类算法的源表在源系统中会新增，修改，删除，每天将当日末最新全量数据取过来外，分别找出真正的增量数据(新增，修改)和删除增量数据，用它们将目标表中属性发生修改的开链数据(有效数据)进行关链操作(即END_DT关闭到当前业务日期)，然后再将最新增量数据中真正的增量及删除数据作为开链数据插入到目标表即可，注意删除记录的删除标志DEL_IND会设置为‘D’;

此类表在近源模型层比技术缓冲层，源系统的相应表额外增加三个物理化处理字段START_DT(开始日期)，ENT_DT(结束日期)，DEL_IND(删除标准)。使用方式分两类：一时一般查询使用，此时需要先选定视角日期，通过START_DT和END_DT去卡视角日期，即START_DT‘视角日期’，同时加上条件DEL_IND 'D';另一种是下载或获取当日增量数据，此时就是需要START_DT'视角日期' 一个条件即可，不需要加DEL_IND 'D'的条件。

此算法通常用于流水事件表，适合这类算法的源表在源系统中不会更新和删除，而只会发生一笔添加一笔，所以只需每天将交易日期为当日的最新数据取过来直接附加到目标表即可;

通常建一张名为VT_NEW_编号的临时表，用于将各组当日最新数据转换加到VT_NEW_编号后，再一次附加到最终目标表;

此算法通常用于无删除操作的常规状态表，一般是无需保留 历史 而只保留当前最新状态的表，适合这类算法的源表在源系统中会新增，修改，但不删除，所以需获取当日末最新数据(增量或全量均可)，用于MERGE IN或UPSERT目标表;为了效率及识别真正增量的要求，通常先识别出真正的增量数据(新增及修改数据)，然后再用这些真正的增量数据向目标表进行MERGE INTO操作;

通常建两张临时表，一个名为VT_NEW_编号，用于将各组当日最新数据转换加到VT_NEW_编号;另一张名为VT_INC_编号，将VT_NEW_编号与目标表中昨日的数据进行对比后找出真正的增量数据(新增和修改)放入VT_INC_编号，然后再用VT_INC_编号对最终目标表进行MERGE INTO或UPSERT。

此算法通常用于无删除操作的常规状态表，适合这类算法的源表在源系统中会新增、修改，但不删除，所以需每天获取当日末最新数据(增量或全增量均可)，先找出真正的增量数据(新增和修改)，用它们将目标表中属性发生修改的开链数据(有效数据)进行关链操作(即END_DT关闭到当前业务日期)，然后再将最新增量数据作为开链数据插入到目标表即可;

通常建两张临时表，一个名为VT_NEW_编号，用于将各组当日最新数据转换加到VT_NEW_编号;另一张名为VT_INC_编号，将VT_NEW_编号与目标表中昨日的数据进行对比后找出真正的增量数据(新增和修改)放入VT_INC_编号，然后再将最终目标表的开链数据中的PK出现在VT_INT_编号中进行关链处理，然后将VT_INC_编号中的所有数据作为开链数据插入最终目标表即可。

此算法通常用于有删除操作的常规状态表，并且要求删除数据是以DEL_IND='D'删除增量的形式提供;适合这类算法的源表再源系统中会新增、修改、删除，除每天获取当日末最新数据(增量或全量均可)外，还要获取当日删除的数据，根据找出的真正增量数据(新增和修改)以及删除增量数据，用它们将目标表中属性发生修改的开链数据(有效数据)进行关链操作(即END_DT关闭到当前业务时间)，然后再将增量(不含删除数据)作为开链数据插入到目标表中即可;

通常建三张临时表，一个名为VT_NEW_编号，用于将各组当日最新数据 (不含删除数据)转换加载到VT_NEW_编号;第二张表名为VT_INC_编号，用VT_NEW_编号与目标表中的昨日的数据进行对比后找出真正的增量数据放入VT_INC_编号;第三张表名为VT_DEL_编号，将删除增量数据转换加载到VT_DEL_编号;最后再将最终目标表的开链数据中PK出现在VT_INC_编号或VT_DEL_编号中的进行关链处理，最后将VT_INC_编号中的所有数据作为开链数据插入最终目标表即可;

此算法通常用于有删除操作的常规状态表，并且要求提供全量数据，用以对比出删除增量;适合这类算法的源表在源系统中会新增、修改、每天将当日末的最新全量数据取过来外，分别找出真正的增量数据(新增、修改)和删除增量数据，用它们将目标表中属性发生修改的开链数据(有效记录)进行关链操作(即END_DT关闭到当前业务时间)，然后再将最新数据中真正的增量数据(不含删除数据)作为开链数据插入到目标表即可;

通常建两张临时表，一个名为VT_NEW_编号，用于将各组当日最新全量数据转换到VT_NEW_编号;另一张表名为VT_INC_编号,将VT_NEW_编号与目标表中昨日的数据进行对比后找出真正的增量数据(新增、修改)和删除增量数据放入VT_INC_编号，注意将其中的删除增量数据的END_DT置以最小日期(借用);最后再将最终目标表的开链数据中PK出现再VT_INC_编号或VT_DEL_编号中的进行关链处理，然后将VT_INC_编号中所有的END_DT不等于最小日期数据(非删除数据)作为开链数据插入最终目标表即可;

此算法基本等同与常规拉算法，只是在最后一步只将属性非空即非0的记录才作为开链数据插入目标表;

此算法基本等同于基于增量数据删除拉链算法，只是在最后一步只将属性非空及非0的记录才作为开链数据插入目标表;

此算法基本等同于基于全量数据删除拉链算法，只是在最后一步只将属性非空及非0的记录才作为开链数据插入目标表;

此算法是对每一组只将PK在当前VT_NEW_编号表中未出现的数据再插入VT_NEW_编号表，最后再将PK未出现在目标表中的数据插入目标表，以保证只进那些PK未进过的数据;

此算法是源表中有日期字段标识当前记录的生效日期，本算法通过对同主键记录按这个生效日期排序后，一次首尾相连行形成一条自然拉链的算法

H. etl工程师是做什么的工作内容是什么

etl工程师是从事系统编程、数据库编程与设计，要掌握各种常用的编程语言的专业技术人员。也叫数据库工程师。x0dx0a工作内容：x0dx0a见岗位职责：x0dx0a 1. 海量数据的ETL开发，抽取成各种数据需求。x0dx0a 2. 参与数据仓库架构的设计及开发 。x0dx0a3. 参与数据仓库ETL流程优化及解决ETL相关技术问题。x0dx0a4、熟悉主流数据库技术，如oracle、Sql server、PostgeSQL等。x0dx0a 4、精通etl架构，有一定的etl开发经验，了解日常作业的部署和调度。x0dx0a 5、会数据etl开发工具，如Datastage,Congos,Kettle等。

I. etl是什么

ETL全称Extract & Transformation & Loading，即数据抽取，转换，加载。是建立数据仓库的一个必备过程

J. 数据仓库ETL

当然是做数据仓库ETL有前途，毫无可比性，数据仓库工资开的不低哦，你见过java有多少开到月薪10000以上的？

java起点低，找个培训班培训几个月就可以开发了

数据仓库没几年积累，搞不出什么成果

我本人就是搞数据仓库和数据挖掘的，要知道以后的大数据的天下，数据仓库的建立需要的知识量很大很大，你的路还很远

淘宝阿里腾讯和 华为都在做数据仓库和数据挖掘，都有对应的商务智能项目。

给你传一个我当初学习的书籍，非常的不错，我也希望自己多一个同行，一起讨论