Hadoop生态系统将遥远存在。当作连年来最紧迫的大数据救助时期之一，况且预测畴前几年仍将络续发达紧迫作用，Hadoop如今已成为通用数据集成系统（如数据造谣化平台）的要津指标数据源之一。关系词，Hadoop不单是是一个数据库或一款软件。它是一个复杂的生态系统，由多种高度异构的软件组成，运行于散布式数据环境中——险些不错看作是一个孤独的操作系统。因此，将Hadoop当作数据源进行集成，带来了一系列其他系统所莫得的挑战。咱们不错从念念考将Hadoop当作数据源集成究竟意味着什么启动。

咱们不错通过界说一系列孤独的集成点来分析这个场景，将其分为两组：基本集成点和专科集成点。这些集成点将赋予数据造谣化平台使用Hadoop装配的特定部分当作孤独数据源的智商，每个部分具有我方的秉性和功能。

基本集成点

Hadoop中枢的两个最紧迫组件之一是Hadoop散布式文献系统（HDFS）。HDFS是一个孤独于主机操作系统的文献系统，其爱戴神态使得扫数存储在其中的文献王人被散布到Hadoop集群的不同节点上。HDFS关于数据造谣化（DV）平台极为紧迫，因为所少见据王人存储在这里，而这些数据可能被多样Hadoop救助的软件所使用。要是咱们奉行自界说的MapReduce任务，它们的罢了会输出到HDFS文献中；要是咱们使用Hive或HBase，它们的数据也会存储在HDFS中；要是咱们使用任何Hadoop剧本话语，操作的亦然HDFS文献。数据就存储在这里，咱们可能需要以某种神态看望它，就像咱们可能需要径直看望DV平台主机系统上土产货或汉典文献夹中的文献相似，无论这些文献的阵势或创建它们的软件是什么。

除了高唱行，HDFS还提供了一种二进制API库，不错匡助数据造谣化平台看望其中的数据。这个API救助文献系统中的不同类型的文献以及不错对它们奉行的操作。可是，它是一个二进制API，因此使用它时，咱们在软件和Hadoop的API之间成立了一个硬承接或依赖关系。当开采定制的里面处理决议时，这并不是什么大问题，但当创建通用的数据集成器用时，条款它们省略在多样不同的场景中开箱即用时，这就组成了一个紧迫挑战。此外，数据造谣化系统时常部署在汉典的Hadoop集群上，因此，好多时候，使用这些高性能二进制库的克己可能相较于使用更轨范的接口有所末端。

大多数Hadoop装配还允许通过REST API看望HDFS颠倒操作，主要通过两个接口：WebHDFS和HttpFS。它们之间存在一些主张上的各异（举例，WebHDFS会将客户端重定向到数据所在的特定节点，而HttpFS则不错当作单就业器代理），这可能使咱们根据特定场景的需求偏好其中一个。不外，时常情况下，它们是互操作的，提供了相等好的性能，最紧迫的是为外部/汉典数据集成软件（如DV）提供了一个基于HTTP公约的轨范、解耦的接口来看望数据。

因此，一朝文献系统的看望问题处理，接下来咱们可能需要的其他基本/中枢集成点是什么呢？安全性，诚然！

Hadoop中的安全性险些成为了一个孤独的行业。Hadoop系统中有好多不同的数据加密、身份考据和授权处理决议，这亦然必须的，因为咱们谈判的是保护多数可能明锐的数据以及处理这些数据的过程。多年来，各个企业级Hadoop刊行商王人为生态系统孝敬了我方的力量，安全性是改造（以及异构化）最为权贵的规模之一。

关系词，从数据造谣化平台的角度来看，集成Hadoop（或其部分）当作数据源时，咱们时常将Hadoop安全性视为外部/汉典客户端，因此，大多数加密和授权机制应该对咱们透明。这意味着咱们不错专注于身份考据，颠倒是专注于险些扫数Hadoop就业中最精深的身份考据机制：Kerberos。

通过成就一个密钥分发中心（KDC），Kerberos省略以鸠合神态保护Hadoop装配中的所灵验户密码，但这条款Hadoop客户端在身份考据过程中省略使用Kerberos公约，即获得并料理特定的身份考据笔据（票证），并将它们发送给Hadoop中的Kerberos化就业。这条款数据造谣化系统集成（或至少省略与之交互）Kerberos客户端软件，以便省略与Hadoop就业成立安全通讯通谈。

关于像WebHDFS和HttpFS这么的HTTP REST API，时常会提供一种名为Kerberos SPNEGO的特定机制，数据造谣化平台不错使用该机制看望这些就业。

图1：数据造谣化无需移动数据即可整合数据

通过HDFS和安全性，咱们还是涵盖了基本因素：咱们不错以安全的神态看望Hadoop装配中的数据。关系词，本色上，大多数Hadoop装配并不单是运行自界说开采的MapReduce任务，并将文献输出到HDFS。相背，更多复杂的Hadoop救助软件在Hadoop中枢上运行，省略更高效地进行数据存储、查询和分析，这些数据造谣化平台不错当作其数据源，而无谓径直看望HDFS。这便是咱们离开Hadoop中枢并启动究诘专科集成点的地点，也便是与运行在Hadoop系统上的特定数据就业的集成。

专科集成点

Hadoop是一个相等健康且裕如守望的生态系统，有多数不同的数据导向器用不错在Hadoop中枢上运行。从数据造谣化平台的角度来看，好多这些器用不错当作数据源，但它们的异质性使得每一个器用王人必须单独陆续。从数据铺张者的角度来看，莫得“与Hadoop集成”这一说法，只好“与Hadoop的X就业集成”这一说法。

让咱们简要驳斥两个最受迎接的Hadoop数据就业：Apache HBase和Apache Hive。

Apache HBase是一个运行在HDFS上的NoSQL数据存储。它的要津秉性是省略提供对存储在HDFS中的数据的赶紧及时看望（而HDFS自己无法提供这种看望）。它具有雷同于Google BigTable缠绵的键值数据存储体式，并根据具体的Hadoop刊行版提供多种看望神态，从二进制API库到REST接口等，采用不同的安全机制（主要基于Kerberos认证）。

从数据造谣化平台的角度来看，看望HBase时常意味着汉典看望。为此，REST API是一个精深的轨范且解耦的接纳，但出于性能或架构原因，咱们可能更倾向于接纳二进制API。在这种情况下，和径直看望HDFS相似，咱们将濒临将代码与这些二进制API的特定版块高度耦合的问题，因此咱们本色上是在以性能为代价，疏通了爱戴上的便利。需要郑重的是，HBase并不是一个关系型数据存储，因此它并莫得（径直）提供任何轨范的SQL接供词咱们通过轨范API（如JDBC或ODBC）汉典看望。

Apache Hive是一个针对大数据集的查询和分析器用。它运行在HDFS之上，并提供了雷同SQL的接口，相宜从数据造谣化平台进行简便查询。此外，Hive不仅不错径直对HDFS存储的数据集进行操作——本色上，它还不错诈欺现存的HBase基础设施，借助Hive弘大而天果真数据分析器用对已存储和/或处理的数据进行分析。数据造谣化平台不错通过轨范的JDBC或ODBC驱动阵势神圣看望Hive就业，通过Kerberos进行身份考据，并将来自Hadoop装配的数据险些与任何其他关系型数据库料理系统（DBMS）相似进行集成。

图2：数据造谣化完了数据编织架构

关系词，HBase和Hive只是两个（相等流行的）示例。不错当作数据造谣化数据源使用的Hadoop数据就业相等多，还有好多其他流行的软件包，如Apache Phoenix、Cloudera Impala、Pivotal HAWQ、MapR-DB等。在险些每种情况下，咱们王人会发现数据造谣化系统当作汉典客户端，使用二进制库、基于REST的API或SQL API（如JDBC）来检索数据，并使用Kerberos认证。每种接口的接纳将在每种情况下决定这些集成的可儿戴性、性能和开采责任量，最终将根据每种场景采用的设施和架构，匡助数据造谣化平台从Hadoop大数据系统中索求最大价值。

四大权贵上风

通过数据造谣化时期，企业省略更高效地诈欺Hadoop数据源，处理传统集成神态的瓶颈。以下是数据造谣化在Hadoop集成中的四大上风：

1. 高效的数据集成：普及整合成果50%

数据造谣化时期省略在不移动数据的情况下，将Hadoop中的数据与其他数据源进行整合。这种设施不仅幸免了数据复制和存储资本，还大大普及了数据看望成果。陆续标明，使用数据造谣化时期后，数据整合成果提高了50%。

2. 及时数据看望：加快决策过程30%

数据造谣化省略提供对Hadoop数据的及时看望，摒除了传统数据集成中需要恭候ETL过程完成的延长。这使得企业省略在数据生成的第一时期进行分析和决策，匡助公司加快了30%的决策经过。

3. 镌汰资本：简约40%的集成用度

通过造谣化，企业省略减少数据复制和物理存储的需求，同期镌汰了开采和爱戴资本。数据浮现，采用数据造谣化后，Hadoop与其他系统的集成资本镌汰了40%，况且集成过程中的复杂性大大减少。

4. 天真搪塞时期变革：无缝扩张

跟着大数据时期的遏抑发展，新的时期和器用指不胜屈。数据造谣化平台省略神圣妥贴这些变化，并为企业提供无缝的时期扩张智商。这意味着，企业不错跟着时期的发展天真地退换其数据架构，无需惦记系统的兼容性问题。

数据造谣化时期不仅处理了Hadoop生态系统中的集成挑战，还为企业提供了高效、低资本的数据整合决议。通过数据造谣化，企业省略快速、天真地看望和分析分辨在多个数据源中的数据，普及业务敏捷性和决策成果。

为了鼓动抓续的采用与改造，Denodo AI SDK颠倒示例聊天机器东谈主应用还是以Apache开源许可免费发布，且当作Denodo Express的免费版一部分进行分发。任何东谈主王人不错下载、检察和修改AI SDK的Python源码，快速锻练并评估端到端的GenAI应用，而无需支付前期资本。您不错向公众号发送“免费试用”万博manbext网页版登录app娱乐，获得 Denodo Express 以及 Denodo AI SDK 的免费下载承接。