{"id":88,"date":"2015-02-05T14:56:49","date_gmt":"2015-02-05T12:56:49","guid":{"rendered":"http:\/\/flexray.pl\/?p=88"},"modified":"2015-10-04T15:47:14","modified_gmt":"2015-10-04T13:47:14","slug":"nowosci-hdp-2-2","status":"publish","type":"post","link":"http:\/\/flexray.pl\/nowosci-hdp-2-2\/","title":{"rendered":"Nowo\u015bci HDP 2.2"},"content":{"rendered":"<p>Wersja 2.2 pakietu <strong>Hortonworks Data Platform<\/strong> (HDP) zawiera tysi\u0105ce ma\u0142ych poprawek oraz nowych funkcjonalno\u015bci, pocz\u0105wszy od dost\u0119pu do danych przez bezpiecze\u0144stwo \u015brodowiska a\u017c po warstw\u0119 zarz\u0105dzania oraz systemu uaktualnie\u0144. Z ka\u017cd\u0105 wersj\u0105 staje si\u0119 on \u0142atwiejszy do wdro\u017cenia w przedsi\u0119biorstwie jako kluczowy element nowoczesnej architektury danych (Modern Data Architecture).<\/p>\n<p><!--more-->Wewn\u0105trz pakietu znajdziemy najnowsze innowacje ze stajni <a href=\"http:\/\/www.apache.org\/\">Apache Software Foundation<\/a>, przygotowuj\u0105cej ca\u0142y ekosystem wog\u00f3\u0142 <strong>Apache Hadoop<\/strong>.<\/p>\n<p>Poni\u017cej zamie\u015bci\u0142em schemat podzia\u0142u architektury i aplikacji rozwi\u0105zania <strong>HDP<\/strong> pomi\u0119dzy takie warstwy jak:<\/p>\n<h4 id=\"zarzdzanie-i-integracja\">Zarz\u0105dzanie i integracja<\/h4>\n<ul>\n<li><a href=\"http:\/\/falcon.apache.org\/\">Apache Falcon<\/a> &#8211; Data management and processing platform<\/li>\n<li><a href=\"http:\/\/hadoop.apache.org\/docs\/r2.6.0\/hadoop-project-dist\/hadoop-hdfs\/WebHDFS.html\">Hadoop WebHDFS<\/a> &#8211; WebHDFS REST API<\/li>\n<li><a href=\"http:\/\/hadoop.apache.org\/docs\/r2.6.0\/hadoop-project-dist\/hadoop-hdfs\/HdfsNfsGateway.html\">HDFS NFS Gateway<\/a> &#8211; Hadoop HDFS NFS Gateway<\/li>\n<li><a href=\"http:\/\/flume.apache.org\/\">Apache Flume<\/a> &#8211; Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data<\/li>\n<li><a href=\"http:\/\/sqoop.apache.org\/\">Apache Sqoop<\/a> &#8211; Apache Sqoop(TM) is a tool designed for efficiently transferring bulk data between Apache Hadoop and structured datastores such as relational databases<\/li>\n<\/ul>\n<h4 id=\"dostp-do-danych\">Dost\u0119p do danych<\/h4>\n<ul>\n<li><a href=\"http:\/\/pig.apache.org\/\">Apache Pig<\/a> &#8211; Scripting<\/li>\n<li><a href=\"https:\/\/hive.apache.org\/\">Apache Hive<\/a> &#8211; SQL<\/li>\n<li><a href=\"https:\/\/cwiki.apache.org\/confluence\/display\/Hive\/HCatalog\">Apache HCatalog<\/a> &#8211; SQL<\/li>\n<li><a href=\"http:\/\/hbase.apache.org\/\">Apache HBase<\/a> &#8211; NoSQL<\/li>\n<li><a href=\"https:\/\/accumulo.apache.org\/\">Apache Accumulo<\/a> &#8211; NoSQL<\/li>\n<li><a href=\"https:\/\/storm.apache.org\/\">Apache Storm<\/a> &#8211; Streaming, Realtime Proecssing<\/li>\n<li><a href=\"http:\/\/lucene.apache.org\/solr\/\">Apache Lucene\/Solr<\/a> &#8211; Search<\/li>\n<li><a href=\"https:\/\/spark.apache.org\/\">Apache Spark<\/a> &#8211; In-Memory processing<\/li>\n<li><a href=\"http:\/\/hortonworks.com\/blog\/yarn-ready-accelerating-adoption-enterprise-hadoop\/\">YARN Ready<\/a> &#8211; YARN ready apps<\/li>\n<\/ul>\n<h4 id=\"zarzdzanie-danymi\">Zarz\u0105dzanie danymi<\/h4>\n<ul>\n<li><a href=\"http:\/\/hadoop.apache.org\/docs\/current\/hadoop-project-dist\/hadoop-hdfs\/HdfsUserGuide.html\">Hadoop HDFS<\/a> &#8211; HDFS<\/li>\n<\/ul>\n<h4 id=\"bezpieczestwo-autentykacja-autoryzacja-audyt-i-ochrona-danych\">Bezpiecze\u0144stwo (autentykacja, autoryzacja, audyt i ochrona danych)<\/h4>\n<ul>\n<li><strong>Storage<\/strong> \u2013 <a href=\"http:\/\/hadoop.apache.org\/docs\/current\/hadoop-project-dist\/hadoop-hdfs\/HdfsUserGuide.html\">Hadoop HDFS<\/a><\/li>\n<li><strong>Resources<\/strong> \u2013 <a href=\"http:\/\/hadoop.apache.org\/docs\/current\/hadoop-yarn\/hadoop-yarn-site\/YARN.html\">Hadoop YARN<\/a><\/li>\n<li><strong>Access<\/strong> \u2013 <a href=\"https:\/\/hive.apache.org\/\">Apache Hive<\/a><\/li>\n<li><strong>Pipeline<\/strong> \u2013 <a href=\"http:\/\/falcon.apache.org\/\">Apache Falcon<\/a><\/li>\n<li><strong>Cluster<\/strong> &#8211; <a href=\"https:\/\/knox.apache.org\/\">Apache Knox<\/a><\/li>\n<\/ul>\n<h4 id=\"utrzymanie\">Utrzymanie.<\/h4>\n<ul>\n<li><strong>Provision, manage &amp; monitor<\/strong> \u2013 <a href=\"http:\/\/ambari.apache.org\/\">Apache Ambari<\/a>, <a href=\"http:\/\/zookeeper.apache.org\/\">Apache Zookeeper<\/a><\/li>\n<li><strong>Scheduling<\/strong> \u2013 <a href=\"http:\/\/oozie.apache.org\/\">Apache Oozie<\/a><\/li>\n<\/ul>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"alignnone wp-image-91 size-full\" src=\"http:\/\/flexray.pl\/wp-content\/uploads\/2015\/09\/HDP_22_Stos.png\" alt=\"HDP_22_Stos\" width=\"2252\" height=\"736\" srcset=\"http:\/\/flexray.pl\/wp-content\/uploads\/2015\/09\/HDP_22_Stos.png 2252w, http:\/\/flexray.pl\/wp-content\/uploads\/2015\/09\/HDP_22_Stos-300x98.png 300w, http:\/\/flexray.pl\/wp-content\/uploads\/2015\/09\/HDP_22_Stos-1024x335.png 1024w, http:\/\/flexray.pl\/wp-content\/uploads\/2015\/09\/HDP_22_Stos-624x204.png 624w\" sizes=\"(max-width: 2252px) 100vw, 2252px\" \/>Poni\u017csza rycina obrazuje ewolucj\u0119 platformy w przeci\u0105gu ostatnich 2 lat z jednoczesnym rozwojem poszczeg\u00f3lnych projekt\u00f3w <strong>Apache Software Foundation<\/strong>. Wiele firm skupia\u0142o si\u0119 na konkretnych wersjach projekt\u00f3w, tworz\u0105c ich w\u0142asne produkty pochodne, oddalaj\u0105c si\u0119 od pracy na najnowszych wersjach i utrudniaj\u0105c sobie drog\u0119 do aktualizacji. <strong>HDP<\/strong> postawi\u0142o na mo\u017cliwie najnowsze oprogramowanie, daj\u0105c du\u017c\u0105 przewag\u0119 zar\u00f3wno technologiczn\u0105 jak i wydajno\u015bciow\u0105.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter wp-image-92 size-full\" src=\"http:\/\/flexray.pl\/wp-content\/uploads\/2015\/09\/HDP_Ewolucja.png\" alt=\"Nowo\u015bci HDP 2.2\" width=\"1024\" height=\"428\" srcset=\"http:\/\/flexray.pl\/wp-content\/uploads\/2015\/09\/HDP_Ewolucja.png 1024w, http:\/\/flexray.pl\/wp-content\/uploads\/2015\/09\/HDP_Ewolucja-300x125.png 300w, http:\/\/flexray.pl\/wp-content\/uploads\/2015\/09\/HDP_Ewolucja-624x261.png 624w\" sizes=\"(max-width: 1024px) 100vw, 1024px\" \/><\/p>\n<h3 id=\"yarn-w-hdp-22\">YARN w HDP 2.2<\/h3>\n<p>Dzi\u0119ki znacznym zmianom w <a href=\"http:\/\/hadoop.apache.org\/docs\/current\/hadoop-yarn\/hadoop-yarn-site\/YARN.html\">YARN<\/a>, otworzy\u0142y si\u0119 nowe mo\u017cliwo\u015bci dla silnik\u00f3w aplikacji pracuj\u0105cych w ekosystemie Hadoop, traktuj\u0105c go jako efektywne repozytorium danych dost\u0119pnych na wiele r\u00f3\u017cnych sposob\u00f3w. Kolejn\u0105 wa\u017cn\u0105 zmian\u0105 jest umo\u017cliwienie uruchamiania zada\u0144 o charakterze d\u0142ugiego cyklu \u017cycia poprzez zmiany w systemie zarz\u0105dzania zasobami, wysokiej dost\u0119pno\u015bci, zarz\u0105dzania zdarzeniami i zabezpiecze\u0144. U\u017cytkownik mo\u017ce dzi\u0119ki temu wykorzystywa\u0107 takie zadania podobnie jak zadania charakteryzuj\u0105ce si\u0119 kr\u00f3tkim cyklem \u017cycia. Hortonworks do\u0142\u0105czy\u0142 do spo\u0142eczno\u015bci Apache Slider, projektu b\u0119d\u0105cego frameworkiem YARN dla Hadoop, daj\u0105cy mo\u017cliwo\u015b\u0107 uruchamiania istniej\u0105cych rozproszonych aplikacji na YARN bez najmniejszych zmian w kodzie, dostarczaj\u0105c jedynie specyfikacj\u0119 w jaki spos\u00f3b aplikacja powinna zosta\u0107 uruchomiona.<br \/>\nOd wersji 2.2 YARN mo\u017ce zarz\u0105dza\u0107 zar\u00f3wno zasobami pami\u0119ci RAM jak i procesora, daj\u0105c wi\u0119ksz\u0105 elastyczno\u015b\u0107 w rozk\u0142adaniu obci\u0105\u017cenia pomi\u0119dzy w\u0119z\u0142ami klastra oraz lepsze harmonogramowanie.<\/p>\n<h3 id=\"enterprise-sql-w-hadoop\">Enterprise SQL w Hadoop<\/h3>\n<p>O ile YARN pozwoli\u0142 na uruchamianie nowych silnik\u00f3w na platformie Hadoop, nadal najbardziej popularnym punktem integracji pozostaje SQL wraz z produktem Apache Hive jako standard. W wydaniu 2.2 uda\u0142o si\u0119 wej\u015b\u0107 w pierwsz\u0105 faz\u0119 inicjatywy <a href=\"http:\/\/hortonworks.com\/labs\/stinger\/\">Stinger.next<\/a>, d\u0105\u017c\u0105c\u0105 do poprawy pr\u0119dko\u015bci, skali i sk\u0142adni <strong>SQL<\/strong>, staj\u0105c si\u0119 w pe\u0142ni interaktywnym systemem zapyta\u0144.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter size-full wp-image-93\" src=\"http:\/\/flexray.pl\/wp-content\/uploads\/2015\/09\/Stinger.next_.png\" alt=\"Stinger.next\" width=\"707\" height=\"279\" srcset=\"http:\/\/flexray.pl\/wp-content\/uploads\/2015\/09\/Stinger.next_.png 707w, http:\/\/flexray.pl\/wp-content\/uploads\/2015\/09\/Stinger.next_-300x118.png 300w, http:\/\/flexray.pl\/wp-content\/uploads\/2015\/09\/Stinger.next_-624x246.png 624w\" sizes=\"(max-width: 707px) 100vw, 707px\" \/><\/p>\n<p>Poprawi\u0142a si\u0119 tak\u017ce wydajno\u015b\u0107 Hive dzi\u0119ki Cost Based Optimizer, u\u017cywaj\u0105cy statystyk do generowania plan\u00f3w wykonawczych i wybieraj\u0105c najbardziej efektywn\u0105 \u015bcie\u017ck\u0119 w zale\u017cno\u015bci od wymaganych zasob\u00f3w.<\/p>\n<h3 id=\"integracja-spark-z-yarn\">Integracja Spark z YARN<\/h3>\n<p><a href=\"https:\/\/spark.apache.org\/\">Apache Spark<\/a> jest atrakcyjnym API u\u0142atwiaj\u0105cym programistom wykorzystywanie danych do szybkich oblicze\u0144, algorytm\u00f3w ucz\u0105cych si\u0119 i innych metod. Dzi\u0119ki mo\u017cliwo\u015bci wykorzystania Spark z YARN oraz lepszej integracji z Hive, mo\u017cliwe jest lepsze wykorzystywanie i dostarczanie danych.<\/p>\n<h3 id=\"komunikacja-internetu-rzeczy-dziki-kafka\">Komunikacja \u201eInternetu Rzeczy\u201d dzi\u0119ki Kafka<\/h3>\n<p><a href=\"http:\/\/kafka.apache.org\/\">Apache Kafka<\/a> szybko sta\u0142 si\u0119 standardem dla system\u00f3w powiadomie\u0144 typu publish-subscribe, oferuj\u0105c wielk\u0105 skal\u0119, odporno\u015b\u0107 na awarie w \u015brodowiskach Hadoop. Cz\u0119sto wykorzystywany ze Storm i Spark umo\u017cliwia strumieniowanie zdarze\u0144 w Hadoop w czasie rzeczywistym, staj\u0105c si\u0119 idealnym rozwi\u0105zaniem dla idei \u201eInternetu Rzeczy\u201d<br \/>\nPodwy\u017cszona dost\u0119pno\u015b\u0107 dzi\u0119ki p\u0142ynnym aktualizacjom<br \/>\nNowe wersjonowane paczki oprogramowania wraz z systemem HDFS wysokiej dost\u0119pno\u015bci pozwalaj\u0105 na aktualizowanie modu\u0142\u00f3w oprogramowania i ich restart\u00f3w bez negatywnego wp\u0142ywu na dzia\u0142anie ca\u0142ego klastra.<\/p>\n<h3 id=\"ulepszenia-w-warstwie-zarzdzania-i-monitoringu-hadoop\">Ulepszenia w warstwie zarz\u0105dzania i monitoringu Hadoop<\/h3>\n<p>Wykorzystanie otwartego Apache Ambari do zarz\u0105dzania klastrem Hadoop pozwoli\u0142o na utworzenie w\u0142asnych widok\u00f3w wewn\u0105trz Ambari Views Framework na zasadzie wtyczek do interfejsu u\u017cytkownika, w\u0142asnej wizualizacji danych oraz przeniesienie do konsoli Web. Dostawcy oprogramowania otrzymali mo\u017cliwo\u015b\u0107 tworzenia kontener\u00f3w z aplikacjami kt\u00f3re mog\u0105 rozszerza\u0107 mo\u017cliwo\u015bci, bezpiecze\u0144stwo, \u0142atwo\u015b\u0107 zarz\u0105dzania. Ambari Blueprints doda\u0142o funkcjonalno\u015b\u0107 tworzenia szablon\u00f3w klastr\u00f3w, zawieraj\u0105cych wybrany stos aplikacji (w tym wypadku odpowiedni\u0105 wersj\u0119 HDP), uk\u0142ad komponent\u00f3w oraz ich konfiguracji umo\u017cliwiaj\u0105c powo\u0142ywanie instancji klastra Hadoop przy pomocy REST API. Rozszerzanie stos\u00f3w aplikacji pozwala na dodawanie w\u0142asnych komponent\u00f3w oraz zarz\u0105dzanie ich konfiguracj\u0105.<\/p>\n<h3 id=\"automatyczne-kopie-zapasowe-do-microsoft-azure-i-amazon-s3\">Automatyczne kopie zapasowe do Microsoft Azure i Amazon S3<\/h3>\n<p>Architekci danych nadal musz\u0105 podchodzi\u0107 do <strong>Hadoop<\/strong> jak do innego systemu w centrum danych, zapewniaj\u0105c ci\u0105g\u0142o\u015b\u0107 biznesow\u0105 dzi\u0119ki wykorzystaniu replikacji zar\u00f3wno w obr\u0119bie swoich fizycznych \u015brodowisk jak i replikacji do \u015brodowisk Cloud Computing. W HDP 2.2 dodana zosta\u0142a zdolno\u015b\u0107 Apache Falcon do tworzenia automatycznych polityk wykonywania kopii zapasowych do Chmury Amazon S3 oraz Microsoft Azure.<\/p>\n<p>Poni\u017cej znajduj\u0105 si\u0119 szczeg\u00f3\u0142owe informacje o wersjach oprogramowania Apache:<\/p>\n<table rules=\"groups\">\n<thead>\n<tr>\n<th style=\"text-align: left;\">Wersja<\/th>\n<th style=\"text-align: left;\">Wersja<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td style=\"text-align: left;\">Apache Hadoop 2.6.0<\/td>\n<td style=\"text-align: left;\">Apache Accumulo 1.6.1<\/td>\n<\/tr>\n<tr>\n<td style=\"text-align: left;\">Apache Ranger 0.4.0<\/td>\n<td style=\"text-align: left;\">Apache DataFu 1.2.0<\/td>\n<\/tr>\n<tr>\n<td style=\"text-align: left;\">Apache Flume 1.5.2<\/td>\n<td style=\"text-align: left;\">Apache HBase 0.98.4<\/td>\n<\/tr>\n<tr>\n<td style=\"text-align: left;\">Apache Hive 0.14.0<\/td>\n<td style=\"text-align: left;\">Hue 2.6.1<\/td>\n<\/tr>\n<tr>\n<td style=\"text-align: left;\">Apache Kafka 0.8.1.1<\/td>\n<td style=\"text-align: left;\">Apache Knox 0.5.0<\/td>\n<\/tr>\n<tr>\n<td style=\"text-align: left;\">Apache Mahout 0.9.0<\/td>\n<td style=\"text-align: left;\">Apache Oozie 4.1.0<\/td>\n<\/tr>\n<tr>\n<td style=\"text-align: left;\">Apache Pig 0.14.0<\/td>\n<td style=\"text-align: left;\">Apache Phoenix 4.2.0<\/td>\n<\/tr>\n<tr>\n<td style=\"text-align: left;\">Apache Sqoop 1.4.5<\/td>\n<td style=\"text-align: left;\">Apache Slider 0.60.0<\/td>\n<\/tr>\n<tr>\n<td style=\"text-align: left;\">Apache Tez 0.5.2<\/td>\n<td style=\"text-align: left;\">Apache Storm 0.9.3<\/td>\n<\/tr>\n<tr>\n<td style=\"text-align: left;\">Apache Falcon 0.6.0<\/td>\n<td style=\"text-align: left;\">Apache Zookeeper 3.4.6<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<h3 id=\"tech-previews-in-this-release\">Tech Previews in This Release<\/h3>\n<ul>\n<li>HDFS Encryption<\/li>\n<li>HDFS read\/write storage tier<\/li>\n<li>HDFS-6932 HDFS Blocking Mover\/Balancer from moving files\/blocks to\/from transient storage.<\/li>\n<li>Falcon Data Lineage<\/li>\n<li>Falcon Graph View of Dependencies<\/li>\n<li>Phoenix support for local secondary indexes<\/li>\n<li>YARN support for Docker<\/li>\n<\/ul>\n<h3 id=\"whats-new-in-this-release\">What\u2019s New in this Release (Nowo\u015bci HDP 2.2)<\/h3>\n<p>HDP 2.2 includes the following new features:<\/p>\n<ul>\n<li><strong>Accumulo<\/strong>\n<ul style=\"padding-left: 20px;\">\n<li>Accumulo multi-datacenter replication<\/li>\n<li>Accumulo on YARN via Slider<\/li>\n<\/ul>\n<\/li>\n<li><strong>Falcon<\/strong>\n<ul style=\"padding-left: 20px;\">\n<li>Authorization<\/li>\n<li>Lineage Enhancement<\/li>\n<li>HCat Replication and Retention<\/li>\n<li>Archive to Cloud<\/li>\n<\/ul>\n<\/li>\n<li><strong>Flume<\/strong>\n<ul style=\"padding-left: 20px;\">\n<li>Flume streaming to Hive for secure and unsecure clusters<\/li>\n<\/ul>\n<\/li>\n<li><strong>HBase<\/strong>\n<ul style=\"padding-left: 20px;\">\n<li>HBase HA: Timeline-consistent replicas with realtime replication<\/li>\n<li>HBase block cache compression<\/li>\n<li>HBase on YARN via Slider<\/li>\n<\/ul>\n<\/li>\n<li><strong>HDFS<\/strong>\n<ul style=\"padding-left: 20px;\">\n<li>Heterogenous Storage: Support for SSD Tier<\/li>\n<li>Heterogenous Storage: Support for Archival Tier<\/li>\n<li>Operating secure DataNode without requiring root access<\/li>\n<li>AES support for faster wire encryption<\/li>\n<\/ul>\n<\/li>\n<li><strong>Hive<\/strong>\n<ul style=\"padding-left: 20px;\">\n<li>Support for SQL Transactions with ACID semantics<\/li>\n<li>Support for SQL Temporary Tables<\/li>\n<li>Better optimize queries using Cost Based Optimizer<\/li>\n<li>Add performance improvements for various queries<\/li>\n<li>Security additions such as Grant, Revoke with a choice of using Native Security or Ranger security with both integrated completely in Hive<\/li>\n<\/ul>\n<\/li>\n<li><strong>Knox<\/strong>\n<ul style=\"padding-left: 20px;\">\n<li>Support for HDFS HA<\/li>\n<li>Installation and configuration with Apache Ambari<\/li>\n<li>Service-level authorization with Apache Ranger<\/li>\n<li>YARN REST API access<\/li>\n<\/ul>\n<\/li>\n<li><strong>Oozie<\/strong>\n<ul style=\"padding-left: 20px;\">\n<li>Oozie HA on secure clusters<\/li>\n<\/ul>\n<\/li>\n<li><strong>Phoenix<\/strong>\n<ul style=\"padding-left: 20px;\">\n<li>Subquery support<\/li>\n<li>Robust secondary indexes<\/li>\n<li>Build secondary index during bulk import<\/li>\n<\/ul>\n<\/li>\n<li><strong>Pig<\/strong>\n<ul style=\"padding-left: 20px;\">\n<li>Pig on Tez<\/li>\n<li>Including DataFu for use with Pig<\/li>\n<\/ul>\n<\/li>\n<li><strong>Ranger<\/strong>\n<ul style=\"padding-left: 20px;\">\n<li>Storm Authorization and Auditing<\/li>\n<li>Knox Authorization and Auditing<\/li>\n<li>Deeper integration with HDP stack: Hive Auth API support for grant\/revoke commands, grant\/revoke commands in HBase, and Windows support<\/li>\n<li>REST API&#8217;s for policy manager, local audit log storage in HDFS, and support for Oracle DB for policy store and audits<\/li>\n<\/ul>\n<\/li>\n<li><strong>Sqoop<\/strong>\n<ul style=\"padding-left: 20px;\">\n<li>Support for all Hive types via HCatalog import\/export<\/li>\n<li>Support for multiple partition keys<\/li>\n<li>Integration with Hadoop Credential Management Framework<\/li>\n<\/ul>\n<\/li>\n<li><strong>Storm<\/strong>\n<ul style=\"padding-left: 20px;\">\n<li>Storm clusters can now be provisioned via Ambari<\/li>\n<li>Storm can now run on YARN based clusters using Apache Slider<\/li>\n<li>Storm now supports kerberos based authentication and pluggable authorization<\/li>\n<li>Pre-built Spouts for JMS, HBase lookups and Bolts for Kafka, Hive.<\/li>\n<li>Real-time visualization of running topologies and its associated metrics<\/li>\n<li>REST APIs for topology stats<\/li>\n<\/ul>\n<\/li>\n<li><strong>Tez<\/strong>\n<ul style=\"padding-left: 20px;\">\n<li>Tez Debug Tooling &amp; UI<\/li>\n<\/ul>\n<\/li>\n<li><strong>YARN<\/strong>\n<ul style=\"padding-left: 20px;\">\n<li>Support long running services: handling of logs, containers not killed when AM dies, secure token renewal, YARN Labels for tagging nodes for specific workloads<\/li>\n<li>Support for CPU Scheduling and CPU Resource Isolation through CGroups<\/li>\n<li>Work-preserving restarts of ResourceManager and NodeManager<\/li>\n<li>Support node labels during scheduling<\/li>\n<li>Global, shared cache for application artifacts<\/li>\n<li>REST API for YARN application submission and termination<\/li>\n<li>Application Timeline Server is supported in a Secure (Kerberized) cluster<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n","protected":false},"excerpt":{"rendered":"<p>Wersja 2.2 pakietu Hortonworks Data Platform (HDP) zawiera tysi\u0105ce ma\u0142ych poprawek oraz nowych funkcjonalno\u015bci, pocz\u0105wszy od dost\u0119pu do danych przez [&hellip;]<\/p>\n","protected":false},"author":2,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[7],"tags":[11,15,14,18,16,17],"class_list":["post-88","post","type-post","status-publish","format-standard","hentry","category-bigdata","tag-bigdata","tag-hadoop","tag-hortonworks","tag-kafka","tag-spark","tag-yarn"],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v14.5 - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>Nowo\u015bci HDP 2.2 - Flexray<\/title>\n<meta name=\"description\" content=\"Nowo\u015bci HDP?. Zawiera wiele nowych poprawek, od dost\u0119pu do danych przez bezpiecze\u0144stwo \u015brodowiska a\u017c po warstw\u0119 zarz\u0105dzania oraz systemu uaktualnie\u0144.\" \/>\n<meta name=\"robots\" content=\"index, follow\" \/>\n<meta name=\"googlebot\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<meta name=\"bingbot\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/flexray.pl\/nowosci-hdp-2-2\/\" \/>\n<meta property=\"og:locale\" content=\"pl_PL\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Nowo\u015bci HDP 2.2 - Flexray\" \/>\n<meta property=\"og:description\" content=\"Nowo\u015bci HDP?. Zawiera wiele nowych poprawek, od dost\u0119pu do danych przez bezpiecze\u0144stwo \u015brodowiska a\u017c po warstw\u0119 zarz\u0105dzania oraz systemu uaktualnie\u0144.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/flexray.pl\/nowosci-hdp-2-2\/\" \/>\n<meta property=\"og:site_name\" content=\"Flexray\" \/>\n<meta property=\"article:published_time\" content=\"2015-02-05T12:56:49+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2015-10-04T13:47:14+00:00\" \/>\n<meta property=\"og:image\" content=\"http:\/\/flexray.pl\/wp-content\/uploads\/2015\/09\/HDP_22_Stos.png\" \/>\n<meta name=\"twitter:card\" content=\"summary\" \/>\n<meta name=\"twitter:creator\" content=\"@flexray\" \/>\n<meta name=\"twitter:site\" content=\"@flexray\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebSite\",\"@id\":\"http:\/\/flexray.pl\/#website\",\"url\":\"http:\/\/flexray.pl\/\",\"name\":\"Flexray\",\"description\":\"IT Services and Consulting\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":\"http:\/\/flexray.pl\/?s={search_term_string}\",\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"pl-PL\"},{\"@type\":\"ImageObject\",\"@id\":\"https:\/\/flexray.pl\/nowosci-hdp-2-2\/#primaryimage\",\"inLanguage\":\"pl-PL\",\"url\":\"http:\/\/flexray.pl\/wp-content\/uploads\/2015\/09\/HDP_22_Stos.png\",\"width\":2252,\"height\":736},{\"@type\":\"WebPage\",\"@id\":\"https:\/\/flexray.pl\/nowosci-hdp-2-2\/#webpage\",\"url\":\"https:\/\/flexray.pl\/nowosci-hdp-2-2\/\",\"name\":\"Nowo\\u015bci HDP 2.2 - Flexray\",\"isPartOf\":{\"@id\":\"http:\/\/flexray.pl\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\/\/flexray.pl\/nowosci-hdp-2-2\/#primaryimage\"},\"datePublished\":\"2015-02-05T12:56:49+00:00\",\"dateModified\":\"2015-10-04T13:47:14+00:00\",\"author\":{\"@id\":\"http:\/\/flexray.pl\/#\/schema\/person\/5c55106ae0528899700cd7b427cdd780\"},\"description\":\"Nowo\\u015bci HDP?. Zawiera wiele nowych poprawek, od dost\\u0119pu do danych przez bezpiecze\\u0144stwo \\u015brodowiska a\\u017c po warstw\\u0119 zarz\\u0105dzania oraz systemu uaktualnie\\u0144.\",\"inLanguage\":\"pl-PL\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/flexray.pl\/nowosci-hdp-2-2\/\"]}]},{\"@type\":[\"Person\"],\"@id\":\"http:\/\/flexray.pl\/#\/schema\/person\/5c55106ae0528899700cd7b427cdd780\",\"name\":\"Maciej Stopa\",\"image\":{\"@type\":\"ImageObject\",\"@id\":\"http:\/\/flexray.pl\/#personlogo\",\"inLanguage\":\"pl-PL\",\"url\":\"http:\/\/0.gravatar.com\/avatar\/fc9e5f87bff4fd721f9f5c790edb2483?s=96&d=mm&r=g\",\"caption\":\"Maciej Stopa\"},\"sameAs\":[\"https:\/\/www.linkedin.com\/in\/maciejstopa\",\"https:\/\/twitter.com\/flexray\"]}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","_links":{"self":[{"href":"http:\/\/flexray.pl\/wp-json\/wp\/v2\/posts\/88"}],"collection":[{"href":"http:\/\/flexray.pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"http:\/\/flexray.pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"http:\/\/flexray.pl\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"http:\/\/flexray.pl\/wp-json\/wp\/v2\/comments?post=88"}],"version-history":[{"count":11,"href":"http:\/\/flexray.pl\/wp-json\/wp\/v2\/posts\/88\/revisions"}],"predecessor-version":[{"id":145,"href":"http:\/\/flexray.pl\/wp-json\/wp\/v2\/posts\/88\/revisions\/145"}],"wp:attachment":[{"href":"http:\/\/flexray.pl\/wp-json\/wp\/v2\/media?parent=88"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"http:\/\/flexray.pl\/wp-json\/wp\/v2\/categories?post=88"},{"taxonomy":"post_tag","embeddable":true,"href":"http:\/\/flexray.pl\/wp-json\/wp\/v2\/tags?post=88"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}