{"id":106,"date":"2015-02-18T15:38:25","date_gmt":"2015-02-18T13:38:25","guid":{"rendered":"http:\/\/flexray.pl\/?p=106"},"modified":"2015-10-04T15:59:41","modified_gmt":"2015-10-04T13:59:41","slug":"ekspresowa-instalacja-hadoop-hive-pig","status":"publish","type":"post","link":"http:\/\/flexray.pl\/ekspresowa-instalacja-hadoop-hive-pig\/","title":{"rendered":"Ekspresowa instalacja Hadoop + Hive + Pig"},"content":{"rendered":"<p>Przedstawi\u0119 Wam dzisiaj jak mo\u017ce wygl\u0105da\u0107 ekspresowa instalacja\u00a0<strong>Hadoop<\/strong> na potrzeby rozpoznania\/test\u00f3w\/zabawy. Wykorzystam do tego oprogramowanie do automatyzacji proces\u00f3w administracyjnych <a href=\"https:\/\/www.chef.io\/chef\/\">Chef<\/a>.<\/p>\n<p><!--more--><\/p>\n<h3 id=\"instalacja-ubuntu\">Instalacja Ubuntu<\/h3>\n<p>W pierwszym kroku musimy przygotowa\u0107 sobie instalacj\u0119 <a href=\"http:\/\/www.ubuntu.com\/download\/server\">Ubuntu Linux 14.04.1<\/a> w wersji <strong>Server 64bit<\/strong>. Wykonamy mo\u017cliwie najprostszy wariant, oszcz\u0119dzaj\u0105c dzi\u0119ki temu czas oraz przestrze\u0144 dyskow\u0105, skupiaj\u0105c si\u0119 jedynie na istotnym dla nas oprogramowaniu.<\/p>\n<p>Sw\u00f3j przyk\u0142ad opieram na lokalnej maszynie wirtualnej utworzonej pod <a href=\"https:\/\/www.virtualbox.org\/\">Oracle VirtualBox<\/a>. Parametry maszyny:<\/p>\n<ul>\n<li>2x CPU<\/li>\n<li>2GB RAM<\/li>\n<li>20GB HDD<\/li>\n<\/ul>\n<p>Proces instalacji udokumentowa\u0142em na YouTube. Pod filmem wrzucam kolejne kroki wykonane w ramach instalacji. Ca\u0142y proces zajmuje poni\u017cej 8 minut.<\/p>\n<p><iframe loading=\"lazy\" src=\"https:\/\/www.youtube.com\/embed\/fGYq8iSviOk\" width=\"420\" height=\"315\" frameborder=\"0\" allowfullscreen=\"allowfullscreen\"><\/iframe><\/p>\n<p>Wybrane kolejno parametry:<\/p>\n<ol>\n<li>J\u0119zyk instalacji &#8211; English (domy\u015blna warto\u015b\u0107)<\/li>\n<li>Install Ubuntu Server (domy\u015blna warto\u015b\u0107)<\/li>\n<li>J\u0119zyk systemu &#8211; English (domy\u015blna warto\u015b\u0107)<\/li>\n<li>Lokalizacja &#8211; other<\/li>\n<li>Lokalizacja &#8211; Europe<\/li>\n<li>Lokalizacja &#8211; Poland<\/li>\n<li>Locale &#8211; en_US.UTF-8 (domy\u015blna wartos\u0107)<\/li>\n<li>Detect Keyboard Layout &#8211; No (domy\u015blny wyb\u00f3r)<\/li>\n<li>Keyboard layout &#8211; Polish (domy\u015blny wyb\u00f3r)<\/li>\n<li>Keyboard layout &#8211; Polish (domy\u015blny wyb\u00f3r)<\/li>\n<li>Hostname &#8211; hadoop<\/li>\n<li>Full Name &#8211; Maciej Stopa<\/li>\n<li>User Name &#8211; administrator<\/li>\n<li>Password &#8211; xxx<\/li>\n<li>Re-enter Password &#8211; xxx<\/li>\n<li>Encrypt Home Directory &#8211; No (domy\u015blny wyb\u00f3r)<\/li>\n<li>Timezone Europe\/Warsaw &#8211; Yes (domy\u015blny wyb\u00f3r)<\/li>\n<li>Guided &#8211; use entire disk and set up LVM (domy\u015blny wyb\u00f3r)<\/li>\n<li>SCSI &#8211; 21,5GB (domy\u015blna warto\u015b\u0107)<\/li>\n<li>Write changes and configure LVM &#8211; Yes<\/li>\n<li>Amount of volume group to use &#8211; 21.2GB (domy\u015blna warto\u015b\u0107)<\/li>\n<li>Write changes to disk &#8211; Yes<\/li>\n<li>Http Proxy &#8211; u mnie brak &#8211; pusto<\/li>\n<li>How do you want to manage upgrades &#8211; No automatic (domy\u015blny wyb\u00f3r)<\/li>\n<li>Choose software &#8211; OpenSSH Server<\/li>\n<li>Install GRUB to master boot record &#8211; Yes (domy\u015blny wyb\u00f3r)<\/li>\n<li>Finish the installation &#8211; Continue (domy\u015blny wybr\u00f3r)<\/li>\n<\/ol>\n<h3 id=\"zaoenia-rodowiska\">Za\u0142o\u017cenia \u015brodowiska<\/h3>\n<ul>\n<li>nazwa hosta to <strong>hadoop<\/strong><\/li>\n<li>nazwa u\u017cytkownika z uprawnieniami administratora to <strong>administrator<\/strong><\/li>\n<li>wykorzystana dystrybucja <strong>Ubuntu Server 14.04.1 LTS<\/strong><\/li>\n<\/ul>\n<h3 id=\"instalacja-chef\">Instalacja Chef<\/h3>\n<p>Logujemy si\u0119 na u\u017cytkownika <em>administrator<\/em> i rozpoczynamy od utworzenia struktury katalog\u00f3w w kt\u00f3rych nasz kucharz (<em>Chef<\/em>) b\u0119dzie trzyma\u0107 receptury oraz role do instalacji. Poni\u017csze komendy nie wymagaj\u0105 uprawnie\u0144 super u\u017cytkownika.<\/p>\n<pre class=\"brush: bash; gutter: false; title: ; notranslate\" title=\"\">\r\nmkdir -p \/home\/administrator\/chef-solo\r\nmkdir -p \/home\/administrator\/chef-repo\/.chef\r\nmkdir -p \/home\/administrator\/chef-repo\/cookbooks\r\nmkdir -p \/home\/administrator\/chef-repo\/roles\r\n<\/pre>\n<p>Nast\u0119pnie potrzebujemy zainstalowa\u0107 naszego <em>Kucharza<\/em> czyli oprogramowanie <strong>Chef<\/strong> kt\u00f3re zrobi za nas 99% trudnej pracy przy konfiguracji.<br \/>\nStartujemy od zaktualizowania listy dost\u0119pnych w <strong>Ubuntu<\/strong> pakiet\u00f3w (komenda <em>apt-get update<\/em>), opieraj\u0105c si\u0119 na najnowszych dla danej dystrubucji. Potrzebujemy do tego uprawnie\u0144 superu\u017cytkownika (komenda <em>sudo -s<\/em>).<\/p>\n<pre class=\"brush: bash; gutter: false; title: ; notranslate\" title=\"\">\r\nsudo -s\r\napt-get update\r\n<\/pre>\n<p>Ze spraw kosmetycznych specyficznych dla <strong>Ubuntu<\/strong>, musimy wy\u0142\u0105czy\u0107 czyszczenie katalogu \/tmp po restarcie &#8211; poniewa\u017c nasz <strong>Hadoop<\/strong> sporo rzeczy b\u0119dzie tam przechowywa\u0142. Dla uproszczenia \u015brodowiska nie modyfikujemy tego zachowania, a jedynie wy\u0142\u0105czamy czyszczenie \/tmp. Edytujemy plik \/etc\/default\/rcS i dopisujemy poni\u017csz\u0105 lini\u0119:<\/p>\n<pre class=\"brush: bash; gutter: false; title: ; notranslate\" title=\"\">\r\nTMPTIME=-1\r\n<\/pre>\n<p>Instalacj\u0119 <strong>Chef\u2019a<\/strong> wykona za nas automatyczny skrypt, kolejny raz upraszczaj\u0105c ca\u0142y proces. Wykonujemy poni\u017csz\u0105 komend\u0119 ju\u017c z uprawnieniami administratora przyznanymi przez <em>sudo<\/em><\/p>\n<pre class=\"brush: bash; gutter: false; title: ; notranslate\" title=\"\">\r\ncurl -L https:\/\/www.opscode.com\/chef\/install.sh | bash\r\n<\/pre>\n<p>W tym momencie mamy zainstalowane oprogramowanie do automatyzowania naszej instalacji.<\/p>\n<h3 id=\"konfiguracja-chefa\">Konfiguracja Chef\u2019a<\/h3>\n<p>Tworzymy katalog z konfiguracj\u0105 <strong>Chef\u2019a<\/strong> oraz edytujemy plik \/etc\/chef\/solo.rb przy pomocy ulubionego edytora (u mnie vi)<\/p>\n<pre class=\"brush: bash; gutter: false; title: ; notranslate\" title=\"\">\r\nmkdir \/etc\/chef\r\nvi \/etc\/chef\/solo.rb\r\n<\/pre>\n<p>Zawarto\u015b\u0107 pliku \/etc\/chef\/<strong>solo.rb<\/strong><\/p>\n<pre class=\"brush: ruby; title: ; notranslate\" title=\"\">\r\nfile_cache_path &quot;\/home\/administrator\/chef-solo&quot;\r\nrepo = '\/home\/administrator\/chef-repo'\r\n\r\ncookbook_path repo + '\/cookbooks'\r\ndata_bag_path repo + '\/data_bags'\r\nrole_path repo + '\/roles'\r\n\r\nlog_location STDOUT\r\n<\/pre>\n<p>Potrzebujemy jeszcze tylko skonfigurowa\u0107 automagiczny mened\u017cer receptur <strong>Knife<\/strong>, kt\u00f3ry pobierze dla nas to co b\u0119dzie dalej wymagane, czyli receptury dla <em>apt<\/em>, <em>yum<\/em>, <em>java<\/em> oraz <em>hadoop<\/em>. Przechodzimy do katalogu repozytorium <strong>Chef\u2019a<\/strong> i edytujemy plik \/home\/administrator\/chef-repo\/.chef\/knife.rb<\/p>\n<pre class=\"brush: bash; gutter: false; title: ; notranslate\" title=\"\">\r\ncd \/home\/administrator\/chef-repo\r\nvi \/home\/administrator\/chef-repo\/.chef\/knife.rb\r\n<\/pre>\n<p>Zawarto\u015b\u0107 pliku \/home\/administrator\/chef-repo\/.chef\/<strong>knife.rb<\/strong><\/p>\n<pre class=\"brush: ruby; title: ; notranslate\" title=\"\">\r\ncookbook_path [ '\/root\/chef-repo\/cookbooks' ]\r\n<\/pre>\n<h3 id=\"przygotowanie-receptur\">Przygotowanie receptur<\/h3>\n<p>Powoli pozwalamy magii dzia\u0142a\u0107, czyli pobieramy nasze receptury dla \u015brodowiska narz\u0119dziem <strong>Knife<\/strong>, pozostaj\u0105c w katalogu \/home\/administrator\/chef-repo<\/p>\n<pre class=\"brush: bash; gutter: false; title: ; notranslate\" title=\"\">\r\nknife cookbook site download apt\r\nknife cookbook site download yum\r\nknife cookbook site download java\r\nknife cookbook site download hadoop\r\nknife cookbook site download selinux\r\nknife cookbook site download sysctl\r\nknife cookbook site download ohai\r\nknife cookbook site download ulimit\r\n<\/pre>\n<p>Wchodzimy do katalogu z recepturami (cookbooks) aby je rozpakowa\u0107<\/p>\n<pre class=\"brush: bash; gutter: false; title: ; notranslate\" title=\"\">\r\ncd \/home\/administrator\/chef-repo\/cookbooks\r\nfind .. -name &quot;*.gz&quot; -exec tar zxvf &quot;{}&quot; \\;\r\n<\/pre>\n<p>Pozostaje nam przygotowa\u0107 role dla <strong>Chef\u2019a<\/strong> czyli wybra\u0107 wersje oprogramowania kt\u00f3re maj\u0105 zosta\u0107 zainstalowane &#8211; dostawc\u0119 <strong>Java<\/strong> (Oracle, OpenJDK) oraz dostawc\u0119 stacka <strong>Hadoop<\/strong>. Edytujemy kolejno pliki \/home\/administrator\/chef-repo\/roles\/java.rb oraz \/home\/administrator\/chef-repo\/roles\/hadoop.rb<\/p>\n<p>Zawarto\u015b\u0107 pliku \/home\/administrator\/chef-repo\/roles\/<strong>java.rb<\/strong><\/p>\n<pre class=\"brush: ruby; title: ; notranslate\" title=\"\">\r\nname &quot;java&quot;\r\ndescription &quot;Install Oracle Java&quot;\r\ndefault_attributes(\r\n  &quot;java&quot; =&gt; {\r\n    &quot;install_flavor&quot; =&gt; &quot;oracle&quot;,\r\n    &quot;jdk_version&quot; =&gt; &quot;7&quot;,\r\n    &quot;set_etc_environment&quot; =&gt; true,\r\n    &quot;oracle&quot; =&gt; {\r\n      &quot;accept_oracle_download_terms&quot; =&gt; true\r\n    }\r\n  }\r\n)\r\nrun_list(\r\n  &quot;recipe[ java]&quot;\r\n)\r\n<\/pre>\n<p>Zawarto\u015b\u0107 pliku \/home\/administrator\/chef-repo\/roles\/<strong>hadoop.rb<\/strong><\/p>\n<pre class=\"brush: ruby; title: ; notranslate\" title=\"\">\r\nname &quot;hadoop&quot;\r\ndescription &quot;set Hadoop attributes&quot;\r\ndefault_attributes(\r\n  &quot;hadoop&quot; =&gt; {\r\n    &quot;distribution&quot; =&gt; &quot;bigtop&quot;,\r\n    &quot;core_site&quot; =&gt; {\r\n      &quot;fs.defaultFS&quot; =&gt; &quot;hdfs:\/\/hadoop&quot;\r\n    },\r\n    &quot;yarn_site&quot; =&gt; {\r\n      &quot;yarn.resourcemanager.hostname&quot; =&gt; &quot;hadoop&quot;\r\n    }\r\n  }\r\n)\r\nrun_list(\r\n  &quot;recipe[hadoop]&quot;\r\n)\r\n<\/pre>\n<p>Gdy konfiguracja <strong>Chef\u2019a<\/strong> jest gotowa, wskazujemy kt\u00f3re role oraz receptury maj\u0105 zosta\u0107 wykonane w celu przygotowania naszego \u015brodowiska <strong>Hadoop<\/strong>. W tym celu przygotowujemy ostatni plik, niejako nasz\u0105 <em>receptur\u0119<\/em> instalacji komponent\u00f3w. Edytujemy plik vi \/home\/administrator\/chef-repo\/hadoop.json.<\/p>\n<p>Zawarto\u015b\u0107 pliku vi \/home\/administrator\/chef-repo\/<strong>hadoop.json<\/strong><\/p>\n<pre class=\"brush: ruby; title: ; notranslate\" title=\"\">\r\n{\r\n  &quot;run_list&quot;: [\r\n     &quot;role[ java]&quot;,\r\n     &quot;recipe[ java]&quot;,\r\n     &quot;role[hadoop]&quot;,\r\n     &quot;recipe[hadoop::hadoop_hdfs_namenode]&quot;,\r\n     &quot;recipe[hadoop::hadoop_yarn_nodemanager]&quot;,\r\n     &quot;recipe[hadoop::hadoop_yarn_resourcemanager]&quot;,\r\n     &quot;recipe[hadoop::hadoop_hdfs_datanode]&quot;,\r\n     &quot;recipe[hadoop::hbase]&quot;,\r\n     &quot;recipe[hadoop::hive]&quot;,\r\n     &quot;recipe[hadoop::hive_metastore]&quot;,\r\n     &quot;recipe[hadoop::oozie]&quot;,\r\n     &quot;recipe[hadoop::pig]&quot;,\r\n     &quot;recipe[hadoop::zookeeper]&quot;  ]\r\n}\r\n<\/pre>\n<h3 id=\"sia-szefa-kuchni\">Si\u0142a szefa kuchni<\/h3>\n<p>Pozostaj\u0105c w katalogu \/home\/administrator\/chef-repo i posiadaj\u0105c nadal uprawnienia administratora, pozwalamy na przygotowanie naszego \u015brodowiska. <strong>Chef<\/strong> zajmie si\u0119 wszystkim od pobrania pakiet\u00f3w, przez ich konfiguracj\u0119, integracj\u0119 ze sob\u0105, utworzenie i uruchomienie niezb\u0119dnych serwis\u00f3w. <strong>MAGIC!<\/strong><\/p>\n<pre class=\"brush: bash; gutter: false; title: ; notranslate\" title=\"\">\r\nchef-solo -c \/etc\/chef\/solo.rb -j hadoop.json\r\n<\/pre>\n<p>Nale\u017cy teraz zainicjalizowa\u0107 naszego <strong>Hadoop NameNode<\/strong><\/p>\n<pre class=\"brush: bash; gutter: false; title: ; notranslate\" title=\"\">\r\nsu -l hdfs\r\nhadoop namenode -format\r\nexit\r\n<\/pre>\n<p>Uruchamiamy <strong>NameNode<\/strong> oraz <strong>DataNode<\/strong><\/p>\n<pre class=\"brush: bash; gutter: false; title: ; notranslate\" title=\"\">\r\nservice hadoop-hdfs-namenode start\r\nservice hadoop-hdfs-datanode start\r\n<\/pre>\n<p>Formatujemy <strong>HDFS<\/strong> i przygotowujemy katalogi dla us\u0142ug<\/p>\n<pre class=\"brush: bash; gutter: false; title: ; notranslate\" title=\"\">\r\n\/usr\/lib\/hadoop\/libexec\/init-hdfs.sh\r\n<\/pre>\n<p>Uruchamiamy <strong>Hive Metastore<\/strong><\/p>\n<pre class=\"brush: bash; gutter: false; title: ; notranslate\" title=\"\">\r\nservice hive-metastore start\r\n<\/pre>\n<p>Je\u017celi nie pomylili\u015bmy si\u0119 i wszystkie komendy i wklejki zosta\u0142y wykonane poprawnie, po kilku minutach otrzymujemy w pe\u0142ni skonfigurowane \u015brodowisko z dost\u0119pnymi <strong>Hadoop<\/strong>, <strong>Hive<\/strong>, <strong>Pig<\/strong>, <strong>YARN<\/strong>, <strong>Oozie<\/strong> i <strong>Zookeeper<\/strong>.<\/p>\n<h3 id=\"testy\">Testy<\/h3>\n<p>Na potrzeby test\u00f3w wykorzystam przyk\u0142ad z <strong>HDP<\/strong> polegaj\u0105cy na pobraniu archiw\u00f3w meczy baseball\u2019owych, wrzuceniu ich na <strong>HDFS<\/strong>, import do <strong>Hive<\/strong> i wykorzystanie <strong>MapReduce<\/strong> do wykonania kilku <strong>Select\u2019\u00f3w<\/strong>.<\/p>\n<p>Z uprawnieniami superu\u017cytkownika doinstalowujemy <em>unzip<\/em> i tworzymy katalog dla danych \/home\/administrator\/data nast\u0119pnie przechodz\u0105c do niego.<\/p>\n<pre class=\"brush: bash; gutter: false; title: ; notranslate\" title=\"\">\r\napt-get install unzip\r\nmkdir \/home\/administrator\/data\r\ncd \/home\/administrator\/data\r\n<\/pre>\n<p>Pobieramy plik z danymi i rozpakowujemy go<\/p>\n<pre class=\"brush: bash; gutter: false; title: ; notranslate\" title=\"\">\r\nwget http:\/\/seanlahman.com\/files\/database\/lahman591-csv.zip\r\nunzip lahman591-csv.zip\r\n<\/pre>\n<p>Umieszczamy kopi\u0119 pliku na <strong>HDFS<\/strong>, tak aby w\u0119z\u0142y (w naszym przypadku jeden) mia\u0142y dost\u0119p do tych danych, jednocze\u015bnie udost\u0119pniaj\u0105c je dla us\u0142ug np <strong>Hive<\/strong>.<\/p>\n<pre class=\"brush: bash; gutter: false; title: ; notranslate\" title=\"\">\r\nhdfs dfs -copyFromLocal Batting.csv \/user\/root\/\r\n<\/pre>\n<p>Uruchamiamy <strong>Hive<\/strong>, kt\u00f3ry pozwoli na potraktowanie danych <strong>CSV<\/strong> prostymi zapytaniami <strong>SQL<\/strong> wykorzystuj\u0105c mechanizmy <strong>Hadoop<\/strong> i <strong>MapReduce<\/strong>. Je\u017celi wszystko jest dobrze skonfigurowane, powinni\u015bmy zosta\u0107 przywitani promptem <strong>Hive<\/strong> czyli <em>hive&gt;<\/em>.<\/p>\n<pre class=\"brush: bash; gutter: false; title: ; notranslate\" title=\"\">\r\nroot@hadoop:~\/data# hive\r\nLogging initialized using configuration in jar:file:\/usr\/lib\/hive\/lib\/hive-common-0.13.0.jar!\/hive-log4j.properties\r\nhive&gt;\r\n<\/pre>\n<p>Kolejne komendy wpisujemy w prompcie <strong>Hive<\/strong>. Tworzymy tabel\u0119 tymczasow\u0105 <em>temp_batting<\/em> do kt\u00f3rej przypisujemy nasz plik z <strong>HDFS<\/strong> \/user\/root\/Batting.csv. Na jego podstawie utworzymy docelow\u0105 tabel\u0119 z danymi <em>batting<\/em> kt\u00f3re zostan\u0105 wyodr\u0119bnione przy pomocy Regexp\u2019\u00f3w. Nie przejmuj si\u0119 komunikatami <em>Warning<\/em> &#8211; m\u00f3wi\u0105 one o tym \u017ce dzia\u0142amy na pojedynczym w\u0119\u017ale i pewne zmienne dotycz\u0105ce podzia\u0142u zada\u0144 pomi\u0119dzy wi\u0119ksz\u0105 ilo\u015b\u0107 w\u0119z\u0142\u00f3w poprostu nie s\u0105 skonfigurowane, w naszych przyk\u0142adach nie jest to \u017cadnym problemem.<\/p>\n<pre class=\"brush: sql; title: ; notranslate\" title=\"\">\r\nCREATE TABLE temp_batting (col_value STRING);\r\n\r\nLOAD DATA INPATH '\/user\/root\/Batting.csv' OVERWRITE INTO TABLE temp_batting;\r\n\r\nCREATE TABLE batting (player_id STRING, year INT, runs INT);\r\n\r\nINSERT OVERWRITE TABLE batting  \r\nSELECT  \r\n  regexp_extract(col_value, '^(?:([^,]*)\\,?){1}', 1) player_id,  \r\n  regexp_extract(col_value, '^(?:([^,]*)\\,?){2}', 1) year,  \r\n  regexp_extract(col_value, '^(?:([^,]*)\\,?){9}', 1) run  \r\nFROM temp_batting;\r\n<\/pre>\n<p>Efekt powy\u017cszych komend powinien wygl\u0105da\u0107 mniej wi\u0119cej tak:<\/p>\n<pre class=\"brush: sql; title: ; notranslate\" title=\"\">\r\nhive&gt; CREATE TABLE temp_batting (col_value STRING);\r\nOK\r\nTime taken: 0.215 seconds\r\n\r\nhive&gt; LOAD DATA INPATH '\/user\/root\/Batting.csv' OVERWRITE INTO TABLE temp_batting;\r\nLoading data to table default.temp_batting\r\nTable default.temp_batting stats: [numFiles=1, numRows=0, totalSize=6398990, rawDataSize=0]\r\nOK\r\nTime taken: 1.017 seconds\r\n\r\nhive&gt; INSERT OVERWRITE TABLE batting\r\n    &gt; SELECT\r\n    &gt;   regexp_extract(col_value, '^(?:([^,]*)\\,?){1}', 1) player_id,\r\n    &gt;   regexp_extract(col_value, '^(?:([^,]*)\\,?){2}', 1) year,\r\n    &gt;   regexp_extract(col_value, '^(?:([^,]*)\\,?){9}', 1) run\r\n    &gt; FROM temp_batting;\r\nTotal jobs = 3\r\nLaunching Job 1 out of 3\r\nNumber of reduce tasks is set to 0 since theres no reduce operator\r\nExecution log at: \/tmp\/root\/root_20150219105353_aa0aabfe-3589-48d7-a047-6b0987fe20c3.log\r\nJob running in-process (local Hadoop)\r\nHadoop job information for null: number of mappers: 0; number of reducers: 0\r\n2015-02-19 10:53:04,269 null map = 0%,  reduce = 0%\r\n2015-02-19 10:53:05,287 null map = 100%,  reduce = 0%\r\nEnded Job = job_local592960733_0001\r\nExecution completed successfully\r\nMapredLocal task succeeded\r\nStage-4 is selected by condition resolver.\r\nStage-3 is filtered out by condition resolver.\r\nStage-5 is filtered out by condition resolver.\r\nMoving data to: hdfs:\/\/hadoop\/tmp\/hive-root\/hive_2015-02-19_10-53-00_203_7795567368711574116-1\/-ext-10000\r\nLoading data to table default.batting\r\nrmr: DEPRECATED: Please use 'rm -r' instead.\r\nDeleted hdfs:\/\/hadoop\/user\/hive\/warehouse\/batting\r\nTable default.batting stats: [numFiles=1, numRows=95196, totalSize=1653324, rawDataSize=1558128]\r\nOK\r\nTime taken: 5.89 seconds\r\n<\/pre>\n<p>Tak przygotowane tabele zawieraj\u0105 ju\u017c dane kt\u00f3re mog\u0105 nas zainteresowa\u0107. Mo\u017cemy teraz wyszukiwa\u0107 zapytaniami <strong>SQL<\/strong> szczeg\u00f3\u0142owe informacje.<\/p>\n<pre class=\"brush: sql; title: ; notranslate\" title=\"\">\r\nhive&gt; SELECT year, max(runs) FROM batting GROUP BY year;\r\nTotal jobs = 1\r\nLaunching Job 1 out of 1\r\nNumber of reduce tasks not specified. Estimated from input data size: 1\r\nExecution log at: \/tmp\/root\/root_20150219105454_01e4848f-b71c-4e12-88c3-ed4e9360ace6.log\r\nJob running in-process (local Hadoop)\r\nHadoop job information for null: number of mappers: 0; number of reducers: 0\r\n2015-02-19 10:54:09,113 null map = 100%,  reduce = 100%\r\nEnded Job = job_local2006606267_0001\r\nExecution completed successfully\r\nMapredLocal task succeeded\r\nOK\r\nNULL    NULL\r\n1871    66\r\n1872    94\r\n...\r\n2010    115\r\n2011    136\r\nTime taken: 4.689 seconds, Fetched: 142 row(s)\r\n<\/pre>\n<pre class=\"brush: sql; title: ; notranslate\" title=\"\">\r\nhive&gt; SELECT a.year, a.player_id, a.runs from batting a\r\n    &gt; JOIN (SELECT year, max(runs) runs FROM batting GROUP BY year ) b\r\n    &gt; ON (a.year = b.year AND a.runs = b.runs) ;\r\nTotal jobs = 2\r\nLaunching Job 1 out of 2\r\nNumber of reduce tasks not specified. Estimated from input data size: 1\r\nExecution log at: \/tmp\/root\/root_20150219105555_a44780bc-4cbc-4d07-b65e-775f58325789.log\r\nJob running in-process (local Hadoop)\r\nHadoop job information for null: number of mappers: 0; number of reducers: 0\r\n2015-02-19 10:55:41,842 null map = 100%,  reduce = 100%\r\nEnded Job = job_local1016279659_0001\r\nExecution completed successfully\r\nMapredLocal task succeeded\r\nExecution log at: \/tmp\/root\/root_20150219105555_a44780bc-4cbc-4d07-b65e-775f58325789.log\r\n2015-02-19 10:55:44     Starting to launch local task to process map join;     maximum memory = 932184064\r\n2015-02-19 10:55:45     Dump the side-table into file: file:\/tmp\/root\/hive_2015-02-19_10-55-37_776_592556185375942408-1\/-local-10004\/HashTable-Stage-4\/MapJoin-mapfile00--.hashtable\r\n2015-02-19 10:55:45     Uploaded 1 File to: file:\/tmp\/root\/hive_2015-02-19_10-55-37_776_592556185375942408-1\/-local-10004\/HashTable-Stage-4\/MapJoin-mapfile00--.hashtable (2033677 bytes)\r\n2015-02-19 10:55:45     End of local task; Time Taken: 0.93 sec.\r\nExecution completed successfully\r\nMapredLocal task succeeded\r\nLaunching Job 2 out of 2\r\nNumber of reduce tasks is set to 0 since there's no reduce operator\r\nExecution log at: \/tmp\/root\/root_20150219105555_a44780bc-4cbc-4d07-b65e-775f58325789.log\r\nJob running in-process (local Hadoop)\r\nHadoop job information for null: number of mappers: 0; number of reducers: 0\r\n2015-02-19 10:55:50,002 null map = 100%,  reduce = 0%\r\nEnded Job = job_local1075503958_0001\r\nExecution completed successfully\r\nMapredLocal task succeeded\r\nOK\r\n1871    barnero01       66\r\n1872    eggleda01       94\r\n...\r\n2010    pujolal01       115\r\n2011    grandcu01       136\r\nTime taken: 12.746 seconds, Fetched: 151 row(s)\r\n<\/pre>\n<p>Proste prawda? Pomy\u015bl teraz jak wiele r\u00f3\u017cnych danych m\u00f3g\u0142by\u015b w ten spos\u00f3b przetwarza\u0107. Jest to tylko bardzo ma\u0142y wycinek tego co mo\u017cemy uzyska\u0107 dzi\u0119ki zestawom aplikacji <strong>Hadoop<\/strong>. Zach\u0119cam do wrzucenia swoich zestaw\u00f3w danych i eksperymentowania.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Przedstawi\u0119 Wam dzisiaj jak mo\u017ce wygl\u0105da\u0107 ekspresowa instalacja\u00a0Hadoop na potrzeby rozpoznania\/test\u00f3w\/zabawy. Wykorzystam do tego oprogramowanie do automatyzacji proces\u00f3w administracyjnych Chef.<\/p>\n","protected":false},"author":2,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[7],"tags":[11,22,15,20,21,23],"class_list":["post-106","post","type-post","status-publish","format-standard","hentry","category-bigdata","tag-bigdata","tag-chef","tag-hadoop","tag-hive","tag-pig","tag-ubuntu"],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v14.5 - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>Ekspresowa instalacja Hadoop + Hive + Pig - Flexray<\/title>\n<meta name=\"description\" content=\"Ekspresowa instalacja Hadoop, Hive, Pig przy u\u017cyciu Chef&#039;a. Chef zajmie si\u0119 wszystkim od pobrania pakiet\u00f3w, przez ich konfiguracj\u0119, integracj\u0119 ze sob\u0105, utworzenie i uruchomienie niezb\u0119dnych serwis\u00f3w. MAGIC!\" \/>\n<meta name=\"robots\" content=\"index, follow\" \/>\n<meta name=\"googlebot\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<meta name=\"bingbot\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/flexray.pl\/ekspresowa-instalacja-hadoop-hive-pig\/\" \/>\n<meta property=\"og:locale\" content=\"pl_PL\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Ekspresowa instalacja Hadoop + Hive + Pig - Flexray\" \/>\n<meta property=\"og:description\" content=\"Ekspresowa instalacja Hadoop, Hive, Pig przy u\u017cyciu Chef&#039;a. Chef zajmie si\u0119 wszystkim od pobrania pakiet\u00f3w, przez ich konfiguracj\u0119, integracj\u0119 ze sob\u0105, utworzenie i uruchomienie niezb\u0119dnych serwis\u00f3w. MAGIC!\" \/>\n<meta property=\"og:url\" content=\"https:\/\/flexray.pl\/ekspresowa-instalacja-hadoop-hive-pig\/\" \/>\n<meta property=\"og:site_name\" content=\"Flexray\" \/>\n<meta property=\"article:published_time\" content=\"2015-02-18T13:38:25+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2015-10-04T13:59:41+00:00\" \/>\n<meta name=\"twitter:card\" content=\"summary\" \/>\n<meta name=\"twitter:creator\" content=\"@flexray\" \/>\n<meta name=\"twitter:site\" content=\"@flexray\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebSite\",\"@id\":\"http:\/\/flexray.pl\/#website\",\"url\":\"http:\/\/flexray.pl\/\",\"name\":\"Flexray\",\"description\":\"IT Services and Consulting\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":\"http:\/\/flexray.pl\/?s={search_term_string}\",\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"pl-PL\"},{\"@type\":\"WebPage\",\"@id\":\"https:\/\/flexray.pl\/ekspresowa-instalacja-hadoop-hive-pig\/#webpage\",\"url\":\"https:\/\/flexray.pl\/ekspresowa-instalacja-hadoop-hive-pig\/\",\"name\":\"Ekspresowa instalacja Hadoop + Hive + Pig - Flexray\",\"isPartOf\":{\"@id\":\"http:\/\/flexray.pl\/#website\"},\"datePublished\":\"2015-02-18T13:38:25+00:00\",\"dateModified\":\"2015-10-04T13:59:41+00:00\",\"author\":{\"@id\":\"http:\/\/flexray.pl\/#\/schema\/person\/5c55106ae0528899700cd7b427cdd780\"},\"description\":\"Ekspresowa instalacja Hadoop, Hive, Pig przy u\\u017cyciu Chef'a. Chef zajmie si\\u0119 wszystkim od pobrania pakiet\\u00f3w, przez ich konfiguracj\\u0119, integracj\\u0119 ze sob\\u0105, utworzenie i uruchomienie niezb\\u0119dnych serwis\\u00f3w. MAGIC!\",\"inLanguage\":\"pl-PL\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/flexray.pl\/ekspresowa-instalacja-hadoop-hive-pig\/\"]}]},{\"@type\":[\"Person\"],\"@id\":\"http:\/\/flexray.pl\/#\/schema\/person\/5c55106ae0528899700cd7b427cdd780\",\"name\":\"Maciej Stopa\",\"image\":{\"@type\":\"ImageObject\",\"@id\":\"http:\/\/flexray.pl\/#personlogo\",\"inLanguage\":\"pl-PL\",\"url\":\"http:\/\/0.gravatar.com\/avatar\/fc9e5f87bff4fd721f9f5c790edb2483?s=96&d=mm&r=g\",\"caption\":\"Maciej Stopa\"},\"sameAs\":[\"https:\/\/www.linkedin.com\/in\/maciejstopa\",\"https:\/\/twitter.com\/flexray\"]}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","_links":{"self":[{"href":"http:\/\/flexray.pl\/wp-json\/wp\/v2\/posts\/106"}],"collection":[{"href":"http:\/\/flexray.pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"http:\/\/flexray.pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"http:\/\/flexray.pl\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"http:\/\/flexray.pl\/wp-json\/wp\/v2\/comments?post=106"}],"version-history":[{"count":30,"href":"http:\/\/flexray.pl\/wp-json\/wp\/v2\/posts\/106\/revisions"}],"predecessor-version":[{"id":153,"href":"http:\/\/flexray.pl\/wp-json\/wp\/v2\/posts\/106\/revisions\/153"}],"wp:attachment":[{"href":"http:\/\/flexray.pl\/wp-json\/wp\/v2\/media?parent=106"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"http:\/\/flexray.pl\/wp-json\/wp\/v2\/categories?post=106"},{"taxonomy":"post_tag","embeddable":true,"href":"http:\/\/flexray.pl\/wp-json\/wp\/v2\/tags?post=106"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}