{"id":71,"date":"2014-12-21T19:33:05","date_gmt":"2014-12-21T17:33:05","guid":{"rendered":"http:\/\/flexray.pl\/?p=71"},"modified":"2015-10-19T14:38:56","modified_gmt":"2015-10-19T12:38:56","slug":"czym-jest-big-data","status":"publish","type":"post","link":"http:\/\/flexray.pl\/czym-jest-big-data\/","title":{"rendered":"Czym jest Big Data?"},"content":{"rendered":"<p>Z pewno\u015bci\u0105 kiedy\u015b zastanawia\u0142e\u015b si\u0119 czym jest <strong>Big Data<\/strong>.<br \/>\nUs\u0142ysza\u0142em kiedy\u015b \u017ce <em>Big Data zaczyna si\u0119, gdy ko\u0144cz\u0105 nam si\u0119 wolne kom\u00f3rki do przetwarzania danych w arkuszu Excel\u2019a<\/em>.<br \/>\nNa pocz\u0105tku wydawa\u0142o mi si\u0119 to rozs\u0105dne, jednak wraz z pog\u0142\u0119bianiem tematu zmieni\u0142em zdanie.<\/p>\n<p><!--more--> <strong>Big Data<\/strong> rozpoczyna si\u0119 gdy pracujemy nad zbiorem danych kt\u00f3ry zmienia si\u0119 dynamicznie, trudno jest okre\u015bli\u0107 ich docelowy wolumen oraz struktur\u0119 przez co nie jest mo\u017cliwe przetwarzanie ich przy pomocy tradycyjnych narz\u0119dzi.<\/p>\n<p>Spr\u00f3bujmy zatem przeprowadzi\u0107 analiz\u0119, w kt\u00f3rej zbadamy zdolno\u015b\u0107 naszej organizacji do korzystania z dobrodziejstw <strong>Big Data<\/strong>.<\/p>\n<h3 id=\"miara-4v\">Miara 4V<\/h3>\n<p><strong>Forrester<\/strong> charakteryzuje <strong>Big Data<\/strong> przy pomocy 4 parametr\u00f3w nazywanych <strong>4V<\/strong>:<\/p>\n<ul>\n<li><strong>Volume<\/strong> \u2013 obj\u0119to\u015b\u0107 danych (cz\u0119sto liczona w gigabajtach\/terabajtach\/petabajtach). Ilo\u015b\u0107 sk\u0142adowanych przez nas danych wci\u0105\u017c ro\u015bnie. Rosn\u0105 tak\u017ce pojemno\u015bci no\u015bnik\u00f3w do ich sk\u0142adowania, co skutkuje wyd\u0142u\u017caniem si\u0119 ich cyklu \u017cycia. Dla przyk\u0142adu niekt\u00f3re eksperymenty naukowe produkuj\u0105 wiele GB danych na sekund\u0119.<\/li>\n<li><strong>Variety<\/strong> \u2013 r\u00f3\u017cnorodno\u015b\u0107 danych (niezale\u017cne \u017ar\u00f3d\u0142a, brak bezpo\u015brednich relacji, niesp\u00f3jna struktura). Wyobra\u017amy sobie media spo\u0142eczno\u015bciowe Twitter, Google+, Facebook. Codziennie generowane s\u0105 setki tysi\u0119cy a nawet milion\u00f3w wpis\u00f3w na wszystkie mo\u017cliwe tematy. W tym g\u0105szczu danych mo\u017cliwe jest odnalezienie relacji, wyodr\u0119bnienie zagadnie\u0144 i powi\u0105zanych z nimi os\u00f3b zainteresowanych. Analizuj\u0105c wpisy mo\u017cna dowiedzie\u0107 si\u0119 o osobach praktycznie wszystkiego. Mo\u017cna to wykorzysta\u0107 na bardzo wiele sposob\u00f3w.<\/li>\n<li><strong>Velocity<\/strong> \u2013 szybko\u015b\u0107 zmian danych, wymaganie szybkiej analizy w czasie zbli\u017conym do rzeczywistego. \u015aledz\u0105c transakcje na platformach wymiany walut, algorytmy maj\u0105 oko\u0142o 100 mikrosekund na przeanalizowanie zlece\u0144 w ilo\u015bciach kilku tysi\u0119cy na sekund\u0119 by m\u00f3c podj\u0105\u0107 decyzje. Ilo\u015b\u0107 gromadzonych danych GPS jest coraz wi\u0119ksza przez zwi\u0119kszaj\u0105c\u0105 si\u0119 liczb\u0119 urz\u0105dze\u0144 mobilnych, cho\u0107 w wi\u0119kszo\u015bci wypadk\u00f3w najistotniejsze s\u0105 dane najnowsze, przez co przetwarzanie musi si\u0119 odbywa\u0107 praktycznie w czasie rzeczywistym.<\/li>\n<li><strong>Value<\/strong> \u2013 warto\u015b\u0107 danych, istotno\u015b\u0107, mo\u017cliwy wp\u0142yw na decyzje. Czy dla sprzedawcy reklamy w Internecie istotne jest kt\u00f3ry u\u017cytkownik odwiedza strony o danej tematyce? Oczywi\u015bcie, dzi\u0119ki temu mo\u017ce dopasowa\u0107 reklamy. Czy dla ubezpieczyciela istotne b\u0119d\u0105 informacje o cz\u0119stym spo\u017cywaniu alkoholu i prowadzeniu pojazd\u00f3w pod jego wp\u0142ywem, kt\u00f3rymi chwali si\u0119 u\u017cytkownik na Facebook\u2019u? Oczywi\u015bcie. Prawdopodobnie odpowiednio dostosuje warto\u015b\u0107 sk\u0142adki. Szacuje si\u0119 \u017ce na podstawie medi\u00f3w spo\u0142eczno\u015bciowych mo\u017cna wyodr\u0119bni\u0107 oko\u0142o 10 tysi\u0119cy metryk charakteryzuj\u0105cych ka\u017cd\u0105 osob\u0119 i jej cechy.<\/li>\n<\/ul>\n<p>Wszystko to wygl\u0105da dobrze, do momentu gdy zauwa\u017cymy \u017ce parametry te nie s\u0105 w \u017caden spos\u00f3b ograniczone. Czy wolumen na poziomie wielu Exabajt\u00f3w, przetwarzanie jednocze\u015bnie zdj\u0119\u0107, film\u00f3w, d\u017awi\u0119ku, komentarzy do artyku\u0142\u00f3w mo\u017ce definiowa\u0107 <strong>Big Data<\/strong>? Z pewno\u015bci\u0105 tak.<\/p>\n<p>Czy jednak znaj\u0105c warto\u015bci powy\u017cszych parametr\u00f3w mo\u017cemy wszystkie rodzaje danych mi\u0119dzy sob\u0105 por\u00f3wna\u0107? Niestety nie do ko\u0144ca. Dzieje si\u0119 tak g\u0142\u00f3wnie dlatego, \u017ce powy\u017csze miary s\u0105 wzgl\u0119dne. Dla jednego przedsi\u0119biorstwa dane o pewnych parametrach mog\u0105 mie\u0107 ogromny wp\u0142yw na strategi\u0119, podejmowane decyzje, plany marketingowe. Dla innego, s\u0105 w mniejszym lub wi\u0119kszym stopniu bezu\u017cyteczne.<\/p>\n<h3 id=\"miara-spa\">Miara SPA<\/h3>\n<p>Aby m\u00f3c lepiej por\u00f3wnywa\u0107 i ocenia\u0107 r\u00f3\u017cne typy <strong>Big Data<\/strong>, nale\u017ca\u0142o by wprowadzi\u0107 dodatkow\u0105 klasyfikacj\u0119. <strong>Forrester<\/strong> proponuje zdefiniowanie 3 parametr\u00f3w tzw. <strong>SPA<\/strong>:<\/p>\n<ul>\n<li><strong>Store<\/strong> &#8211; zdolno\u015b\u0107 pozyskiwania i sk\u0142adowania danych (czy zd\u0105\u017cysz je zgromadzi\u0107 i zapisa\u0107?<img loading=\"lazy\" decoding=\"async\" class=\"alignright wp-image-72 size-full\" src=\"http:\/\/flexray.pl\/wp-content\/uploads\/2015\/09\/BigData_SPA.png\" alt=\"BigData_SPA\" width=\"246\" height=\"154\" \/><\/li>\n<li><strong>Process<\/strong> &#8211; zdolno\u015b\u0107 przetwarzania danych, ich wzbogacanie, wy\u0142uskiwanie istotnych zale\u017cno\u015bci<\/li>\n<li><strong>Access<\/strong> &#8211; zdolno\u015b\u0107 przeszukiwania wynik\u00f3w przetwarzania, wizualizacja danych<\/li>\n<\/ul>\n<p>Spr\u00f3bujmy zbudowa\u0107 przyk\u0142adow\u0105 skal\u0119 zdolno\u015bci naszego biznesu do zajmowania si\u0119 wybranym typem <strong>Big Data<\/strong>:<\/p>\n<table>\n<tbody>\n<tr>\n<td><strong>5<\/strong><\/td>\n<td>Doskonale sobie radzimy lub brak takiej potrzeby<\/td>\n<\/tr>\n<tr>\n<td><strong>4<\/strong><\/td>\n<td>Do\u015b\u0107 dobrze sobie radzimy<\/td>\n<\/tr>\n<tr>\n<td><strong>3<\/strong><\/td>\n<td>Akceptowalnie, sporo mo\u017cna by poprawi\u0107<\/td>\n<\/tr>\n<tr>\n<td><strong>2<\/strong><\/td>\n<td>S\u0142abo, rzadko ma to negatywny wp\u0142yw na biznes<\/td>\n<\/tr>\n<tr>\n<td><strong>1<\/strong><\/td>\n<td>\u0179le, cz\u0119sto negatywny wp\u0142yw na biznes<\/td>\n<\/tr>\n<tr>\n<td><strong>0<\/strong><\/td>\n<td>Potrzebujemy sobie z tym poradzi\u0107, ale nie potrafimy<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<h3 id=\"porwnanie\">Por\u00f3wnanie<\/h3>\n<p>\u0141\u0105cz\u0105c w macierz miary <strong>4V<\/strong> oraz <strong>SPA<\/strong> mo\u017cemy spr\u00f3bowa\u0107 wnioskowa\u0107 na ile nasze przedsi\u0119biorstwo gotowe jest wykorzystywa\u0107 zasoby <strong>Big Data<\/strong> r\u00f3\u017cnego rodzaju.<\/p>\n<table rules=\"groups\">\n<thead>\n<tr>\n<th style=\"text-align: left;\"><\/th>\n<th style=\"text-align: center;\">Store<\/th>\n<th style=\"text-align: right;\">Process<\/th>\n<th style=\"text-align: center;\">Access<\/th>\n<th style=\"text-align: center;\">Punkty<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td style=\"text-align: left;\"><strong>Volume<\/strong><\/td>\n<td style=\"text-align: center;\">5<\/td>\n<td style=\"text-align: right;\">5<\/td>\n<td style=\"text-align: center;\">5<\/td>\n<td style=\"text-align: center;\">15<\/td>\n<\/tr>\n<tr>\n<td style=\"text-align: left;\"><strong>Velocity<\/strong><\/td>\n<td style=\"text-align: center;\">5<\/td>\n<td style=\"text-align: right;\">5<\/td>\n<td style=\"text-align: center;\">5<\/td>\n<td style=\"text-align: center;\">15<\/td>\n<\/tr>\n<tr>\n<td style=\"text-align: left;\"><strong>Variety<\/strong><\/td>\n<td style=\"text-align: center;\">5<\/td>\n<td style=\"text-align: right;\">5<\/td>\n<td style=\"text-align: center;\">5<\/td>\n<td style=\"text-align: center;\">15<\/td>\n<\/tr>\n<\/tbody>\n<tfoot>\n<tr>\n<td style=\"text-align: left;\"><\/td>\n<td style=\"text-align: center;\"><\/td>\n<td style=\"text-align: right;\"><\/td>\n<td style=\"text-align: center;\"><strong>Suma Big Data<\/strong><\/td>\n<td style=\"text-align: center;\">45<\/td>\n<\/tr>\n<\/tfoot>\n<\/table>\n<p>Interpretacj\u0119 wynik\u00f3w najlepiej przygotowa\u0107 samemu, jednak poni\u017cej proponuj\u0119 kr\u00f3tk\u0105 charakterystyk\u0119, dzi\u0119ki kt\u00f3rej b\u0119dziesz posiada\u0107 punkt odniesienia do dalszych rozwa\u017ca\u0144.<\/p>\n<table rules=\"groups\">\n<thead>\n<tr>\n<th style=\"text-align: center;\">Wynik<\/th>\n<th style=\"text-align: center;\">Ocena<\/th>\n<th style=\"text-align: center;\">Opis<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td style=\"text-align: center;\"><strong>0-15<\/strong><\/td>\n<td style=\"text-align: center;\">S\u0142aba<\/td>\n<td style=\"text-align: center;\">Twoja organizacja nie jest sobie w stanie poradzi\u0107 z wymaganiami jakie stawia <strong>Big Data<\/strong>, zagra\u017ca to biznesowi i mo\u017ce uniemo\u017cliwia\u0107 prowadzenie istotnych analiz<\/td>\n<\/tr>\n<\/tbody>\n<tbody>\n<tr>\n<td style=\"text-align: center;\"><strong>16-30<\/strong><\/td>\n<td style=\"text-align: center;\">\u015arednia<\/td>\n<td style=\"text-align: center;\">Prawdopodobnie poradzili\u015bcie sobie z jakim\u015b aspektem Big Data, np. wolumenem danych, ale zupe\u0142nie ignorujecie pozosta\u0142e mierniki, zatem wyniki mog\u0105 nie by\u0107 satysfakcjonuj\u0105ce<\/td>\n<\/tr>\n<\/tbody>\n<tbody>\n<tr>\n<td style=\"text-align: center;\"><strong>30-40<\/strong><\/td>\n<td style=\"text-align: center;\">Korzystna<\/td>\n<td style=\"text-align: center;\">Pozytywny wp\u0142yw na biznes dzi\u0119ki wykorzystaniu Big Data, niweluje trud i problemy z jakimi ich si\u0119 spotykacie aby te dane pozyska\u0107<\/td>\n<\/tr>\n<\/tbody>\n<tbody>\n<tr>\n<td style=\"text-align: center;\"><strong>30-40<\/strong><\/td>\n<td style=\"text-align: center;\">Idealna<\/td>\n<td style=\"text-align: center;\">Biznes kwitnie, \u015bwietnie radzicie sobie z nap\u0142ywaj\u0105cymi danymi kt\u00f3re potraficie doskonale wykorzysta\u0107.Nie jest to jednak nigdy moment aby poprzesta\u0107 w doskonaleniu swojego \u015brodowiska i algorytm\u00f3w<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>Im wi\u0119cej miernik\u00f3w wykorzystasz oraz lepiej przygotujesz skal\u0119 warto\u015bci swojego biznesu, tym \u0142atwiej b\u0119dziesz m\u00f3g\u0142 zadecydowa\u0107 czy informacje jakie pozyskacie dzi\u0119ki <strong>Big Data<\/strong> b\u0119d\u0105 mie\u0107 realny wp\u0142yw na zyski organizacji.<\/p>\n<h3>Czym jest Big Data?<\/h3>\n<p>W kolejnych postach przedstawi\u0119 narz\u0119dzia jakie mo\u017cemy wykorzysta\u0107 do pracy z <strong>Big Data<\/strong>. Przygotuj\u0119 tak\u017ce list\u0119 przyk\u0142adowych, darmowych \u017ar\u00f3de\u0142 danych, na kt\u00f3rych mo\u017cna rozpocz\u0105\u0107 przygod\u0119 z analiz\u0105 i wydobywaniem informacji. Pojawi\u0105 si\u0119 tak\u017ce elementy techniczne czyli jak przygotowa\u0107 sobie \u015brodowisko, aplikacje, jak komunikowa\u0107 si\u0119 z mediami spo\u0142eczno\u015bciowymi i wykorzysta\u0107 do tego wszystkiego zasoby w <strong>Chmurze<\/strong><\/p>\n<ul>\n<li><a href=\"http:\/\/flexray.pl\/zrodla-danych-big-data\/\">\u0179r\u00f3d\u0142a danych dla Big Data<\/a><\/li>\n<li><a href=\"http:\/\/flexray.pl\/ekspresowa-instalacja-hadoop-hive-pig\/\">Ekspresowa instalacja Hadoop, Hive, Pig<\/a><\/li>\n<\/ul>\n","protected":false},"excerpt":{"rendered":"<p>Z pewno\u015bci\u0105 kiedy\u015b zastanawia\u0142e\u015b si\u0119 czym jest Big Data. Us\u0142ysza\u0142em kiedy\u015b \u017ce Big Data zaczyna si\u0119, gdy ko\u0144cz\u0105 nam si\u0119 [&hellip;]<\/p>\n","protected":false},"author":2,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[7],"tags":[11],"class_list":["post-71","post","type-post","status-publish","format-standard","hentry","category-bigdata","tag-bigdata"],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v14.5 - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>Czym jest Big Data? - Flexray<\/title>\n<meta name=\"description\" content=\"Czym jest Big Data? Rozpoczyna si\u0119 gdy pracujemy nad dynamicznym zbiorem danych i nie jest mo\u017cliwe przetwarzanie ich przy pomocy tradycyjnych narz\u0119dzi.\" \/>\n<meta name=\"robots\" content=\"index, follow\" \/>\n<meta name=\"googlebot\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<meta name=\"bingbot\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"http:\/\/flexray.pl\/czym-jest-big-data\/\" \/>\n<meta property=\"og:locale\" content=\"pl_PL\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Czym jest Big Data? - Flexray\" \/>\n<meta property=\"og:description\" content=\"Czym jest Big Data? Rozpoczyna si\u0119 gdy pracujemy nad dynamicznym zbiorem danych i nie jest mo\u017cliwe przetwarzanie ich przy pomocy tradycyjnych narz\u0119dzi.\" \/>\n<meta property=\"og:url\" content=\"http:\/\/flexray.pl\/czym-jest-big-data\/\" \/>\n<meta property=\"og:site_name\" content=\"Flexray\" \/>\n<meta property=\"article:published_time\" content=\"2014-12-21T17:33:05+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2015-10-19T12:38:56+00:00\" \/>\n<meta property=\"og:image\" content=\"http:\/\/flexray.pl\/wp-content\/uploads\/2015\/09\/BigData_SPA.png\" \/>\n<meta name=\"twitter:card\" content=\"summary\" \/>\n<meta name=\"twitter:creator\" content=\"@flexray\" \/>\n<meta name=\"twitter:site\" content=\"@flexray\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebSite\",\"@id\":\"http:\/\/flexray.pl\/#website\",\"url\":\"http:\/\/flexray.pl\/\",\"name\":\"Flexray\",\"description\":\"IT Services and Consulting\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":\"http:\/\/flexray.pl\/?s={search_term_string}\",\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"pl-PL\"},{\"@type\":\"ImageObject\",\"@id\":\"http:\/\/flexray.pl\/czym-jest-big-data\/#primaryimage\",\"inLanguage\":\"pl-PL\",\"url\":\"http:\/\/flexray.pl\/wp-content\/uploads\/2015\/09\/BigData_SPA.png\",\"width\":246,\"height\":154},{\"@type\":\"WebPage\",\"@id\":\"http:\/\/flexray.pl\/czym-jest-big-data\/#webpage\",\"url\":\"http:\/\/flexray.pl\/czym-jest-big-data\/\",\"name\":\"Czym jest Big Data? - Flexray\",\"isPartOf\":{\"@id\":\"http:\/\/flexray.pl\/#website\"},\"primaryImageOfPage\":{\"@id\":\"http:\/\/flexray.pl\/czym-jest-big-data\/#primaryimage\"},\"datePublished\":\"2014-12-21T17:33:05+00:00\",\"dateModified\":\"2015-10-19T12:38:56+00:00\",\"author\":{\"@id\":\"http:\/\/flexray.pl\/#\/schema\/person\/5c55106ae0528899700cd7b427cdd780\"},\"description\":\"Czym jest Big Data? Rozpoczyna si\\u0119 gdy pracujemy nad dynamicznym zbiorem danych i nie jest mo\\u017cliwe przetwarzanie ich przy pomocy tradycyjnych narz\\u0119dzi.\",\"inLanguage\":\"pl-PL\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"http:\/\/flexray.pl\/czym-jest-big-data\/\"]}]},{\"@type\":[\"Person\"],\"@id\":\"http:\/\/flexray.pl\/#\/schema\/person\/5c55106ae0528899700cd7b427cdd780\",\"name\":\"Maciej Stopa\",\"image\":{\"@type\":\"ImageObject\",\"@id\":\"http:\/\/flexray.pl\/#personlogo\",\"inLanguage\":\"pl-PL\",\"url\":\"http:\/\/0.gravatar.com\/avatar\/fc9e5f87bff4fd721f9f5c790edb2483?s=96&d=mm&r=g\",\"caption\":\"Maciej Stopa\"},\"sameAs\":[\"https:\/\/www.linkedin.com\/in\/maciejstopa\",\"https:\/\/twitter.com\/flexray\"]}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","_links":{"self":[{"href":"http:\/\/flexray.pl\/wp-json\/wp\/v2\/posts\/71"}],"collection":[{"href":"http:\/\/flexray.pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"http:\/\/flexray.pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"http:\/\/flexray.pl\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"http:\/\/flexray.pl\/wp-json\/wp\/v2\/comments?post=71"}],"version-history":[{"count":7,"href":"http:\/\/flexray.pl\/wp-json\/wp\/v2\/posts\/71\/revisions"}],"predecessor-version":[{"id":278,"href":"http:\/\/flexray.pl\/wp-json\/wp\/v2\/posts\/71\/revisions\/278"}],"wp:attachment":[{"href":"http:\/\/flexray.pl\/wp-json\/wp\/v2\/media?parent=71"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"http:\/\/flexray.pl\/wp-json\/wp\/v2\/categories?post=71"},{"taxonomy":"post_tag","embeddable":true,"href":"http:\/\/flexray.pl\/wp-json\/wp\/v2\/tags?post=71"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}