# data[].attributes.headline
Darmowy kurs SkillsBuild: Czym jest nauka o danych i gdzie jest wykorzystywana?

# data[].attributes.subject
Darmowy kurs SkillsBuild: Czym jest nauka o danych i gdzie jest wykorzystywana?

# data[].attributes.attachment_link.readable_text
Free learning and resources

Over five billion people around the world are online these days. And we're all creating tons of data every time we do a google search or open an app. But what happens to that data? How do companies make use of it to grow their business? What do you need to know to be a more informed consumer? Explore these questions and get answers in our free data science courses.

For students

Dive into our free resources and learn what data science is and how it's used in different industries (like music and streaming). And explore data science career paths!

For educators

You can use these data science resources to plan lessons and implement content with your students. The curriculum map lays out student goals, local standards addressed (for you to fill in and customize), course and activity links, student objectives, estimated time, available assessments, and associated teacher resources.

Ready to start building your future?

Start exploring the tech and workplace topics and skills that interest you. Gain new skills, earn digital badges, and build the future you want. What're you waiting for?

# data[].attributes.attachment_link.title
Free Data Science Courses for Students | IBM SkillsBuild

# data[].attributes.attachment_link.description
Free learning and resources Over five billion people around the world are online these days. And we're all creating tons of data every time we do a google search or open an app. But what happens to that data? How do companies make use of it to grow their business?

# data[].attributes.headline
Praca w branży data science #ZawodowyStream

# data[].attributes.subject
Praca w branży data science #ZawodowyStream

# data[].attributes.body
Obejrzyj webinar "Praca w branży data science" i dowiedz się, w jakich obszarach można pracować, jak zostać data scientistem i jakie kompetencje są kluczowe.

# data[].attributes.attachment_link.title
Praca w branży data science #ZawodowyStream

# data[].attributes.attachment_link.title
Łukasz Prokulski - analiza danych, data science, wizualizacje, język R

# data[].attributes.attachment_link.description
Analiza liczb, BI, data science & data mining. Raporty i wizualizacje danych. Predykcja i modele. Dashboardy managerskie.

# data[].attributes.headline
Opis zawodu Data Scientist w Mapie Karier

# data[].attributes.subject
Opis zawodu Data Scientist w Mapie Karier

# data[].attributes.attachment_link.readable_text
Dzięki moim badaniom można dowiedzieć się, jakie działania przynoszą przedsiębiorstwu największe korzyści, jak zachowują się konsumenci, co wpływa na wyniki firmy, dla której wykonuję analizy i jakie są prognozy na przyszłość. Data Scientist potrzebna jest w każdej branży, mogę więc zdobywać doświadczenie w różnych sektorach.

Przede wszystkim odkrywam niewidoczne na pierwszy rzut oka zależności w ogromnych zbiorach danych. Żeby dobrze wykonać postawione przede mną zadanie, muszę posiadać bardzo rozległe umiejętności, zarówno techniczne, jak i biznesowe. Przewidywanie trendów sprzedażowych, zmniejszenie liczby awarii maszyn, identyfikacja ryzykownych transakcji - wszystkie te kwestie można rozwiązać dzięki mojej pracy.

Każdy projekt rozpoczyna się od zgromadzenia danych i ich obróbki do takiej postaci, w której mogę je poddać dalszej analizie. Niestety, dane z różnych źródeł są często bardzo różne, dlatego duża część mojej pracy to ich ujednolicenie, np. wyrażenie wszystkich danych w tych samych jednostkach lub rozwiązanie problemu brakujących danych poprzez wpisanie średnich wartości z innych okresów. Gdy już mam gotową bazę, przystępuję do eksploracji danych. To znaczy zapoznaję się z nimi i szukam istniejących zależności. Następnie przechodzę do właściwej analizy. Wykorzystuję w niej bardzo różne metody statystyczne, ekonometryczne bądź z obszaru uczenia maszynowego.

Moja branża jest tak rozległa, a algorytmy tak zmienne, że muszę wciąż się uczyć, żeby być na bieżąco. Inaczej ciężko utrzymać się w branży, dlatego regularnie się dokształcam na różnych kursach, głównie online, czyli w sieci.

Muszę posiadać umiejętność programowania oraz obsługi baz danych, aby poradzić sobie z dużymi zbiorami danych. Dodatkowo wciąż muszę się szkolić i być na bieżąco z nowymi technologiami, aby nie wypaść z rynku. Muszę znać matematykę na wysokim poziomie, aby ze zrozumieniem wykorzystywać w pracy skomplikowane metody statystyczne lub ekonometryczne, dzięki znajomości matematyki mam pełną kontrolę nad tym, co robię. Muszę znać język angielski w stopniu przynajmniej dobrym, aby móc swobodnie czytać artykuły na temat nowych metod i technologii, w tej branży trzeba się nieustannie szkolić, a większość nowości przychodzi z zagranicy, dodatkowo, wiele kursów doszkalających dostępnych jest jedynie w tym języku.
Jakie kompetencje miękkie są ważne w mojej pracy?

eksperymentowanie z metodami,

umiejętność komunikacji oraz klarownego przedstawiania wniosków,

kreatywność,

dociekliwość.

Gdzie mogę pracować?

Mogę znaleźć zatrudnienie w firmach z różnych branż, np. e-commerce, finansowej, IT, logistycznej, marketingowej.

# data[].attributes.attachment_link.title
Data Scientist | Poznaj zawód | Mapa Karier

# data[].attributes.attachment_link.description
Dzięki moim badaniom można dowiedzieć się, jakie działania przynoszą przedsiębiorstwu największe korzyści, jak zachowują się konsumenci, co wpływa na wyniki firmy, dla której wykonuję analizy i jakie są prognozy na przyszłość. Data Scientist potrzebna jest w każdej branży, mogę więc zdobywać doświadczenie w różnych sektorach.

# data[].attributes.attachment_link.title
Blog o Data Science, Machine Learning i Artificial Intelligence

# data[].attributes.attachment_link.description
Blog o Data Science, Machine Learnin i Artificial Intelligence. Data Science, sztuczna inteligencja i uczenie maszynowe są głównymi tematami, które poruszam we wpisach na blogu Data Science. Realne problemy i zastosowanie Data Science w biznesie.

# data[].attributes.attachment_link.title
Mirosław Mamczur - Blog o data science, uczeniu maszynowym i wizualizacji danych

# data[].attributes.attachment_link.description
Blog o data science, uczeniu maszynowym i wizualizacji danych

# data[].attributes.attachment_link.provider_name
Kodołamacz.pl - Zostań programistą w 7 tygodni!

# data[].attributes.attachment_link.readable_text
Z roku na rok rośnie zapotrzebowanie na przetwarzanie i analizę danych, a co za tym idzie - na profesjonalistów, którzy potrafią te dane zrozumieć i wykorzystać w projektowaniu nowoczesnych rozwiązań biznesowych. Jak to wygląda w praktyce? - na to i inne pytania odpowiada Michał Mikołajewicz, Data Scientist w Integration Alpha.

Jak wcześnie zacząłeś się interesować tematyką Data Science?

Temat poznałem dopiero na Uniwersytecie Ekonomicznym w Poznaniu. Studiowałem tam Inżynierię finansową, a jedną ze specjalizacji tego kierunku była analityka i przetwarzanie danych. Jej wykładowcy podkreślali, że analitycy będą w przyszłości bardzo przydatni, ponieważ statystyka i umiejętność odpowiedniej analizy wniosków z badanych danych będą ogromnie użyteczne. Wtedy podchodziłem do tego nieco sceptycznie i byłem jednak bardziej ukierunkowany na finanse, aczkolwiek już wtedy zdawałem sobie sprawę, że jedno z drugim niejako się łączy, ponieważ i tu i tu analizuje się pewne trendy oraz wzorce w danych i na ich podstawie wyciąga wnioski. Po jakimś czasie natrafiłem na kilka artykułów na temat data science i powoli zacząłem się tym interesować. Z czystej ciekawości skończyłem kilka kursów z tym związanych, spodobało mi się to i postanowiłem kontynuować.

Wróćmy na chwilę do początku Twoich studiów. Skąd pomysł na Inżynierię Finansową?

Właściwie od zawsze interesowałem się oszczędzaniem pieniędzy oraz ich inwestowaniem. Ciekawiło mnie londyńskie City, kusiła wizja szklanych biurowców i ogromnych jak na polskie realia zarobków. Chciałem wiedzieć, jak wygląda praca na giełdzie i jak tworzyć algorytmy, które mogłyby same inwestować. W pewnym momencie postanowiłem związać swoją przyszłość właśnie z tym tematem, więc inżynieria finansowa to był niejako oczywisty wybór.

Z perspektywy czasu - wolałbyś zostać w tamtym sektorze, czy jednak to, co robisz teraz jest ciekawsze?

W zasadzie trudno mi jednoznacznie odpowiedzieć na to pytanie, ponieważ obie dziedziny mocno się przenikają. W obu z nich wykorzystuje się dane do sporządzania pewnego rodzaju analiz, z tym, że inny jest ich cel. W inżynierii finansowej przykładowym zadaniem może być zbudowanie modelu zarządzania ryzykiem finansowym, który można wykorzystać do inwestowania. Data science to z kolei problemy bardziej biznesowe, które w mniejszym bądź większym stopniu, ale jednak odbiegają od finansów. Dodatkowo branża finansowa jest często uregulowana rozmaitymi umowami, jak na przykład bazylejska, które w pewnym stopniu wymuszają zastosowania pewnych rozwiązań. Rozwiązując problem biznesowy w większości przypadków takich wielkich ograniczeń nie ma.

Wróćmy zatem do Data Science. Co się działo po ukończeniu kursów?

Gdy wchodziłem na rynek pracy te 5-6 lat temu, to temat Data Science w Polsce był mało znany. Jedni w ogóle o tym nie słyszeli, inni się nie interesowali. Ofert pracy było bardzo mało i trudno było gdziekolwiek się dostać. Pojedyncze, ciekawsze oferty trafiały się tylko w większych firmach, takich jak na przykład Allegro. Jednak po pewnym czasie trend się odwrócił i od tamtej pory mamy prawdziwy boom na Data Scientistów na całym świecie.

Data Science jest dość szerokim pojęciem. Jaka jest Twoja specjalizacja?

Specjalizuję się w uczeniu maszynowym (Machine Learning) i sztucznej inteligencji (Artificial Intelligence/ Deep Learning). Na co dzień używam głównie języków R czy Python i oraz Scala.

Na jakim stanowisku pracujesz?

Na co dzień pracuję w szwajcarskim startupie jako oczywiście Data Scientist, ale w wolnym czasie staram tworzyć swój produkt oraz prowadzę szkolenia w tym zakresie [Data Science - przyp.].

Czym się konkretnie zajmujesz w codziennej pracy?

Po przyjściu do pracy, jak wszyscy, piję kawę i sprawdzam maile (śmiech). Potem oczywiście zabieram się za właściwą pracę. Zwykle dzielimy się obowiązkami z resztą zespołu, jednak to mi zazwyczaj przypadają zadania znalezienia odpowiedniego podejścia do różnych problemów, jakie natrafiamy tworząc swój produkt. Często wiąże się to z mnóstwem główkowania, jak podejść do problemu, aby jego rozwiązanie ucieszyło Klienta. Zdarza się, że więcej jest pracy „operacyjnej", gdzie trzeba odpowiednio zastanowić się i zaprojektować rozwiązanie od jego samej implementacji. Gdy już jednak uda nam się to zrobić i jesteśmy zadowoleni z rezultatów, czeka nas kolejny etap, czyli przeniesienie naszego rozwiązania na poziom biznesowy, czyli opakowanie tego w odpowiednią wizualizację, czym też się zajmuję. Na końcu oczywiście trzeba też opowiedzieć o swoich wynikach.

Jednym słowem - Data Scientist nigdy się nie nudzi?

Dokładnie. Moja praca jest bardzo urozmaicona. Raz muszę usunąć zduplikowane wartości z bazy danych, innym razem na podstawie danych historycznych robię predykcję szeregów czasowych na przyszłość, kiedy indziej pracuję nad stworzeniem silnika rekomendacyjnego dla klientów naszej firmy. Cały czas dzieje się coś innego.

Jakie kompetencje powinny cechować kandydata na Data Scientist?

Szczerze mówiąc dobrze byłoby mieć wiedzę z wielu obszarów. Ktoś kiedy nawet powiedział, że Data Scientist jest kimś, kto ma większą wiedzę ze statystyki niż programista i lepiej programuje od matematyka. Do tego dołożyłbym jeszcze umiejętności z ogólnej obsługi komputera czy wiedzę biznesową.
W praktyce wygląda to tak, że Data Scientist powinien znać jakieś 2-3 języki programowania, umieć poruszać się w konsoli linuxowej i dobrze znać bazy danych oraz orientować się w technologiach Big Data.

Czy jest coś jeszcze, co mógłbyś polecić kandydatom na Data Scientsta?

Myślę, że poza tym, co wymieniłem, ważne są również umiejętności miękkie, takie jak: komunikatywność, storytelling czy umiejętność przekonania członków zespołu do swojego rozwiązania.

Wbrew pozorom to również ważne umiejętności. Wiadomo, tona handlu jest lżejsza od kilograma pracy [śmiech]. Jednak tutaj chodzi o coś zupełnie innego. W przypadku, gdy stworzysz model, który nawet będzie w 100% skuteczny, ale nie będziesz potrafił tego przenieść na realia biznesowe, bo nikt nie będzie widział w tym sensu, to musisz liczyć się z tym, że Twoje rozwiązanie nigdy nie będzie zaimplementowane i w rezultacie wyląduje w koszu. Tym właśnie jest tzw. storytelling, czyli umiejętność opowiadania o swoim rozwiązaniu innym. O dobrej znajomości angielskiego chyba nie muszę wspominać [uśmiech]?

Jak wygląda praca w zespole Data Scientist?

Tak jak już wspominałem wcześniej, na początku zwykle identyfikujemy problem, o ile sam się nie rozwiązał [śmiech]. Tak naprawdę zawsze jest coś do zrobienia, bo ciągle można ulepszać dane rozwiązanie. Następnie robimy burzę mózgów, każdy zastanawia się nad tym, jak można do tego podejść i na końcu, gdy wszystko jest jasne, rozdzielamy zadania i każdy siada do swojej części. Tak to działa w start upach. W korporacjach zwykle zadania przydziela ktoś na stanowisku seniora.

Czy ktoś, kto nigdy wcześniej nie miał styczności z tą dziedziną, ma szansę na to, by się przekwalifikować? I w jakim czasie?

Według mnie na pewno nie trzeba kończyć studiów, by móc zostać Data Scientist. Dużo ważniejsza jest praca własna i samozaparcie. Dzisiaj istnieje również wiele firm i instytucji, które prowadzą szkolenia w tym zakresie. Na pewno jest łatwiej wejść do branży niż jeszcze kilka lat temu. W swojej pracy nie wykorzystuję większości wiedzy której nabyłem na studiach, chociaż zdecydowanie się to przydaje. Często mam inną wizję rozwiązania, niż ktoś np. po mechanice. Wbrew pozorom znam przypadki, gdzie na podobnych stanowiskach pracowali ludzie po filozofii i innych „egzotycznych" kierunkach i wcale nie byli gorsi od tak zwanych umysłów ścisłych.

Ja osobiście w większości bazuję na wiedzy, którą zdobyłem na kursach. Trzeba pamiętać, że Data Science to dziedzina, która cały czas się rozwija, dlatego trzeba ciągle starać się poszerzać nabytą wiedzę. Według mnie już po kilku miesiącach wytężonej pracy można spróbować szukać stażu. Wręcz powinno się to zrobić, ponieważ zdobywanie wiedzy czysto teoretycznej jest niewspółmierne do praktyki, a przy dzisiejszym stanie rynku pracy jest duża szansa, że uda się gdzieś załapać.

Kilka miesięcy to znaczy ile?

Jeśli ja zaczynałbym teraz od zera, to myślę, że spokojnie mógłbym wejść do branży po 3-4 miesiącach. Cała idea Data Science opiera się na samodzielnej nauce. Dlatego podkreślam, jak ważna jest praktyka. W tej branży nikt nikogo nie prowadzi za rączkę. Oczywiście, nikt nie oczekuje od stażysty wiedzy na poziomie doświadczonego specjalisty z 10-letnim stażem, ale z drugiej strony nie w tym rzecz, żeby zatrudnić kogoś i uczyć go wszystkiego od podstaw. Zawsze, gdy ktoś nowy przychodzi do zespołu, to oczekuje się od niego, żeby wniósł pewną energię, zapał i rozruszał pozostałych [śmiech].

Jak w takim razie przekuć teorię na praktykę, jeśli nikt nam nie powie konkretnie, jak coś zrobić?

Wiele rzeczy można znaleźć w sieci. Jest naprawdę dużo materiałów na ten temat. Dodatkowo jest też wiele konkursów Data Science, do których każdy może przystąpić. Różne firmy organizują kursy i bootcampy, istnieją fora tematyczne, na przykład Stackoverflow, gdzie ludzie dzielą się problemami na jakie napotykają podczas pracy i tym, jak je rozwiązać. Można tak wymieniać w nieskończoność.

Implementacja gotowych rozwiązań jest w porządku?

Nie do końca o to mi chodziło. Mój profesor na studiach mawiał: „nie próbujcie wynaleźć koła na nowo, tylko poszukajcie rozwiązania". Chodzi o to, że pewne problemy są już dawno rozwiązane i nie ma potrzeby dochodzić do tych samych wniosków od nowa. Przykładowo, możemy poświęcić kilka dni na to, żeby dojść do pewnego rozwiązania, które ktoś już kiedyś przerobił i nie sprawdziło się w praktyce. W rezultacie stracimy tylko czas, a praca nadal nie będzie wykonana. Czyli nie chodzi o to żeby, nie siedzieć godzinami nad czymś, co nie działa, tylko spróbować poszukać pomocy. Data Science to bardzo duża społeczność.

Gdzie Twoim zdaniem Data Scientists mogą szukać pracy?

Wszędzie tam, gdzie zachodzi potrzeba analizowania danych. Osobiście nie znam branży, w której się tego nie robi. Może poza małymi manufakturami. Jednak wszędzie tam, gdzie występuje potrzeba automatyzacji pewnych procesów, czy ich optymalizacji zachodzi również potrzeba zatrudnienia Data Scientista. Przykładowo w wspomnianej przeze mnie branży finansowej, banki bardzo często zmagają się z problemem kradzieży kart kredytowych.

W branży motoryzacyjnej, Audi, Volkswagen czy BMW pracują nad autonomicznymi pojazdami. Netflix, Amazon czy Allegro rekomendują swoje produkty na podstawie naszych preferencji.

Coraz częściej giganci z tej branży otwierają swoje oddziały w Polsce. Warto też dodać, że obecnie powstaje bardzo dużo innowacyjnych start-upów, w których ludzie z takim profilem bardzo dobrze się sprawdzają.

# data[].attributes.attachment_link.description
Z roku na rok rośnie zapotrzebowanie na przetwarzanie i analizę danych, a co za tym idzie - na profesjonalistów, którzy potrafią te dane zrozumieć i wykorzystać w projektowaniu nowoczesnych rozwiązań biznesowych. Jak to wygląda w praktyce? - na to i inne pytania odpowiada Michał Mikołajewicz, Data Scientist w Integration Alpha.

# data[].attributes.attachment_link.readable_text
Rok się kończy, co zwykle skłania do refleksji, ale też w moim przypadku do mobilizacji, aby zrobić coś nowego w nadchodzącym roku, ale po kolei... Ten rok był dość trudny, ale w tym przypadku chodzi o coś innego niż wirusy. Działo się dużo na wielu polach.

Stabilność modeli to bardzo ciekawy temat. Z jednej strony pojawia się coraz więcej algorytmów, które pokazują całkiem fajny wynik, ale ten wynik czasem może być złudny. Mam na myśli to, że jak wdrożymy model na produkcję, to może nas zaskoczyć. W jaki sposób? W których miejscach mogą być potencjalne kłopoty? O tym dzisiaj będę rozmawiać z Adamem, który bardzo się inspiruje tymi tematami pod wieloma względami. Z jednej strony porozmawiamy o tym, jak ważne jest to, żeby wynik był powtarzalny, z drugiej strony ważna jest także generalizacja wiedzy. Poruszymy też temat potencjalnych ataków, które mogą się przydarzyć i zepsuć model w nieoczekiwanym momencie i z bolesnym skutkiem...

Jak rozwijać się, aby czuć rozpęd i satysfakcję? Praktyczne uczenie maszynowe to bardzo rozległy obszar wiedzy i działań, który daje wiele możliwości, ale także potrafi zwieść na manowce i sprawić, że zacznie się błądzić, co może kosztować wiele czasu, energii i frustracji. Poznaj 3 krótkie historie efektywnego rozwoju, które mogą stać się dla Ciebie inspiracją i cenną wskazówką. Jeśli jesteś na tym blogu od dłuższego czasu, to wiesz, jak bardzo zależy mi na tym, żeby dzielić się wiedzą i uwalniać potencjał. Tym razem zaprosiłem do rozmowy trzy osoby, które brały udział w kursach DataWorkshop. Gdy obserwuję, jak się zmienia świat po tych kursach, to czuję wartość dodaną.

Czasem człowiek ma wrażenie, że to politycy decydują o jego życiu. Dzisiaj chciałbym Ci pokazać, jak ważne jest Twoje zaangażowanie i jak Ty możesz mieć wpływ na swoje życie i otoczenie. Jeżeli zastanowisz się nad tym głębiej, to zrozumiesz, że ten świat nie jest z góry zdeterminowany, czyli nie jest wiadomo jednoznacznie co się stanie, chociaż jeżeli masz umysł analityczny, to możesz dostrzegać, że są pewne grupy osób, które mają bardzo jasną wizję świata. Fundacja DataWorkshop istnieje od początku 2020 roku, a więc stosunkowo krótko. Niemniej już skupia zaangażowanych ludzi wokół i chciałbym dziś przedstawić Ci część z nich.

# data[].attributes.attachment_link.title
Biznes Myśli - by Vladimir, sztuczna inteligencja w biznesie

# data[].attributes.attachment_link.description
Rok się kończy, co zwykle skłania do refleksji, ale też w moim przypadku do mobilizacji, aby zrobić coś nowego w nadchodzącym roku, ale po kolei... Ten rok był dość trudny, ale w tym przypadku chodzi o coś innego niż wirusy. Działo się dużo na wielu polach. Stabilność modeli to bardzo ciekawy temat.

# data[].attributes.headline
Praktyczne wskazówki od praktyka - jak rozpocząć karierę w data science?

# data[].attributes.subject
Praktyczne wskazówki od praktyka - jak rozpocząć karierę w data science?

# data[].attributes.body
Wystąpienie z 2019 roku.

# data[].attributes.attachment_link.title
Jak rozpocząć karierę zawodową w Data Science i czego można się spodziewać po drodze? | A. Możejko

# data[].attributes.attachment_link.readable_text
Już w kilku wpisach na naszym blogu pokazywaliśmy Wam przykłady wykorzystania Tableau i Alteryx w zupełnie niebiznesowych sytuacjach. Przygotowywane wizualizacje miały na celu pokazanie alternatywnej prezentacji danych, które są dostępne w Internecie. Tak...

# data[].attributes.attachment_link.title
Aktualności | Business Intelligence | ETL | Tableau | Alteryx

# data[].attributes.attachment_link.description
Już w kilku wpisach na naszym blogu pokazywaliśmy Wam przykłady wykorzystania Tableau i Alteryx w zupełnie niebiznesowych sytuacjach. Przygotowywane wizualizacje miały na celu pokazanie alternatywnej prezentacji danych, które są dostępne w Internecie. Tak...

# data[].attributes.attachment_link.readable_text
Jeszcze kilka lat temu Data Science było mglistym terminem, często używanym jako . Jednak zagadnienia związane z analizą danych są coraz częściej wykorzystywane w biznesie , a zawód Data Scientist określany jest jako „zawód przyszłości".

Wśród przykładów zastosowania Data Science warto skupić się na tych najpopularniejszych. Liderem wykorzystania Data Science w biznesie jest Amazon, który dzięki analizie danych precyzyjnie określa preferencje zakupowe klientów czy proponuje najbardziej atrakcyjną cenę zakupu danego towaru. Kolejnym przykładem jest Uber, wykorzystujący analizę danych do obliczenia ceny przejazdu oraz dopasowania do danego kursu odpowiedniego kierowcy. Świetnym przykładem jest też Spotify. Trzeba przyznać, że ich system rekomendacji wypada naprawdę dobrze i widać, jak analizy danych pozwalają doskonale dopasować proponowany content do gustu muzycznego użytkownika. Nie można zapomnieć też o Facebooku, który kieruje do odbiorców przekaz reklamowy odpowiednio dobrany do ich aktywności na portalu. Z wykorzystywaniem Data Science możemy spotkać się już praktycznie wszędzie, od sklepów spożywczych, operatorów komórkowych po firmy ubezpieczeniowe czy banki.

Data Scientist - czego oczekuje rynek?

W dobie rosnących zbiorów danych i szybkiego rozwoju usług do ich analizy, segment Data Science przeżywa prawdziwy rozkwit. Wszystko wskazuje na to, że ten trend będzie się utrzymywał. Jak podaje raport IDC, za cztery lata wydatki firm na analitykę danych wzrosną do ponad 203 mld dol. Równolegle będzie rosnąć zapotrzebowanie na Data Scientistów.

Specjaliści Data Science to osoby o bardzo szerokich kompetencjach, które łączą wiedzę biznesową, z matematyką, statystyką i programowaniem. Ich głównym zadaniem jest przełożenie zgromadzonych danych na realną wartość biznesową. Niezwykle ważna jest znajomość statystyki oraz biegłe poruszanie się po zagadnieniach matematycznych. Nie bez powodu w wielu ogłoszeniach firmy wspominają, że chętnie przyjmą osoby z doktoratem z matematyki, choć naturalnie studia nie są tu warunkiem koniecznym. Data Scientist musi również znać któryś z języków programowania. Prym wiodą Python i R, choć ostatnio w ogłoszeniach można natknąć się także na wzmianki o znajomości Scali, która może przydać się w przypadku korzystania z popularnego Spark z biblioteką MLlib. Nieocenione pozostaje też doświadczenie pracy z SQL i bazami noSQL, jak np. Cassandra czy MongoDB. Coraz częściej firmy oczekują od kandydatów znajomości algorytmów uczenia maszynowego, które przydają się przy tworzeniu predykcji czy też trenowaniu modeli. Do tego dochodzi również wiedza biznesowa, która pozwala ocenić wartość danych dla organizacji.

Wywiad z Data Scientistami
Zapytaliśmy członków zespołu 3Soft o szczegóły związane z pracą jako Data Scientist. Adam Staszczyk
Senior Data Scientist w 3Soft. Od 7 lat zawodowo związany z modelowaniem statystycznym oraz ilościową analizą danych.

Absolwent Inżynierii finansowej na Uniwersytecie Ekonomicznym w Katowicach oraz Matematyki na Uniwersytecie Śląskim w Katowicach. Swoją wiedzę i kompetencje z zakresu analizy danych poszerza w ramach studiów doktoranckich w Katedrze Metod Statystyczno-Matematycznych na wydziale Ekonomii Uniwersytetu Ekonomicznego w Katowicach.
Paweł Sroka
Senior Data Scientist w 3Soft. Od 3 lat zawodowo związany z analizą danych. Absolwent Uniwersytetu Ekonomicznego w Katowicach na kierunkach Informatyka i Ekonometria oraz Analiza Gospodarcza.
Jak opisalibyście swoje codzienne obowiązki?
Adam Staszczyk, Senior Data Scientist w 3Soft: Praca Data Scientist w dużym uogólnieniu polega na rozwiązywaniu postawionych przed nim praktycznych oraz teoretycznych problemów, a co za tym idzie jest pracą twórczą i do pewnego stopnia koncepcyjną. Druga strona medalu to przełożenie koncepcji na konkretną implementację w wybranym przez siebie środowisku analitycznym. Codzienną pracę określiłbym jako mix tych dwóch aspektów - jest to nieprzerwany ciąg proponowania pewnych rozwiązań, ich wdrażania i testowania czy przynoszą oczekiwane i faktyczne rezultaty. Wszystko to nie może się również obejść bez odpowiedniego raportowania całego procesu.

Paweł Sroka, Senior Data Scientist w 3Soft: Bardzo często dane które otrzymujemy od naszych klientów, w pierwotnej ich wersji, nie nadają się do dalszej pracy. Należy takie dane w odpowiedni sposób przygotować, by były wartościowe dla projektu. Proces przygotowania danych zajmuje większą część naszej pracy. Do tego dochodzi również research, spotkania z klientami, wykresy oraz modelowanie.
Jakie umiejętności techniczne są kluczowe, aby zostać Data Scientist?
AS: Data Science, jak chyba mało która dziedzina, ma charakter interdyscyplinarny. Jest to obszar znajdujący się pomiędzy informatyką (rozumianą jako najnowsze rozwiązania technologiczne), programowaniem, statystyką i ilościową analizą danych. Z tego też względu nie sposób wyobrazić sobie specjalistę z zakresu DS, który nie korzysta z R lub Python w codziennej pracy. Przydaje się też na pewno obeznanie z bazami i hurtowniami danych, umiejętność sprawnego ich przeszukiwania, pozyskiwania danych do analizy a niekiedy nawet optymalizacji zapytań pod kątem uprodukcyjnienia efektów swojej pracy. To wszystko okraszone powinno być pewną znajomością czy zrozumieniem rozwiązań technologicznych z obszaru big data. Wreszcie znajomość przynajmniej podstawowych zagadnień z zakresu statystyki aby na tej podstawie budować swój warsztat pracy.

PS: Według mnie największe znaczenie ma mix kompetencji - znajomość metod statystycznych, matematyka, logiczne myślenie i oczywiście programowanie.

Jakie umiejętności miękkie są przydatne w pracy Data Scientist? AS: Jako najważniejszy wskazałbym w zasadzie jeden aspekt, który charakteryzuje dobrego Data Scientist - umiejętność komunikacji i jasnego formułowania myśli. Rozumiem tu zarówno komunikację ze współpracownikami, ponieważ rzadko kiedy powierzone nam zadania wykonywane są zupełnie solo, ale również komunikację z klientem czy ogólniej osobą która przyjmuje wyniki naszych prac. Wliczyć w to należy również umiejętność klarownej komunikacji poprzez tworzone przez siebie raporty i wizualizacje.

PS: Zgadzam się z Adamem, że komunikacja ma kluczowe znaczenie, ale dodałbym jeszcze odpowiedzialność, dociekliwość i empatię.
Co spowodowało, że postanowiłeś zostać Data Scientist?
AS: To co spowodowało, że zacząłem iść w takim kierunku znajduje się gdzieś na przecięciu osobistych zainteresowań oraz zwyczajnego życiowego pragmatyzmu. Jestem osobą, która zawsze wykazywała zainteresowanie szeroko pojętymi metodami matematycznymi i statystycznymi, a do tego pisanie kodów daje mi dużo satysfakcji. Poprzez pragmatyzm natomiast rozumiem dwa aspekty. Po pierwsze problemy stawiane w codziennej pracy przed specjalistą z zakresu Data Science zawsze są problemami życiowymi, tj. odpowiadającymi na realne, biznesowe potrzeby klienta. To powoduje, że wyniki mojej pracy nie są jedynie „do szuflady" - mam faktyczne poczucie wpływania na procesy decyzyjne. Drugim aspektem pragmatycznego podejścia jest zwyczajnie fakt, że Data Science jest obszarem, który bardzo dynamicznie się rozwija co daje możliwości ciekawej, perspektywicznej i ambitnej pracy.
Jak oceniasz perspektywy rozwoju?
AS: Patrząc z perspektywy osobistej Data Science pozwala na wszechstronne poszerzanie horyzontów oraz zdobywanie wiedzy z wielu ciekawych obszarów. Sam rozwój osobisty w zakresie Data Science, rozumiany jako poszerzanie swojej wiedzy z zakresu wykorzystywanych metod i technologii, jest niejako immanentą cechą tej dziedziny i ciężko wyobrazić sobie specjalistę z tego zakresu którego warsztat pracy zatrzymał się dekadę temu. Wreszcie granice rozwoju Data Science, jako interdyscplinarnej dziedziny nauki, wraz z rozwojem technologii (zarówno software'u jak i hardware'u) wydają się być nieograniczone.

PS: Branża IT jest stosunkowo elastyczna. Można wybrać wiele ścieżek rozwoju w zakresie analizy danych, od stanowiska Analityka Danych poprzez Data Scientist („naukowca" od danych 😉 ) , kończąc na specjalizacji związanej z sieciami neuronowymi. Pozostaje jeszcze wiele obszarów i technologii do odkrycia.
Z jakimi technologiami głównie pracujesz?
AS: W przeważającej części swoją codzienną pracę wykonuję z wykorzystaniem środowiska R w połączeniu z platformą H2O (zarówno poprzez R API jak i interfejs webowy). Pracując z R naturalnie korzystam z wielu ogólnie dostępnych i sprawdzonych pakietów do przetwarzania i modelowania. Mógłbym jeszcze w tym miejscu wskazać na Apache Hive'a od strony pozyskiwania oraz przetwarzania danych, ponieważ akurat takie rozwiązanie jest stosowane przez firmę.

PS: Do tego zestawu dodałbym jeszcze Python, Xgboost, Hadoop, Spark, relacyjne i nierelacyjne bazy danych.
Co polecasz do nauki i treningu osobom, które chcą zostać Data Scientist?
AS: Wydaje mi się, że do tematu najlepiej podejść dwutorowo. Osobiście, osobom które są zupełnie nowe w temacie, na start poleciłbym z jednej strony lekturę dobrej książki i poznanie tematu od strony teoretycznej - nie chodzi o 100% opanowanie tematu, a bardziej o zapoznanie się ogólnie z metodami i świadomość istnienia pewnych rozwiązań - z drugiej zaś postawienie przed sobą praktycznego problemu do rozwiązania w oparciu o ogólnodostępne zbiory danych, bo nie ma lepszego sposobu na naukę niż konieczność zmierzenia się z konkretnym problemem. Dodatkowo życzę dużo uporu w dążeniu do celu. Zagadnienia z obszaru Data Science potrafią być bardzo niewdzięczne. Na 10 potencjalnie fajnych pomysłów 9 najprawdopodobniej się nie sprawdzi i taki stan rzeczy potrafi prowadzić do rosnącej frustracji.
O firmie 3Soft
Naszą misją jest pomaganie przedsiębiorstwom we wprowadzaniu podejścia Data-Driven Business. Od ponad 15 lat wspieramy największe przedsiębiorstwa w uzyskaniu i utrzymaniu przewagi konkurencyjnej poprzez wykorzystanie dedykowanych systemów informatycznych. Oferujemy rozwiązania z zakresu Artificial Intelligence, Data Management oraz Business Automation.

Projektujemy i uruchamiamy platformy informatyczne pozwalające gromadzić, przetwarzać i analizować duże zbiory danych. Specjalizujemy się w dostarczaniu rozwiązań dla klientów z branży finansowej i retail. Dzięki wiedzy, doświadczeniu i pasji ponad 85-osobowego zespołu realizujemy zaawansowane technologicznie i biznesowo projekty, wydobywając z dużych zbiorów danych wartość biznesową.

Nasz sukces opieramy na wsłuchiwaniu się w potrzeby klientów, podążaniu za mega trendami, ciągłym rozwoju i wykorzystaniu nowych technologii. Pozwala nam to utrzymać pozycję Lidera w branży.

Data Scientist - zawód przyszłości

Dla wielu osób Data Science może być świetnym kierunkiem rozwoju. Pozwala na pracę w dynamicznie rozwijającym się segmencie, umożliwia łączenie wiedzy biznesowej ze statystyką i programowaniem. Co prawda, wymaga szerokiej wiedzy, jednak w zamian zapewnia naprawdę ciekawe zadania i atrakcyjne zarobki.

Co sądzicie o pracy jako Data Scientist?

# data[].attributes.attachment_link.title
Data Scientist: opis jednego z najciekawszych zawodów

# data[].attributes.attachment_link.description
Liczba urządzeń produkujących dane stale rośnie. Według raportu DOMO, w 2020 roku, każdy z nas będzie przeciętnie „wytwarzał" 1,7 MB informacji na sekundę, a łączna liczba danych na świecie przekroczy 45 zetabajtów. Tak duże zbiory, aż proszą się o dokładną analizę i sprawdzenie jakie informacje się za nimi kryją.

# data[].attributes.headline
Czym się różni Data Analytics, Data Science i Machine Learning?

# data[].attributes.subject
Czym się różni Data Analytics, Data Science i Machine Learning?

# data[].attributes.attachment_link.readable_text
Mnóstwo ambitnych, aktywnych ludzi z branży IT deklaruje chęć zajmowania się „Data Science" lub „Data Analytics", a nawet „Machine Learning". To aktualnie bardzo modne pojęcia i pewnie wiele osób skieruje się właśnie na taką ścieżkę rozwoju kariery. Dlatego warto dowiedzieć się, co one znaczą i jak wygląda praca na stanowiskach z nimi związanych.
Rafał Kraik. Specjalizuje się w programowaniu, bazach danych, analizie danych, automatyzacji i projektowaniu rozwiązań informatycznych. Z racji wykształcenia nie unika matematyki. Trener profesjonalnych szkoleń IT w formie tradycyjnej i online. Pracował/pracuje/prowadził szkolenia dla takich firm i instytucji jak ING, Intel, Cadbury, Bank PeKaO, Volvo, UPC, ZUS, Poczta Polska i wiele innych.

Zacznijmy od tego, jak należy rozumieć pojęcia Data Science i Data Analytics, ponieważ bywają błędnie rozpoznawane, a jeśli dodać do nich Machine Learning, to rzeczywiście można mieć pewne wątpliwości, co jest czym.

Data Analytics

Data Analytics zajmuje się analizą istniejących danych (to ważne!), a tych obecnie przybywa w astronomicznych prędkościach. Niestety dane pochodzą z różnych źródeł, posiadają różne formaty i są różnej jakości. Stąd też spora część pracy analitycznej zaczyna się jeszcze przed właściwą analizą! Jej celem jest wykrywanie prostych zależności, które między poszczególnymi danymi występują oraz zaprezentowanie tej informacji w taki sposób, aby były czytelne dla biznesu. To właśnie biznes jest głównym odbiorcą przetworzonych danych, bo dobra znajomość zależności między zdarzeniami biznesowymi pozwala je efektywnie wykorzystać i dzięki temu odnosić sukcesy biznesowe, jakiekolwiek by one nie były, bo przecież nie tylko o sukcesach finansowych mowa.

Badać można zależność skutków leczenia od zastosowanej terapii, częstość występowania skutków ubocznych podawanych leków, albo bezpieczeństwo pojazdów w zależności od wykorzystanych komponentów i technologii. Można nawet przeprowadzać humanistyczne studia dotyczące zależności poczucia szczęścia od stanu posiadania itp. Znając takie zależności, można następnie podejmować decyzje, licząc na to, że firma więcej zarobi, lub że wyleczona zostanie choroba uznawana za nieuleczalną, samoloty będą bezpieczniejsze, a ludzie szczęśliwsi. To podejmowanie decyzji jest już poza gestią analityka danych. Udokumentowanie zależności i ich zaprezentowanie kończy jego rolę, choć nie bagatelizujmy tego zajęcia. Biorąc pod uwagę natłok danych i często ich słabą jakość - przetworzenie danych, wykrycie zależności i jej opisanie, to już naprawdę dużo.

Data Science

Tymczasem Data Science to pojęcie szersze, które jest zbudowane w oparciu o Data Analytics, ale które wychodzi do przodu, w przyszłość, w bardziej aktywne odnajdowanie zależności, kierowanie procesem, który na tych zależnościach jest zbudowany. Specjalista zajmujący się Data Science będzie musiał w zdecydowanie większym stopniu rozumieć dane. Co ciekawe, do dobrego ich zrozumienia nie wystarczy tylko znajomość IT. Chcesz wydajnie opisywać to co się dzieje na giełdzie, chcesz doradzić jak zmienić proces produkcyjny, albo pomóc wygrać wybory - musisz wykazać się znajomością tych właśnie dziedzin. Bardzo ważne stają się też umiejętności matematyczne i statystyczne. Właśnie tutaj najbardziej widoczna staje się różnica między Data Analytics a Data Science.

W Data Science do odnajdowania zależności, które nierzadko są w danych dobrze ukryte, zostaną dodatkowo zastosowane metody typowo naukowe. Zdarza się, że programista aplikacji biznesowych zastanawia się po co właściwie uczył się w swoim życiu zaawansowanej matematyki. Przecież do stworzenia aplikacji księgowej, magazynowej, obsługi sklepu internetowego wystarczy... znajomość dodawania, odejmowania, czasami dzielenia i działań na procentach. A po co cała reszta wyższej matematyki? Takie pytania nie powinny dręczyć specjalisty Data Science. Wariancja, kowariancja, średnia, mediana, kwantyl, odchylenie standardowe, błąd średniokwadratowy - to pojęcia, którymi musi się posługiwać na co dzień. To pewnie przesada, ale Data Scientist, to trochę „człowiek renesansu", znający kilka różnych dziedzin.

Z jednej strony musi znać branżę IT - bo Data Scientist musi być w stanie programowo rozwiązywać swoje problemy. Z drugiej strony znać matematykę i statystykę, bo rozumiejąc pojęcia statystyczne może lepiej opisywać dane i aktywnie poszukiwać niekiedy ukrytych zależności. To właśnie te elementy sprawiają, że Data Analyst staje się Data Scientist.

Machine Learning

Mamy jeszcze trzecie pojęcie, które znajduje się pod parasolem Data Science. Jest to Machine Learning Specialist. Otóż kiedy dane są już dokładnie zbadane, można pójść jeszcze jeden krok do przodu. Można zadać pytanie o takie dane, które w tej chwili jeszcze nie istnieją. Tym właśnie zajmuje się Machine Learning. Jednak nie o samo przewidywanie przyszłości tutaj chodzi. Jeśli zapytam o to jakie szkody wyrządzi kamień rzucony w okno, to nie jest to raczej pytanie, na które należy odpowiadać stosując machine learning. O wiele lepsze będzie tu zastosowanie reguł fizycznych, które przy znanej masie kamienia, gęstości szyby, sile rzutu itp. dokładnie odpowie na pytanie co się stanie.

Machine Learning to również nie przewidywanie pogody - tutaj stosuje się specyficzne algorytmy, które jednak potrafią rozwiązać tylko jeden specyficzny problem. Machine Learning buduje swoje algorytmy pozwalające na odgadywanie nieznanych wartości w oparciu o dane, które już istnieją. Korzystając z informacji zwróconych przez Data Science można zbudować model zależności, pozwalający z pewnym prawdopodobieństwem przewidywać wyniki dla nowych napływających danych. W Machine Learning mamy do czynienia z tym, co zostało odkryte w etapie pracy Data Scientist, ale zapominamy o samych danych, pozostają jedynie zależności, które całościowo nazywa się modelem.

Przykład z krakowskiego podwórka

Prześledźmy to na przykładzie. Ostatnimi czasy pojawiła się w Internecie publikacja dotycząca badania opóźnień tramwajów w Krakowie ( https://aczepielik.github.io/post/kraktram/ ). Jak to jest z tramwajami każdy mniej więcej wie. Można się domyślać, że w godzinach szczytu opóźnienia są największe, można zgadywać, czy tramwaj jest w stanie nadrobić spóźnienie, można nawet próbować typować miejsca na mapie, gdzie dochodzi do największych opóźnień. Praca analityka badającego opóźnienia tramwajów w Krakowie rozpoczęła się od pobrania danych z serwisu zsynchronizowanego z wyświetlaczami na przystankach. Trzeba przyznać, że już ten etap jest dość złożony technicznie.

Wynika to chociażby z tego, że na stronie zakładu komunikacji nie znajdziemy gotowego pliku z historią przejazdów tramwajów. Każdy typ informacji, jak np. dane pojazdów, numery i nazwy przystanków, spodziewane i niedawne odjazdy pojazdów są zwracane przez dedykowany do tego web service. Dane te trzeba regularnie pobierać, oczyszczać i zapisywać. Jak podaje autor opracowania jedna runda zapytań trwała około 20 sekund, po której należało uruchomić następną rundę. Nie każdy dałby sobie z tym radę.

Kolejny etap to wstępne przeanalizowanie zebranych informacji: jakie mamy linie, ile przystanków ma każda z nich, jak często wyjeżdżają tramwaje, ile wynosi ich opóźnienie itp. Znowu praca wcale nie jest łatwa, bo trzeba przecież wyraźnie określić co to jest opóźnienie. Tramwaj mógł się po drodze zepsuć i wcale nie dotrze na przystanek. Co z tym zrobić? W każdym razie praca analityka skończyłaby się prawdopodobnie na etapie stworzenia odpowiednich zestawień, bez wywodzenia spektakularnych wniosków.

Autor analizy poszedł jednak krok dalej i do zebranych danych zastosował analizy statystyczne, a ze względu na stopień ich skomplikowania wielokrotnie posługiwał się wykresami, które pozwalały obserwować wykrywane nowe zależności. I co się okazało? Udało się ustalić godziny największych spóźnień, najbardziej strategiczne przystanki, a nawet w jakim stopniu tramwaje są w stanie nadrobić opóźnienia! A to wszystko poparte wzorami, obliczeniami i zilustrowane wykresami. Taka analiza zdecydowanie wykracza już poza zwykłą analizę - to już z całą pewnością Data Science!

Ponieważ autorowi udało się matematycznie opisać ruch tramwajowy, to właściwie już niewiele brakuje, żeby ten model sam potrafił przewidzieć z jakim opóźnieniem dotrze tramwaj wyruszający ze stacji A do stacji B, jeśli miałoby to miejsce w przyszłą środę o 10:00. Gdyby tylko istniała możliwość wykonywania takich prognoz, to mielibyśmy już model Machine Learning.

Każda przeprowadzona analiza mogłaby być chyba bez końca pogłębiana. Jaki wpływ na opóźnienie ma ilość podróżujących pasażerów, jak mocny wpływ na ruch tramwajowy ma ruch samochodowy itp. Co jednak ciekawe, badania autora zostały skomentowane przez czytelników, którzy znają prawdopodobnie transport tramwajowy bardziej od podszewki. Zasugerowali kolejne zależności, których autor mógł nie być świadomy, jak np. długość składu.

Wymagania

Wiedząc, co opisują te pojęcia, możemy dalej zastanowić się nad umiejętnościami potrzebnymi w każdej z tych dziedzin.

Analityk pracujący na istniejących danych musi umieć nimi operować. W przypadku mniejszych zbiorów danych, może pracować nawet z Excelem, jednak jako narzędzie graficzne, w miarę analizowania coraz to obszerniejszych zbiorów danych, stanie się problemem a nie pomocą. Zważając, że dane trzeba coraz częściej pobierać z różnych źródeł danych przydaje się znajomość SQL, umiejętność korzystania z XML, JSON, CSV, webservice, PIG, HIVE i wielu innych - wszystko zależy skąd są pobierane dane.

Druga kwestia to narzędzia, które pozwalają na tych danych operować. I tu do dyspozycji pozostają dwaj główni liderzy - Python i język R. Oba potrafią połączyć się do różnorodnych źródeł danych i oba potrafią je przetwarzać. Zadziwiające jest, jak bardzo analiza danych wykonywana w Python z modułem PANDAS jest podobna do operacji wykonywanych w Excelu! Dzięki pobraniu właściwych danych, można je następnie zinterpretować i przedstawić w postaci wykresów, które pozwalają zrozumieć dane nawet osobom nietechnicznym.

Każda z wymienionych wcześniej umiejętności jest potrzebna w zaawansowanym Data Science. Wydaje się, że do dogłębnego przeanalizowania zależności w danych potrzebna jest zdecydowanie bardziej znajomość programowania. Nawiązując do przykładu z analizą ruchu tramwajowego, samo pobranie danych i ich wstępne przetworzenie wymagało doświadczenia w kilku technologiach. Dodatkowo właściwe zinterpretowanie wyników wymagało sięgnięcia do pojęć z matematyki i statystyki. Odkrywając poszczególne zależności analityk musi sobie stale zadawać pytanie „dlaczego?". Nierzadko odpowiedzi tej nie znajdzie, póki nie zdobędzie rzeczowej informacji z rzeczywistego świata, który jest poddawany analizie. To, że tramwaj spóźnia się na określonym przystanku o określonej godzinie może być spowodowane np. remontem torowiska, o którym zebrane dane milczą - a to tylko prosty przykład dotyczący komunikacji, na który może się wypowiedzieć praktycznie każdy pasażer. A co w przypadku analiz dotyczących działania leku? Czy analityk nie będzie potrzebował wiedzy lub wsparcia w zakresie medycyny? Oczywiście, że tak.

O ile sam proces zebrania danych lub analizy to w większości praca z narzędziami informatycznymi, o tyle samo „uprawianie nauki" na tych danych to już typowa praca kreatywna i odkrywcza. Na szczęście wiele statystycznych metod oraz narzędzi wizualizujących wyniki może być tworzonych w wyspecjalizowanych do tego celu narzędziach. W wielu przypadkach są one z racji swojego zaawansowania płatne. Istnieją jednak biblioteki obsługiwane z poziomu Pythona lub R, które pozwalają efektywnie badać dane.

Często przedstawiając taki punkt widzenia zdarza się usłyszeć, że przecież języki Python i R są językami skryptowymi, interpretowanymi, a co za tym idzie wcale nie najbardziej wydajnymi, tymczasem naukowe badanie danych wymaga super wydajnych obliczeń. Coś tutaj nie gra - czy Python i R nie są przypadkiem tylko modą wśród analityków? Zarówno Python jak i R w tych zastosowaniach to jedynie interfejs dla wyspecjalizowanych i zoptymalizowanych bibliotek matematycznych stworzonych i skompilowanych w językach Fortran lub C. Kiedy w Pythonie wykonujesz mnożenie wielowymiarowych macierzy, to operacja taka będzie wykonywana przez moduł NumPy - zoptymalizowany do takich działań. Nie ma więc obaw o to, że coś zostanie wykonane amatorsko. Biblioteki są tworzone i testowane nie tylko przez wąskie grono zapalonych naukowców. Korzysta z nich praktycznie cały świat od uczelni po czołowych graczy rynku IT.

No i teraz wisienka na torcie - Machine Learning. Do całego wcześniej opisanego zestawu umiejętności i narzędzi trzeba dorzucić specjalistyczną wiedzę dotyczącą budowania modułów predykcyjnych oraz powiązane z nimi moduły. Co ciekawe baza cały czas pozostaje ta sama: Python, R lub dedykowane płatne narzędzia. Bez dobrych umiejętności programistycznych i bez znajomości statystyki dobry model danych raczej nie powstanie. Machine Learning jest jedną z najmłodszych dziedzin w zakresie pracy z danymi. Algorytmy uczące skupiają się na takim opisaniu danych, że... właściwie powstają gotowe wzory, do których należy wstawić nowe, w chwili obecnej jeszcze nie znane dane, a algorytm w oparciu o nabyte wcześniej doświadczenia wyliczy z pewnym prawdopodobieństwem wynikowe dane. Istnieją różne metody na zbudowanie struktur, które potrafią przewidywać jeszcze nieznane wyniki, a te najbardziej popularne to regresja liniowa (Linear Regression), metody gradientowe (Gradient Descent), drzewa decyzyjne (Decision Tree), las losowy (Random Forest), metoda najbliższych sąsiadów (KNN K- Nearest Neighbors) i wiele innych. To jest właśnie ta szczegółowa wiedza, którą musi poznać adept Machine Learning.

Większość z tych metod jest zaimplementowana w modułach, które wystarczy dołączyć do projektów Python lub R. Korzystanie z modułów nie jest skomplikowane, ale to co się dzieje w środku - to naprawdę czysta matematyka i właśnie tą matematykę trzeba dobrze rozumieć, aby do konkretnych problemów stosować odpowiednie metody. Po prostu - nie wszystko da się naprawić młotkiem, za dobór właściwych metod odpowiada specjalista Machine Learning!

Podsumowanie

Mamy jeszcze jeden etap wtajemniczenia w analizę danych i Machine Learning. Każdy z nas słyszał przecież o sztucznej inteligencji (Artificial Intelligence - AI). Po części Machine Learning to już pierwszy krok w stronę AI, jednak AI może więcej. AI to systemy podejmujące samodzielną decyzję, uczące się nie tylko w oparciu o specyficzne próbki danych. AI są bardziej wszechstronne i chociaż ciągle pracują pod kontrolą człowieka, kto wie, co będzie dalej. W tym przypadku nie chodzi już tylko o biznes i pieniądze. Nad AI pracuje wojsko, ale pewnie też terroryści. AI jest przydatne dla rządów, bo pomoże utrzymać spokój i porządek, ale i dla cyber przestępców. AI poprowadzi dla nas samochód, podejmie decyzję lub zarekomenduje jak leczyć człowieka (właściwie IBM Watson już to robi). AI prawdopodobnie zmieni życie każdego z nas.

Wielu ludzi straci pracę, bo zastąpią ich roboty, ale... ktoś te roboty musi tworzyć, nadzorować, utrzymywać i naprawiać. To właśnie tam powstaną miejsca pracy, których jeszcze nie znamy! Jeśli nie wydarzy się coś nadzwyczajnego w rodzaju upadku wielkiego meteorytu na Ziemię, to chyba właśnie w Data Science będzie sporo pracy do zrobienia.

Rafał Kraik, autor artykułu, przygotował kilkanaście kursów dostępnych na udemy.com. Wśród nich znajdziecie kurs pt. Data Science: Analiza danych w Python i PANDAS, ale też wiele innych. Zachęcamy do zapoznania się z kursami Rafała, tym bardziej, że ze względu na Black Friday ceny kursów zostały obniżone nawet o 92%! Dodatkowo kupując kurs dziś lub jutro dostaniecie darmowy kurs za darmo w Cyber Poniedziałek.
Zdjęcie główne artykułu pochodzi z picjumbo.com.

# data[].attributes.attachment_link.title
Data Analytics, Data Science, Machine Learning - co wybrać?

# data[].attributes.attachment_link.description
Mnóstwo ambitnych, aktywnych ludzi z branży IT deklaruje chęć zajmowania się „Data Science" lub „Data Analytics", a nawet „Machine Learning". To aktualnie bardzo modne pojęcia i pewnie wiele osób skieruje się właśnie na taką ścieżkę rozwoju kariery. Dlatego warto dowiedzieć się, co one znaczą i jak wygląda praca na stanowiskach z nimi związanych.

# data[].attributes.headline
Data Science - pasjonująca branża z wysokimi zarobkami

# data[].attributes.subject
Data Science - pasjonująca branża z wysokimi zarobkami

# data[].attributes.attachment_link.readable_text
Czy nie masz wrażenia, że w ostatnich latach temat danych, zbierania ich i przetwarzania stał się bardzo popularny? Zastanawiasz się, skąd wziął się ten trend? Każdy z nas codziennie, czy tego chce, czy nie, produkuje setki tysięcy danych. Coraz więcej firmy odkryło korzyści, jakie płyną ze zbierania i przetwarzania ich. Firmy takie jak Facebook zarabiają miliardy dolarów na wiedzy, jaką zbierają o swoich użytkownikach. Z zapotrzebowania na okiełznanie tak dużej ilości danych powstała cała dziedzina temu poświęcona, czyli Data Science. Coraz więcej firm dysponuje danymi i chce dzięki nim ulepszać swój biznes. Czy warto więc zostać specjalistą od analizy danych? Co sprawia, że praca w tej branży jest postrzegana jako jedna z najlepszych w IT? Ile można zarobić i jak zacząć?

Co to jest Data Science?

Data Science można przetłumaczyć jako naukę o danych, ale to określenie nie w pełni oddaje, co się za nim kryje. Według najpopularniejszej definicji Data Scientist to po prostu ktoś, kto ma większą wiedzę o statystyce niż przeciętny programista i większą wiedzę o programowaniu niż przeciętny statystyk. Najkrócej rzecz ujmując, jest to dostarczanie wartości biznesowej na podstawie analizy danych.

Terminem "data science" określano różne zawody i zjawiska od lat 80. Prawdziwy boom przyniósł opublikowany w 2012 roku (w czasopiśmie Harvard Business Review) artykuł pt. „Data Scientist: The Sexiest Job of the 21st Century". Autorzy artykułu: Thomas H. Davenport i D.J. Patil przekonują, bazując na własnych doświadczeniach, że oto na naszych oczach narodził się nowy zawód, zawód przyszłości.

Czym się charakteryzuje? Jak sugerują autorzy: „Wyobraź sobie Data Scientistów jako hybrydę hackera danych, analityka, osoby o wysokich kompetencjach komunikacyjnych oraz zaufanego doradcy. To połączenie potężne - i rzadko spotykane. (...) Ich nagłe pojawienie się w wielu firmach odzwierciedla fakt, że wiele z nich obecnie mierzy się z danymi o takiej wielkości i takim zróżnicowaniu, jakie nigdy nie występowało do tej pory. (...)podstawową umiejętnością Data Scientistów jest programowanie."

Branże

Najpopularniejsze wykorzystanie takiego rodzaju analiz jest w marketingu. Dzięki danym możemy precyzyjnie dotrzeć do tej grupy docelowej, na której nam zależy najbardziej, ale także zwiększyć prawdopodobieństwo, że właśnie ta grupa kupi więcej naszych produktów od innej. Nie jest to jedyne zastosowanie. Dzięki analizie danych bank określa ryzyko kredytowe, a producent soków sprawia, że produkowany przez niego sok z owoców zebranych z różnych zakątków świata będzie miał zawsze taki sam smak.

Firma Walmart dzięki swoim specjalistom odkryła, że przed nadejściem huraganu ludzie nie tylko kupują artykuły pierwszej potrzeby takie jak woda czy latarki, ale także truskawkowe tosty (wzrost 7 krotny) oraz piwo. Wiedząc wcześniej o nadejściu huraganu i zwiększając zapasy tych produktów, firma zwiększyła także zyski.

Liczba zastosowań jest właściwie nieograniczona, co sprawia, że to zajęcie stało się tak atrakcyjne w ostatnich latach.

Kim jest Data Scientist?

W swojej pracy Data Scientist łączy programowanie, metody naukowe oraz wiedzę z zakresu statystyki. Przygotowuje dane do pracy z nimi, analizuje je i na ich podstawie wyciąga wnioski tak, aby dostarczyć wartość biznesową. Nierzadko musi wykazać się kreatywnością. Robiąc analizę danych, sam wybiera metody i narzędzia potrzebne do wykonania zadania, w przeciwieństwie do programisty, który zazwyczaj z góry dostaje przygotowaną specyfikację określającą dokładnie co i jak ma działać.

Duża samodzielność w działaniu i bezpośredni wpływ na biznes sprawia, że praca ta jest określana mianem jednej z bardziej satysfakcjonujących w branży IT. Pracownicy wspomnianego wcześniej Walmartu dokładnie mogli policzyć, ile dzięki ich analizom firma zarobiła pieniędzy.

Zarobki w Data Science

W corocznym rankingu Glassdoor na najlepszą pracę w USA specjalista od Data Science zajmuje czołowe miejsca z jednym z najwyższych współczynników satysfakcji z pracy. Duże zapotrzebowanie na specjalistów oraz fakt, że na rynku nie jest ich wielu, sprawia, że mogą liczyć nabardzo dobre pensje. W Polsce są to jedne z najwyższych zarobków w IT. Miesięczne wynagrodzenia zaczynają się od 15 000 PLN, a kończą nawet na 25 000 PLN.

Bardzo dobra jest też perspektywa rozwoju. Rozwijające się prężnie dziedziny Machine Learning i sztucznej inteligencji sprawia, że specjaliści od danych błyskawicznie znajdują zatrudnienie.

Warto zwrócić uwagę na dużą liczbę otwartych rekrutacji oraz jedne z najwyższych zarobków w ofertach związanych z analityką danych.

Zapotrzebowanie na specjalistów od danych stale rośnie

Wzrost zapotrzebowania wynika z coraz większej dostępności analizy danych nawet dla niewielkich firm. Coraz tańsze i szybsze stały się procesory, a co za tym idzie usługi cloudowe wykorzystywane do obróbki danych. Nawet stosunkowo niewielka firma może pozwolić sobie na korzystanie z dobrodziejstw Data Science. To przekłada się na bardzo duże zapotrzebowanie na specjalistów z tej branży.

Będzie brakować specjalistów

Współtworzony przez IBM i Burning Glass Technologies raport ¹ na temat rynku pracy Data Scientistów przedstawia konkretne liczby - na świecie będzie otwartych 2.7 mln rekrutacji na specjalistów związanych z danymi, a zapotrzebowanie firm na specjalistów od danych wzrośnie aż o 39%.

Źródło: Raport The Quant Crunch

Autorzy raportu alarmują: Istnieje rosnące zagrożenie, że podaż pracowników w obszarze Data Science and Analytics zostanie daleko w tyle za popytem na nich. (...) Jeśli nie zostaną podjęte działania, braki mogą się pogłębić, co może poskutkować zaprzepaszczeniem szans związanych z Big Data.

Podobne wnioski płyną z opublikowanego w zeszłym roku raportu Figure Eight ²: prawie 30% badanych respondentów deklaruje, że rekruterzy kontaktują się z nimi w sprawie nowych ofert kilka razy w tygodniu, a 50% - przynajmniej raz w tygodniu.

I nic nie wskazuje, by popularność ta miała zacząć maleć. Popyt na pracowników potrafiących pełnić rolę Data Scientistów będzie tylko rósł. Oczywiście to wszystko za sprawą kolejnych opracowanych algorytmów, terabajtów danych i nowych procesów. Na rynku zaczynają być dostępne dedykowane układy przeznaczone pod Machine Learning - jedno z głównych zadań Data Scientistów.

Intel we współpracy z Facebookiem opracowują czipy dedykowane do intensywnej pracy z ML, mające konkurować z rozwiązaniami NVIDII, a Google podkupuje pracowników Intela i Quallcommu do badań nad własnymi układami. Skutkiem ubocznym walki o prowadzenie w wyścigu technologicznym będą kolejne nowe algorytmy, czipy i technologie. Będą one wymagały nowych pracowników potrafiących ich obsłużyć.

Zainteresowanie w wyszukiwaniu Data Scientist a Statistician (Źródło: Google Trends)

Co musi umieć Data Scientist?

Najpopularniejszymi językami programowania wykorzystywanymi do obróbki danych jest Python i R. Ważna jest także wiedza z zakresu statystyki, gdyż Data Scientist łączy kompetencje z tych dwóch dziedzin. To nie wszystko. Dane trzymane są w bazach i ich znajomość również jest bardzo ważna. Najpopularniejszymi obecnie bazami danych są bazy SQL i noSQL. Nierzadko przed rozpoczęciem pracy najpierw trzeba przygotować sobie dane, gdyż nie były zbierane w sposób, jaki od razu pozwoliłby na ich analizę.

Co ciekawe, 55% specjalistów deklaruje, że ich największą zmorą jest właśnie niska ilość danych lub ich kiepska jakość ². Tu zdecydowanie przyda się wiedza z zakresu przetrzymywania danych.

Umiejętności potrzebne w Data Science

Data Science, Big Data a Machine Learning

Warto wspomnieć, że Data Science to nie to samo co Big Data. Big Data to określenie dużych, skomplikowanych zbiorów danych, a Data Scientist może także przeprowadzać analizę danych na podstawie mniejszych zbiorów. Przykładowo firma dostarczająca usługi telekomunikacyjne na podstawie 20 000 rekordów (co jest stosunkowo małym zbiorem) może określić, kiedy najczęściej klienci odchodzą, co pozwoli na przygotowanie akcji marketingowej w celu zmiany tego trendu. Do analizy Big Data wykorzystuje się wiedzę z zakresu Data Science.

Podobnie też jest z Machine Learning. Bardzo upraszczając, Machine Learning to uczenie się maszyny (programu) na podstawie danych. Najczęściej na podstawie Big Data, bo do tego rodzaju uczenia potrzebne są ogromne ilości danych.

W każdym z tych przykładów potrzebna jest wiedza z zakresu Data Science, dlatego jest to dobry sposób na rozpoczęcie przygodę z danymi, aby później móc wejść w każdą z tych branż.

Jak zacząć się uczyć?

Jednym ze sposobów na rozpoczęcie przygody z Data Science jest oczywiście wybranie się na studia. Uczelnie chcąc dostosować się do potrzeb rynku, coraz częściej uruchamiają kierunki związane z analityką danych. Niewątpliwie jest to dobry sposób dla osób, które dopiero myślą o rozpoczęciu studiów. Trzeba mieć na uwadze, że studia są stosunkowo długie, a wiedza przekazywana na uczelniach nierzadko odstaje, od wiedzy pożądanej przez rynek.

Bardzo dobrą alternatywą dla uczelni są specjalistyczne kursy, nastawione na przekazywanie wiedzy z obszaru Data Science. Przy wyborze takiego kursu warto zwrócić uwagę na czas trwania. Ciężko jest opanować podstawy programowania, analityki danych i statystyki w przeciągu miesiąca. Jeśli nie znasz języka Python, to wybierz kurs, który zaczyna się od wprowadzenia w jego świat.

Świetlana przyszłość

Mimo że termin Data Science został spopularyzowany dopiero kilka lat temu, to pewne jest, że nie jest to chwilowa moda. To odpowiedź branży analitycznej na pojawienie się ogromnych zbiorów danych, nowych algorytmów i technologii obliczeniowych. Raporty to potwierdzają - zapotrzebowanie na pracowników sprawnie poruszających się w świecie danych, statystyki, programowania i uczenia maszynowego będzie coraz większe.

Jeśli lubisz rozwiązywać realne problemy biznesowe i czujesz, że masz predyspozycje, o których wspomniano wcześniej, to wejście w tę branżę to niewątpliwie dobra decyzja. Świetne zarobki, duża liczba firm z rozmaitych branż, które szukają specjalistów, satysfakcjonująca praca i mnogość kierunków, w jakich można później się rozwijać, sprawia, że jest to obecnie jedno z najatrakcyjniejszych zajęć w IT.

Przygotuj się do zawodu przyszłości:

Kompleksowy bootcamp Data Science

Naucz się jak analizować dane i zostań Data Scientist

Źródła:
¹ https://www.ibm.com/downloads/cas/3RL3VXGA
² www.datasciencetech.institute/data-scientists-report-figure-eight/

# data[].attributes.attachment_link.title
Data science: pasjonująca branża z wysokimi zarobkami - infoShare Academy Blog

# data[].attributes.attachment_link.description
Czy nie masz wrażenia, że w ostatnich latach temat danych, zbierania ich i przetwarzania stał się bardzo popularny? Zastanawiasz się, skąd wziął się ten trend? Każdy z nas codziennie, czy tego chce, czy nie, produkuje setki tysięcy danych. Coraz więcej firmy odkryło korzyści, jakie płyną ze zbierania i przetwarzania ich.

# data[].attributes.attachment_link.description
Blog o statystyce, jej zastosowaniach i statystycznych ciekawostkach

# data[].attributes.body
- Data Scientist
- Analityk big data
- Analityk biznesowy

# data[].attributes.attachment_link.readable_text
Zastanawiasz się, ile zarabiają inni na Twoim stanowisku?

Odbierz indywidualny raport płacowy dopasowany do Ciebie.

Sprawdź, na jaką pensję może liczyć osoba z Twoimi kwalifikacjami.

Dowiedz się, od czego zależy Twoje wynagrodzenie.

Sprawdź już teraz!

Rozkład płci na stanowisku data scientist (specjalista)

Benefity na stanowisku data scientist (specjalista)

Powyższe dane mają charakter orientacyjny i udostępniane są bezpłatnie jedynie do użytku osobistego (niekomercyjnego).
Ich wykorzystywanie w celach komercyjnych (np. doradztwo, granty, ustalanie wynagrodzeń w firmie) wymaga zakupu raportu premium dla wybranego stanowiska. Z aplikacji można również korzystać po wykupeniu dostępu do strefy premium portalu wynagrodzenia.pl bądź uzyskaniu pisemnej zgody Sedlak & Sedlak

Nasi respondenci pochodzą z całej Polski. Osoby przekazujące nam dane pracują m.in. w Warszawie, Krakowie, Łodzi, Wrocławiu, Poznaniu, Gdańsku, Szczecinie, Bydgoszczy, Lublinie, Katowicach, Białymstoku, Gdyni, Częstochowie, Radomiu, Sosnowcu, Toruniu, Kielcach, Gliwicach, Zabrzu, Bytomiu, Rzeszowie, Olsztynie, Bielsko-Białej, Tychach, Opolu.

* Mediana - jest to wartość dzieląca wszystkie dane na dwa równe zbiory. Poniżej i powyżej mediany znajduje się dokładnie po 50% zgromadzonych w badaniu wyników. W przypadku badania wynagrodzeń znaczy to, że połowa badanych zarabia poniżej mediany a połowa powyżej.

# data[].attributes.attachment_link.title
Ile zarabia data scientist - zarobki data scientist - wynagrodzenia.pl

# data[].attributes.attachment_link.description
Zastanawiasz się, ile zarabiają inni na Twoim stanowisku? Odbierz indywidualny raport płacowy dopasowany do Ciebie. Sprawdź, na jaką pensję może liczyć osoba z Twoimi kwalifikacjami. Dowiedz się, od czego zależy Twoje wynagrodzenie. Sprawdź już teraz! Rozkład płci na stanowisku data scientist (specjalista) Benefity na stanowisku data scientist (specjalista) Powyższe dane mają charakter orientacyjny i udostępniane są bezpłatnie jedynie do użytku osobistego (niekomercyjnego).

# data[].attributes.headline
Aby dowiedzieć się, czego aktualnie poszukują pracodawcy i co oferują, warto zaglądać do aktualnych ofert pracy, na przykład w poniższych miejscach:

# data[].attributes.subject
Aby dowiedzieć się, czego aktualnie poszukują pracodawcy i co oferują, warto zaglądać do aktualnych ofert pracy, na przykład w poniższych miejscach:

# data[].attributes.body
- oferty dla Data Scientist w portalu pracuj.pl
- oferty dla Data Scientists na portalu No Fluff Jobs
- oferty dla Data Scientists w serwisie LinkedIn
- grupa na Facebooku Jobs DataScience / MachineLearning
- grupa na Facebooku Machine Learning Jobs Poland

# data[].attributes.attachment_link.description
PL Statystyka, uczenie maszynowe, wizualizacja, duże dane, przetwarzanie - wydarzenia, linki, dyskusje, oferty pracy itd z analizy danych. Przed postowaniem zapoznaj się z zasadami grupy. EN...

# data[].attributes.attachment_link.description
Data Science w Pythonie has 6,457 members. Pomyślałem, że mogłoby to być fajne miejsce do dzielenia się ciekawymi materiałami na temat analiz z zastosowaniem Pythona. Może też z czasem stworzymy...

# data[].attributes.attachment_link.description
Grupa pasjonatów wizualizacji danych, użytkowników Tableau, Power BI, Qlik i innych self-service BI, a także wszelkiej innej tematyki związanej z graficzną prezentacją danych.

# data[].attributes.body
Udemy.com to jedna z największych platform kursowych na świecie, oferująca kursy online z obszaru analizy, przetwarzania i wizalizacji danych w przystępnych cenach.

- Kursy data science w języku polskim
- Kursy data science w języku angielskim

# data[].attributes.body
Platforma oferująca kursy m.in. z zakresu data science.

Dostępny jest darmowy kurs Introduction to Data Science w języku angielskim.

# data[].attributes.headline
Jak przygotować się do pracy w Data Science?

# data[].attributes.subject
Jak przygotować się do pracy w Data Science?

# data[].attributes.body
Posłuchaj 20-minutowego podcastu.

# data[].attributes.attachment_link.title
#3 Jak przygotować się do pracy w Data Science?

# data[].attributes.headline
Nagranie webinaru z 2020 roku. Pierwsza praca w Data Science - co zrobić, żeby ją znaleźć?

# data[].attributes.subject
Nagranie webinaru z 2020 roku. Pierwsza praca w Data Science - co zrobić, żeby ją znaleźć?

# data[].attributes.attachment_link.title
Webinar: Pierwsza praca w Data Science - co zrobić, żeby ją znaleźć

# data[].attributes.attachment_link.title
Jak zostać Data Scientistem? - Norbert Ryciak [WEBINAR]

# data[].attributes.body
Na portalu dostępne są liczne kursy z zakresu data science i dziedzin pokrewnych (w języku angielskim).

# data[].attributes.body
Wyzwania z obszaru data science, wiele dostępnych zbiorów danych, darmowe kursy, zaangażowana społeczność.

Strona w języku angielskim.

# data[].attributes.body
Wideo z kanału niesztuczna inteligencja o tym, z jakimi zadaniami mierzy się na co dzień data scientist.

# data[].attributes.attachment_link.title
W poszukiwaniu jednorożców ... Czyli kim jest data scientist?