Glossário Análise de Dados e Big Data by Giovanna Marchi https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka en-us 2022-03-25 23:01:55 UTC 2022-06-11 18:15:46 UTC hello@padlet.com IOT marchigiovanna20 https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120279854 Consiste na ideia de que todos os equipamentos podem estar conectados à internet, facilitado a vida das pessoas no dia-a-dia.

Arquitetura genérica para IOT: M2M
1. Camada de Aplicação
Engloba elementos de ponta como: sensores, geolocalizadores, smartphones, formando uma entidade de aplicação. Esta implementa uma ou mais lógicas de serviços que permite uma solicitação e uma lógica de serviço.

2. Camada de Serviços Comuns 
Solicitação de um conjunto de funções comuns utilizando uma arquitetura funcional. A camada de aplicação interage com a de serviços por meio e biblioteca de desenvolvimento.

3. Camada de serviços de rede 
Projeto estrutural para redes e sistemas para executar um amplo conjunto de aplicações.

]]> 2022-03-29 22:34:38 UTC https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120279854 Big Data marchigiovanna20 https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120280552 Conjunto de técnicas capazes de se analisar grandes quantidades de dados para a geração de resultados importantes

No Marketing, o Big Data pode ser usado para a análise preditiva, que busca prever como um cliente vai reagir a determinadas táticas. É viável, por exemplo, amplificar sua mensagem e obter anúncios otimizados para gerar o máximo de conversão e de vendas ao estudar quais formas de comunicação ressoam melhor com o público.]]> 2022-03-29 22:35:25 UTC https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120280552 Business intelligence marchigiovanna20 https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120280976 Termo abrangente que engloba processos e métodos de coleta, armazenamento e análise de dados das operações ou atividades para otimizar o desempenho dos negócios.]]> 2022-03-29 22:35:58 UTC https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120280976 Hadoop marchigiovanna20 https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120281299 Hadoop é uma plataforma de software em Java de computação distribuída voltada para clusters e processamento de grandes volumes de dados, com atenção a tolerância a falhas.]]> 2022-03-29 22:36:23 UTC https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120281299 SQL marchigiovanna20 https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120282092 Linguagem de consulta estruturada, usada para analisar e executar tarefas em tabelas. Ela é utilizada a partir de SGBD (Sistema Gerenciador de Banco de Dados, exemplo: MySQL, DBeaver, Oracle SQL).   

Linguagem que possibilita o comando ao banco de dados seguido de uma query, uma resposta.]]> 2022-03-29 22:37:22 UTC https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120282092 Tipos de pesquisa marchigiovanna20 https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120283720 Dados quantitativos visam coletar fatos concretos: 
números.

 Dados quantitativos são estruturados e estatísticos. Eles formam a base para tirar conclusões gerais da sua pesquisa.]]> 2022-03-29 22:39:21 UTC https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120283720 Análise de Dados marchigiovanna20 https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120284142 É um trabalho de entendimento de um alto nível de dados desestruturados e que precisam ser compilados e destrinchados. Com isso, pode-se captar resultados sobre vendas, marketing, relacionamento com o cliente, além de outras possibilidades.]]> 2022-03-29 22:39:52 UTC https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120284142 5 V's marchigiovanna20 https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120284476 Volume: de informações influencia em dois pontos principais: armazenamento e análise.
Variedade: diferentes fontes e diferentes tipos de dados extraídos de distintos equipamentos ou aplicações, o que envolve, portanto, a geração e captura de dados.  -> é preciso entender as variedades existentes e como cada uma deve ser analisada e armazenada. 
Velocidade: é o que podemos dizer que se trata da caraterísticas mais importante. Os dados são gerados de forma muito veloz. É preciso fazer a análise de dados também de modo veloz, a tempo hábil para servir para os objetivos que se pretende com a análise de dados. 
Variabilidade: a ideia de variabilidade pode ser aplicada a dados diários, sazonais e relativos a eventos específicos, o que gera um grande volume de informações e traz desafios no gerenciamento. 
Vínculo: é preciso conectar e correlacionar os elementos, criar hierarquias e ligações múltiplas para os dados, ou seja, criar vínculos entre eles.]]> 2022-03-29 22:40:17 UTC https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120284476 Ciência de dados marchigiovanna20 https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120285560 A ciência de dados abrange a preparação de dados para análise, incluindo limpeza, agregação e manipulação de dados para realizar análises de dados avançadas.

A ciência de dados envolve diversas disciplinas. São elas: Estatística,Computação,Conhecimento do negócio, Matemática]]> 2022-03-29 22:41:40 UTC https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120285560 Linguagem de programação marchigiovanna20 https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120286144 Java: é uma linguagem de programação utilizada para diversos tipos de desenvolvimento, tipos: jogos, sites web; o Minecraft é um jogo criado em Java!          Exemplo de código em Java:                   public static void main (String[], args) {                                                   System.out.println("Olá mundo"); }]]> 2022-03-29 22:42:23 UTC https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120286144 Banco de dados relacional marchigiovanna20 https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120287272 Bancos de dados relacionais são baseados no modelo relacional, uma maneira intuitiva e direta de representar dados em tabelas.]]> 2022-03-29 22:43:38 UTC https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120287272 Data Lakes marchigiovanna20 https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120288253 Armazena todos os dados gerados pela e para uma empresa em estado bruto. Os data lakes são muito mais acessíveis, permitem o compartilhamento de informações entre muitos usuários sem a necessidade de intervenção da equipe de TI. Seus dados podem ser agrupados por temas, objetivos, e outros critérios.

Dados extraídos sem uma estrutura de catalogação pré-definida, quase como uma caixa de brinquedos. São disponibilizados a diversos setores, onde podem ser tagueados.]]> 2022-03-29 22:44:48 UTC https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120288253 HTML marchigiovanna20 https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120288591 HTML (Linguagem de Marcação de HiperTexto) é o bloco de construção mais básico da web. Define o significado e a estrutura do conteúdo da web.]]> 2022-03-29 22:45:12 UTC https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120288591 XML marchigiovanna20 https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120289009 É uma linguagem utilizada para guardar informações de forma estruturada e facilmente legível para pessoas e sistemas.]]> 2022-03-29 22:45:46 UTC https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120289009 Data Warehouse marchigiovanna20 https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120289406 Possui um esquema já pré determinado, trabalha especificamente com dados estruturados.

Processamento analítico é executado em dado que foram contextualizados e transformados com o objetivo de gerar infos baseadas em análises.

São capazes de lidar com grande quantidades de dados e fontes.

Quando as organizações precisam de análises avançadas baseados em dados históricos esse sistema é indicado. ]]> 2022-03-29 22:46:17 UTC https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120289406 Sistema Gerenciador marchigiovanna20 https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120289741 Utilizado para acessar, gerenciar e manipular as informações e integradas de um sistema de banco de dados.]]> 2022-03-29 22:46:44 UTC https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120289741 Linguagem Cobol marchigiovanna20 https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120289939 Primeira linguagem de programação que, além de se preocupar com a lógica, se preocupava com o acesso aos dados.]]> 2022-03-29 22:47:00 UTC https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120289939 Linguagem de exploração marchigiovanna20 https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120290246 É a chave para manipular os dados, como o nome diz, explorar os dados.]]> 2022-03-29 22:47:21 UTC https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120290246 Dados estruturados marchigiovanna20 https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120290453 Dados armazenados em fontes de fácil compreensão (tabelas, excel, bancos de dados).
Os dados estruturados são organizados em linhas e colunas, geralmente são encontrados em banco de dados relacionais, são eficientes quanto à recuperação e processamento.]]> 2022-03-29 22:47:39 UTC https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120290453 Dados semi estruturados marchigiovanna20 https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120290642 Dados irregulares, incompletos e que não necessariamente estão de acordo com um esquema (banco de dados). Não possuem estrutura prévia, não são registros pertencentes a uma tabela. (grande fonte de dados semi estruturados: a internet, dados disponíveis em documentos textuais.)]]> 2022-03-29 22:47:56 UTC https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120290642 Dados não estruturados marchigiovanna20 https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120290917 Não possuem estrutura definida, como arquivo de música, imagem, vídeos, imagens de satélite etc.
Geralmente são dados de difícil acesso e recuperação]]> 2022-03-29 22:48:17 UTC https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120290917 Dashboard marchigiovanna20 https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120291149 Dashboard é uma ferramenta de gestão de dados, que auxilia na exibição de métricas, que indicam como um processo, campanha ou a saúde de um negócio está se desenvolvendo.]]> 2022-03-29 22:48:35 UTC https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120291149 Estatística marchigiovanna20 https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120291583 É um conjunto de técnicas para:
- Planejar a coleta de dados oriundos de estudos ou experimentos
- Descrever, analisar e interpretar dados
- Avaliar evidências
- Extrair informações para subsidiar decisões


]]> 2022-03-29 22:49:09 UTC https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120291583 População marchigiovanna20 https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120291733 População é qualquer conjunto, não necessariamente de pessoas, que constituem todo o universo de informações de que se necessita. Por exemplo, se em uma empresa o diretor gostaria de saber se os funcionários estão satisfeitos com os benefícios oferecidos, a população de estudo são todos os funcionários dessa empresa. Outro exemplo de população é o caso de um biólogo que necessita estudar uma espécie de formigas de uma determinada região. Assim a população corresponde a todas as formigas dessa espécie que vivem nessa região. Note que o conceito de população depende do objetivo do estudo.]]> 2022-03-29 22:49:21 UTC https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120291733 Amostra marchigiovanna20 https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120291917 Amostra corresponde a um grupo representativo da população. Por exemplo, uma rádio tem o interesse de saber como está sua audiência com os ouvintes no trânsito. Sabemos que não é possível perguntar a todos os motoristas que ouvem rádio qual é aquela que eles preferem. Então buscamos uma amostra dessa população, isto significa, perguntar somente a alguns motoristas qual rádio eles preferem escutar enquanto dirigem.]]> 2022-03-29 22:49:36 UTC https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120291917 Tipos de Variáveis em uma tabela de dados brutos marchigiovanna20 https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120292736 Variável qualitativa ou categóricas: é aquela que assume como possíveis valores, atributos ou qualidades

- Variável qualitativa nominal: assume como possíveis valores, atributos ou qualidades que não apresentam uma ordem natural de ocorrência.

- Variável qualitativa ordinal: Apresentam uma ordem natural de ocorrência

Variável quantitativa: assume como possíveis valores/números

- Quantitativa discreta: assume como possíveis números, em geral inteiros, formando um conjunto finito ou enumerável

- Quantitativa contínua: em intervalos da reta real e, em geral, resultantes de mensuração.]]> 2022-03-29 22:50:37 UTC https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120292736 Machine Learning marchigiovanna20 https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120293073 O aprendizado de máquina (em inglês, machine learning) é um método de análise de dados que automatiza a construção de modelos analíticos. É um ramo da inteligência artificial baseado na ideia de que sistemas podem aprender com dados, identificar padrões e tomar decisões com o mínimo de intervenção humana.]]> 2022-03-29 22:51:00 UTC https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120293073 Linguagens de programação para ciência de dados marchigiovanna20 https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120293947 Python: é possível trabalhar em nichos como aprendizado de máquina, IA, análise de dados, visualização de dados, automação de tarefas.

Linguagem R: processamento de grande volumes de dados, modelagem matemática, mineração de dados e cálculos estatísticos.

Java: aprendizado profundo, processamento de linguagem natural, mineração de dados

C/C++: IA, aprendizado de máquina e robótica, onde dados precisam ser feitos com muita rapidez.

Julia Julia: análise numérica]]> 2022-03-29 22:52:04 UTC https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120293947 BI marchigiovanna20 https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120294487 É um termo abrangente que engloba os processos e métodos de coleta, armazenamento e análise de dados das operações ou atividades para otimizar o desempenho dos negócios.


]]> 2022-03-29 22:52:41 UTC https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2120294487 Data Driven https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2217870714 É a gestão orientada por dados, ou seja, aquela que toma todas as decisões baseadas em informações concretas e analisadas. Com o foco nessa estratégia, a empresa consegue, de fato, ter dados consistentes para personalizar produtos, mensagens e todo o fluxo de relacionamento com o prospect/cliente. ]]> 2022-06-10 22:56:27 UTC https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2217870714 Mineração de Dados https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2217873268 O que é
A mineração de dados é a aplicação da metodologia de pesquisa estatística e de técnicas computacionais com o objetivo de descobrir padrões e tendências úteis em bancos de dados. Isso ocorre pela combinação de ferramentas matemáticas com inovações tecnológicas, como a inteligência artificial e o machine learning.

A mineração de dados é consequência de uma longa cadeia de descobertas nas Ciências Exatas e da Computação. Algumas técnicas da estatística, como o Teorema de Bayes (1763) e a Análise de Regressão (1805), foram criadas há mais de 200 anos e compõem o conjunto de ferramentas utilizadas no data mining.

Efeito nas empresas
O data mining entrega valor para as empresas. Com isso, nascem as oportunidades para os especialistas da área. Os graduados em Banco de Dados são procurados porque aumentam o capital intelectual, aportando conhecimento para tomar decisões, desenvolver estratégias, identificar oportunidades etc.

Recursos
O data mining coloca uma série de ferramentas à disposição das empresas, que podem ser utilizadas para desenvolver novos produtos, serviços, processos etc. Além disso, ela é aplicável nas áreas acadêmicas e científicas, principalmente para elaborar pesquisas mais precisas com base em dados e evidência

Etapas
Segundo o cientista Usama Fayyad, a mineração de dados envolve 5 etapas:
I. Seleção: Escolher as bases de dados a serem utilizadas tendo como orientação os objetivos da empresa/organização no grande Big Data.
II. Pré-processamento: Processo de limpeza de dados. Organizar os dados selecionados com softwares para delimitar aqueles que serão utilizados para análise, pois muitos podem ser falsos, duplicados.
Transformação: O que vou precisar para meu software ler esses dados? A partir desse conjunto de dados, transforma-se eles em dados estruturados, ou seja, serão armazenados em fontes de fácil compreensão como Excel para armazenagem e facilidade de localização
III. Date Mining: Aqui ensina-se a máquina quais os tipos de leitura a serem feitos - aplicação da machine learning, inteligência artificial e técnicas estatísticas. Temos os dados estruturados, a máquina "está pronta", vou fazer a interpretação, separar em categorias.
IV. Interpretação: A máquina trás esses padrões e agora é feita uma interpretação a fim de guiar em tomadas de decisões, por exemplo, para fazer dashboards, relacionar com outros dados, fazer previsões... tudo depende do objetivo dessa análise.
V. Conhecimento: É onde relaciona-se todos os itens acima e olha-se para o todo e assim, é adquirido conhecimento para então partir para a ação - tomar decisões.  

]]> 2022-06-10 23:05:22 UTC https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2217873268 Inteligência Artificial (IA) https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2217875200 Inteligência Artificial é um ramo de pesquisa da computação que, por símbolos computacionais, constrói dispositivos que simulem a capacidade de pensar e resolver determinadas situações. A ideia principal, é simular capacidades humanas que estão ligadas com a inteligência. Todo esse processo, funciona como uma rede neural artificial, com algoritmos e sistemas de aprendizados.


]]> 2022-06-10 23:12:18 UTC https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2217875200 Revolução Digital https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2217876298 Também conhecida como a Terceira Revolução Industrial, refere-se aos processos associados à passagem da evolução tecnológica industrial iniciada entre o final dos anos 1950 e 1970, com o desenvolvimento da eletrônica digital, expansão do uso de computadores digitais, além dos sistemas de automação industrial. Ou seja, a revolução digital diz respeito a uma era conectada, rapidez na troca de dados e desenvolvimento de novas mídias. Além disso, conta com processos e máquinas cada vez mais eficientes com a Inteligência Artificial e a robotização. Essa revolução levou ao caminho da era da informação. ]]> 2022-06-10 23:16:09 UTC https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2217876298 Dados estruturados pierogeneroso https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2217878401 Dados armazenados em fontes de fácil compreensão (tabelas, excel, bancos de dados).
Os dados estruturados são organizados em linhas e colunas, geralmente são encontrados em banco de dados relacionais, são eficientes quanto à recuperação e processamento.]]> 2022-06-10 23:22:57 UTC https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2217878401 Tipos de análises https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2217900477
 
Análise Preditiva: Utilizada para examinar possibilidades futuras, também utiliza tendências do mercado.
Análise Prescritiva: Examina dados para avaliar possíveis consequências, a análise prescritiva fornece informações mais relevantes sobre o que fazer diante de determinada situação 
Análise Diagnóstica: Compreende causas, fatos concretos, um diagnóstico da situação atual
Análise Descritiva: Captura dados atuais, entender o que está acontecendo 


]]> 2022-06-11 00:33:11 UTC https://padlet.com/marchigiovanna20/a1gyt37jj3ihl7ka/wish/2217900477