Escolha uma Página

Mais que um blog, uma fonte de insights.

Receba gratuitamente as atualizações em primeira mão!

Fique tranquilo, jamais divulgaremos seu e-mail!

Há um bom tempo, o termo “Big Data” é uma buzzword mundialmente listada na technology trends e, no Brasil, o seu conhecimento veio a se propagar mais fortemente nos últimos 5 anos, como mostra o gráfico com dados do Google Trends.

Média anual de buscas no Google pelo termo: Big data

 

Segundo Dan Ariely, Professor da Universidade de Duke, Big Data é como sexo adolescente: todo mundo fala sobre isso, ninguém sabe como fazê-lo, todos acham que os outros estão fazendo e, então, dizem que também fazem…

Convenhamos que é uma reflexão um tanto quanto cômica, mas se você parar para pensar, no fundo é verdade.

Sabe por que eu digo isso?

Porque faz mais de 10 anos desde o lançamento da primeira versão do Hadoop e a adesão pelo mercado não segue a mesma velocidade. Hoje as empresas que utilizam essa tecnologia são, em grande parte, os maiores players do segmento financeiro, varejo e telecomunicações.

Então, apesar de muito se falar, existe uma lacuna grande que será preenchida nos próximos anos! De acordo com a Frost & Sullivan, o mercado brasileiro deve movimentar cerca de US$ 4 bilhões até 2023.

 

Ao final desse artigo, você entenderá de uma vez por todas:

  1. O que é realmente Big Data;
  2. Se seu negócio é elegível a utilização dessa tecnologia;
  3. Se é elegível, porque você deve mapear no seu negócio;
  4. E como as empresas vem aplicando essa arquitetura para alavancar o seu core business.

Parece interessante esse artigo? Compartilhe com seus amigos para que eles possam entender melhor sobre Big data:

A verdade é que…

 

 

Muitos se enganam pelo nome e, francamente, “Big Data” não significa apenas um grande amontoado de dados.

Podemos considerar como uma área do conhecimento que vai muito além disso e, a cada dia, tem se tornado uma prática essencial em toda empresa que possui desafios de dados envolvendo os 5V’s (Volume, Velocidade, Veracidade, Variedade e Valor), que veremos a seguir.

Mas então, o que é Big Data?

 

Uma das melhores definições sobre o assunto diz: você sabe que precisa de Big Data quando possui diversos conjuntos de dados, de várias origens, que são muito grandes para gerenciar e analisar de maneira econômica em um período de tempo razoável.

Simples, não?

Um exemplo claro dessa situação aconteceu quando o US Census Bureau, em 1880, estimou que precisaria de 8 anos para coletar e processar todos os dados da pesquisa do censo daquele período, porém, ao finalizar o censo, eles previram que, para a próxima pesquisa, precisariam de mais de 10 anos, o que tornaria o processo inviável.

Portanto, não é um questão de apenas ter muitos dados. É um conjunto de fatores que, em 2001, o Doug Laney definiu em um artigo (3D Data Management: Controlling Data Volume, Velocity and Variety) como os 3V’s do Big Data conjunto esse que vem evoluindo com o tempo e, hoje, já podemos considerar 5V’s.

Os 5V’s que todos deveriam conhecer

Volume

Nós geramos 2.3 trilhões de Gigabytes de dados POR DIA. Para você ter uma noção, apenas no Facebook são 10 bilhões de mensagens, 4.5 bilhões de curtidas e 350 milhões de fotos compartilhadas diariamente. Segundo a McKinsey Global Institute, estima-se que esse volume dobre a cada 18 meses.

Velocidade

Refere-se a rapidez com que os dados são criados, processados e consumidos. A cada dia que passa, o fluxo de informações e interações tem se tornado cada vez mais instantâneo, seja ele dentro de uma corporação como em análises de fraude, como no controle automático de tráfego nas ruas. A arquitetura e ferramentas possibilitam analisar os dados no instante em que são criados, sem ter que armazená-los em bancos de dados.

Veracidade

Ter muitos dados em volumes diferentes chegando em alta velocidade é inútil se esses dados estiverem incorretos, pois os mesmos podem causar muitos problemas para as organizações e também para os consumidores. Portanto, as empresas precisam garantir que os dados estejam corretos e que as análises executadas nos dados estejam corretas. Especialmente na tomada de decisões automatizadas, onde nenhum ser humano está envolvido, você precisa ter certeza de que os dados e as análises estão corretos.

Variedade

No passado, todos os dados criados eram estruturados e perfeitamente ajustados em colunas e linhas. Mas esses dias acabaram. Atualmente, 90% dos dados gerados pela organização são não estruturados (E-mails, Telefonemas, Redes Sociais). Hoje eles vêm em muitos formatos diferentes: dados estruturados, semi-estruturados, não estruturados e até mesmo dados estruturados complexos.

Valor

O último V, mas não menos importante: valor!

Todos esses dados disponíveis criarão muito valor para organizações, sociedades e consumidores. A McKinsey afirma que o valor anual potencial do Big Data para a US Health Care é de US$ 300 bilhões mais do que o dobro do gasto anual total em assistência médica da Espanha. Também mencionam que o Big Data tem um potencial valor anual de € 250 bilhões para a administração do setor público na Europa.

 

Será que eu preciso implantar uma solução em Big Data?

A necessidade de utilizar soluções Big Data é iniciada com perguntas:

  • Qual é o meu volume de dados mensais ou diários?
  • Qual é a velocidade de aquisição e leitura dos dados que eu preciso?
  • Eu tenho algum artifício para aferir a veracidade dos dados?
  • Com quantas bases de dados eu preciso conectar o meu negócio?
  • Esses dados são direcionadores em tomada de decisão?

Essas cinco perguntas baseadas nos 5V’s são fundamentais para o mapeamento inicial da sua empresa e, com elas, você terá um maior entendimento do seu cenário atual para que futuramente essas informações lhe sirvam de suporte para traçar um plano estratégico.

 

Cases de sucesso no trabalho com Big Data

1) Thomson Reuters

Separando notícias reais de fake news no Twitter em 40 milisegundos.

A Thomson Reuters é a líder mundial em fonte de notícias e informações para os mercados financeiros, risco, legal, público, executivo e de mídia.

Atualmente, o Twitter é uma ferramenta chave quando falamos em novas fontes de notícias. Para jornalistas e empresários, é um desafio analisar de forma rápida os milhares de tweets enviados a cada segundo, assim como separar as publicações reais das que apenas estão disseminando fake news.

Foi pensando nisso que a Thomson Reuters desenvolveu um modelo baseado em machine learning e práticas avançadas de analytics para sanar essa dor dos jornalistas e outros profissionais desse setor.

“We set out to build a platform that could understand with great speed if an event was newsworthy, while maintaining our commitment to accuracy.”

Khalid Al-Kofahi, head, Corporate Research & Development at Thomson Reuters.

[youtube https://www.youtube.com/watch?v=VnSbq_4_4Fw?rel=0&controls=0&showinfo=0]

 

2) Cartão elo

Abrindo um novo fluxo de receita e aprimorando a experiência dos seus clientes com analytics em tempo real.

 

 

O Cartão Elo, a única empresa nacional de cartão de crédito do Brasil, processa mais de um milhão de transações por dia isso representa 11% da participação no mercado de cartões de pagamento do país.

A Elo tem como objetivo melhorar a experiência do consumidor, proporcionando ofertas contextuais personalizadas antes que os clientes cheguem ao seu cartão de crédito.

Por exemplo, durante a janela de uma a duas horas em que clientes estão no restaurante, a Elo deseja enviar a clientes promoções de comidas ou bebidas nas quais eles teriam interesse. Isso requer um ambiente de análise em tempo real, que possa processar dados de fontes como canais sociais ou beacons comerciais, sinalizando informações sobre os comportamentos e locais ao vivo dos consumidores.

A infraestrutura de gerenciamento de dados herdada da Elo não conseguiu fornecer o desempenho ou a escalabilidade para acomodar essas novas fontes de dados. Os usuários corporativos estavam limitados a relatórios inflexíveis e, se os usuários quisessem visualizar dados diferentes ou adicionais, eles precisavam passar pela equipe de dados, o que consumia muito tempo. Eles precisam de quatro a cinco DBAs apenas para atender a todas as solicitações de relatórios.

3) Telefônica

Ganhando um aumento de dois dígitos na satisfação do cliente.

O desafio da Telefônica Espanha com o projeto de Big Data era oferecer uma melhor qualidade melhorando a experiência dos usuários e, com isso, se tornar uma empresa voltada a dados ponto fundamental para alcançar o objetivo.

Mas, para obter mais informações sobre os clientes, a organização precisava de uma maior capacidade para analisar um grande volume de dados em tempo real. “Se quiséssemos lidar com mais de dez bilhões de registros por dia, o custo era impraticável com outras técnicas além de uma plataforma de Big Data”, disse Carlos Morrás.

“Data is the new gold of the 21st century.”

Carlos Morrás, manager of Innovation, Big Data and Processes in Telefónica Spain.

[youtube https://www.youtube.com/watch?v=EWujagA9znY?rel=0&controls=0&showinfo=0]

 

Conclusão

 

Curtiu? Mostramos nesse artigo a evolução do hype do termo Big Data e o que essa tecnologia realmente se propõe ao potencializar as instituições privadas e públicas.

A tendência é que cada vez mais empresas a utilizem essa tecnologia, segundo o relatório “Latin American Big Data and Analytics (BDA) market”, até 2023, esse mercado promete crescer 19,2% ao ano.

O principal motivo para todo esse crescimento nos próximos anos, será a proliferação da Internet das Coisas (IoT), que necessita capturar e analisar dados em tempo real, gerando um grande volume de informações.

O fato é que as organizações que apostam na construção e expansão de ativos de Big Data podem se beneficiar com as oportunidades que as informações trazem, gerando insights e melhorando a experiência do consumidor.

Você tem interesse em conhecer mais sobre esse universo? Fica ligado, teremos mais artigos sobre Big Data!

Se você já iniciou ou está iniciando nessa jornada, compartilha com a gente como está sendo! Será um prazer trocar experiências!

Até a próxima!

Lucas Furtado
Sales Development Representative at | lucas.furtado@oncase.com.br