Big Data é um termo aplicado a conjuntos de dados cujos tamanhos estão além da habilidade das ferramentas de software usualmente empregadas para capturar, gerenciar e processar os dados dentro de espaço de tempo aceitável.
Tamanhos de Big Datas estão em constante crescimento variando de alguns terabytes a muitos petabytes de dados em um único conjunto de dados. Como a geração de dados dobra a cada ano, ao invés de terabytes ou petabytes, já se fala em zettabytes e yottabytes.
Business Intelligence, Business Analytics e Big Data estão interrelacionados e tem como objetivos em comum usar os dados de forma estratégica para aumentar receita ou acelerar a tomada de decisão.
Em recente debate promovido pela InformationWeek Brasil, na sede da IT Mídia em São Paulo, dia 15 p.p., importantes questões foram discutidas.
Executivos apontaram, no referido evento, que a empresa precisa saber quem é e o que quer fazer. Quando se sabe isso, passa-se então a olhar o ferramental. As tecnologias surgem em cima de uma necessidade e verifica-se a possibilidade de usá-las para mais coisas. Elas acabam tendo destinos objetivos e específicos para resolver problemas.
Os participantes do debate elencaram pessoas, processos e tecnologias como pilares essenciais no estabelecimento de uma estratégia para lidar bem com os dados. Explicaram que um dos grandes desafios é o de separar o que é relevante do que não é. Quando se tem uma massa de dados, como transformar dados em informação? Como transformar essa informação em conhecimento? Como transformar conhecimento em inteligência? É uma cadeia simples, mas complexa e precisa maturidade de processos, pessoas e comprometimento da empresa como um todo, concluíram os executivos.
A hype do Big Data está em toda parte. Big Data tem sido o tema de maior discussão em conferências, com clientes, nos ambientes de trabalho e dos analistas da indústria. Sem exageros, é muito grande a quantidade de atenção que Big Data está recebendo.
Mas, como em qualquer ciclo de hype, há uma quantidade enorme de questionamentos acontecendo em torno de onde e como Big Data agrega valor. Os mais experientes lembram da fase inicial da internet, quando houve discussões muito semelhantes. Em 1995, havia um sentimento crescente de que algo grande estava vindo da web, mas era difícil discernir o que era sucesso e o que era pitch de vendas. As pessoas estavam gastando dinheiro para criar sites sem saber exatamente para quê. Alguns detratores aculturados e com pouco conhecimento do assunto ainda publicavam duras críticas.
Apesar do início duvidoso e lento, o ciberespaço encontrou seu ritmo e lançou onda após onda de novas formas de comprar, vender, ler, ouvir, assistir e conversar.
Mas o ritmo da mudança agora é muito mais rápido e a pressão muito grande. Atualmente, nos tornamos muito rápidos no salto em novas tecnologias e muito melhores ainda no marketing de softwares e serviços. O que levou anos para se colocar em marcha na década de 90 leva muito menos tempo hoje.
Há uma grande variedade de fornecedores de novíssimos produtos com rótulos de Big Data e mais ainda alguns produtos antigos recebendo maquiagem de Big Data. O mercado está confuso, talvez um pouco cético e por uma boa razão.
Soluções estão bem à frente de histórias de sucesso. Existe um número muito maior de empresas que vendem soluções de Big Data do que empresas apresentando detalhes de como Big Data tem criado valor.
Isto não quer dizer que Big Data carece de histórias de sucesso. Poderosas ferramentas de análise de Big Data já criaram enorme valor para empresas como Google, Facebook e Yahoo, que precisavam capitalizar em cima da grande quantidade de membros e dados de busca. Apache Hadoop, a solução líder de código aberto, foi criada a partir do MapReduce do Google e do Google File System, mas adotado por um empregado da Yahoo. Facebook usa o Hadoop.
Ninguém duvida do valor que essas empresas ganharam, mas elas estavam em posições singulares e dezenas de pessoas empregadas na criação e manutenção de soluções de Big Data. Esse esforço e o dinheiro necessário para desenvolver este tipo de sistema é para poucos e não para empresas com escassos cientistas de dados. A maioria das organizações não deve seguir esse modelo.
Muitas pessoas agora parecem pensar que o Hadoop é Big Data, quando o Hadoop é apenas uma das várias soluções de Big Data disponíveis - e Hadoop não é bom para muitos cenários de Big Data, segundo especialista da Forrester.
Hadoop tem sido muito comentado nestes dias em círculos de gerenciamento de banco de dados e de conteúdo, mas muitas pessoas na indústria ainda não sabem realmente o que é e como pode ser melhor aplicado.
A tecnologia subjacente do Hadoop foi inventada pelo Google em seus primeiros dias para que pudessem indexar toda a informação estruturada e em forma de texto. Estas informações foram coletadas e depois apresentadas como resultados significativos e utilizáveis para os usuários. Não havia nada no mercado que permitiria fazer isso, então eles construíram sua própria plataforma. Inovações do Google foram incorporados ao Nutch, um projeto de motor de busca de código aberto desenvolvido em Java, e Hadoop foi posteriormente desmembrado disso. Yahoo tem desempenhado um papel fundamental no desenvolvimento do Hadoop para aplicações empresariais.
A plataforma Hadoop foi projetada para resolver problemas onde se tem um monte de dados - talvez uma mistura de dados complexos e estruturados - e não é adequado para tabelas. É para situações em que se deseja executar análises que são profundas e computacionalmente extensas, como clusterização e segmentação. Isso é exatamente o que o Google estava fazendo quando estava indexando a web e analisando o comportamento do usuário para melhorar os algoritmos de desempenho.
Hadoop se aplica a um grupo de mercados. No mercado financeiro, se se deseja uma precisa avaliação de portfólio ou análise de risco, pode-se construir modelos sofisticados que são difíceis de conseguir em uma ferramenta de banco de dados. Mas Hadoop pode lidar com isso. No varejo online, se se deseja entregar melhores respostas de busca para seus clientes de modo que eles sejam mais propensos a comprar o artigo mostrado a eles, esse tipo de problema é bem tratado pela plataforma que o Google construiu. Esses são apenas alguns exemplos.
Ninguém duvida do valor que essas empresas ganharam, mas elas estavam em posições singulares e dezenas de pessoas empregadas na criação e manutenção de soluções de Big Data. Esse esforço e o dinheiro necessário para desenvolver este tipo de sistema é para poucos e não para empresas com escassos cientistas de dados. A maioria das organizações não deve seguir esse modelo.
Muitas pessoas agora parecem pensar que o Hadoop é Big Data, quando o Hadoop é apenas uma das várias soluções de Big Data disponíveis - e Hadoop não é bom para muitos cenários de Big Data, segundo especialista da Forrester.
Hadoop tem sido muito comentado nestes dias em círculos de gerenciamento de banco de dados e de conteúdo, mas muitas pessoas na indústria ainda não sabem realmente o que é e como pode ser melhor aplicado.
A tecnologia subjacente do Hadoop foi inventada pelo Google em seus primeiros dias para que pudessem indexar toda a informação estruturada e em forma de texto. Estas informações foram coletadas e depois apresentadas como resultados significativos e utilizáveis para os usuários. Não havia nada no mercado que permitiria fazer isso, então eles construíram sua própria plataforma. Inovações do Google foram incorporados ao Nutch, um projeto de motor de busca de código aberto desenvolvido em Java, e Hadoop foi posteriormente desmembrado disso. Yahoo tem desempenhado um papel fundamental no desenvolvimento do Hadoop para aplicações empresariais.
A plataforma Hadoop foi projetada para resolver problemas onde se tem um monte de dados - talvez uma mistura de dados complexos e estruturados - e não é adequado para tabelas. É para situações em que se deseja executar análises que são profundas e computacionalmente extensas, como clusterização e segmentação. Isso é exatamente o que o Google estava fazendo quando estava indexando a web e analisando o comportamento do usuário para melhorar os algoritmos de desempenho.
Hadoop se aplica a um grupo de mercados. No mercado financeiro, se se deseja uma precisa avaliação de portfólio ou análise de risco, pode-se construir modelos sofisticados que são difíceis de conseguir em uma ferramenta de banco de dados. Mas Hadoop pode lidar com isso. No varejo online, se se deseja entregar melhores respostas de busca para seus clientes de modo que eles sejam mais propensos a comprar o artigo mostrado a eles, esse tipo de problema é bem tratado pela plataforma que o Google construiu. Esses são apenas alguns exemplos.
Nenhum comentário:
Postar um comentário