Há uma década, estratégias de big data eram utilizadas por um grupo pequeno de investidores institucionais capazes de extrair insights com algoritmos avançados que eram usados para criar estratégias de negociação geradoras de alfa.
Hoje, um número muito mais elevado de gestores de fundos e hedge funds consomem dados para descobrir potenciais sinais de negociação imperceptíveis. Isso indica uma grande tendência impulsionada pelo crescimento exponencial da disponibilidade cada vez maior de dados, desde fontes tradicionais de dados de mercado até novas fontes de potencial operacional, como observado pelas mídias sociais, internet, granularidades de dados de empresas e gastos de consumidores, e até observações feitas da análise de imagens de satélite.
“Gerar vantagem com dados é alavancar informações atuais e passadas para gerar inteligência prática para ajudar você a gerir riscos e tomar decisões de negócios melhores, mais baratas e oportunas que a competição" diz Carl Reed, Chefe Global de Data License da Bloomberg. “Dados continuam sendo uma forma imparcial para entender o ambiente de negócios atual, e com a disponibilidade de dados históricos, oferece oportunidades para alavancar comportamentos passados e avaliar resultados futuros para melhor tomada de decisão."
Empresas agora devem aprender como aproveitar este crescimento exponencial de dados de forma vantajosa, de acordo com Reed. Não há dúvida de que a integração destas informações pode melhorar o processo operacional de investimento. Mas o acesso a grandes quantidades de dados sem fidelidade, governança e engenharia de dados adequada pode ser problemático. A prática de separar informações úteis das inúteis abrange desde a função da engenharia de dados vs ciência de dados, arquitetura de dados e implementação de tecnologia, até os processos de governança.
“Infelizmente, limpar e integrar dados em qualquer escala como um pré-requisito para análises de negócios significativas, requer muito tempo, disciplina e investimento. Um 'mal necessário' da revolução de dados," de acordo com Reed. "As empresas precisam separar a questão da engenharia de dados, como limpar e integrar dados em sinais de alta qualidade, do problema da ciência de dados, combinar dados com a experiência em negócios necessária para transformá-los em inteligência de negócios acionável".
Um recurso de engenharia de dados parece mais adequado como uma função empresarial que executa no centro de uma organização com uma capacidade ágil que pode operar em escala. É impulsionado pela demanda, autoritário e também uma implementação comprovada da governança de dados empresariais. Por outro lado, os recursos de ciência de dados parecem mais adequados para executar na extremidade da organização, diretamente incorporados em diferentes unidades de negócios. Estas equipes podem ser estruturadas como pequenos grupos multidisciplinares especializados em ciências de dados, tecnologia e negócios encarregados de gerar inteligência acionável que pode ser monetizada por suas respectivas empresas. Eles colaboram com a central de engenharia para adquirir os dados necessários, mas focam o seu tempo na utilização, e não na criação de dados. Infelizmente, hoje em dia, a maioria dos cientistas de dados gastam a maior parte de seu tempo para obter, limpar e integrar dados. Isto é ineficiente e, ironicamente, contraditório à disciplina de dados que muitas das mesmas organizações estão tentando alcançar para seus requisitos regulamentares.
Isto pode ser um desafio significativo, mas também oferece uma oportunidade para estabelecer um fundamento empresarial mais amplo, que pode ser alavancado além da necessidade de uma organização de cumprir requisitos regulamentares.
Algumas das empresas mais sofisticadas estão despertando para a ideia de aplicar os mesmos princípios a big data, dados alternativos e ciência de dados. Estas organizações estão percebendo que a demanda regulamentar por "engenharia de dados" demonstráveis não é apenas um pré-requisito para credibilidade de relatórios, riscos e requisitos de capital. É um pré-requisito para mitigar os riscos de entrada e saída de qualquer modelo analítico, independente da sofisticação da ciência de dados usada na construção. Além disso, dada a extensão dos investimentos regulatórios passados, atuais e futuros, faz sentido do ponto de vista de negócios, não criar o mesmo modelo várias vezes.
Finalmente, o surgimento de dados alternativos dentro do ecossistema amplo de big data é o reforço mais recente da importância da integração da fidelidade de dados, governança e sustentabilidade empresarial. Estes conjuntos de dados não tradicionais variam desde o tráfego de consumidores, pagamentos de cartões de crédito, faturamento de utilidade pública, imagens de satélite, tráfego da internet, etc., e são menos estruturados e mais desconectados que nunca. O valor destes tipos de observações como novos sinais e insights para análises de base mais tradicional está gerando grande interesse. Entretanto, à medida que a diversidade dos dados e a profundidade do histórico neste ecossistema se expande, organizações terão que manter o ritmo e investir nos seus próprios serviços de integração de dados, bem como buscar parcerias com fornecedores e agregadores de dados para melhor economia de escala.