Introdução a Business Intelligence e Data Mining

Alguem ja ouviu falar em Business Intelligence?!
A importancia de tais tecnicas para disputa no mercado?!

Business Intelligence

A Inteligência Empresarial, ou Business Intelligence, é um termo do Gartner Group. O conceito surgiu na década de 80 e descreve as habilidades das corporações para acessar dados e explorar as informações (normalmente contidas em um Data Warehouse/Data Mart), analisando-as e desenvolvendo percepções e entendimentos a seu respeito, o que as permite incrementar e tornar mais pautada em informações a tomada de decisão (JFF).

As organizações tipicamente recolhem informações com a finalidade de avaliar o ambiente empresarial, completando estas informações com pesquisas de marketing, industriais e de mercado, além de análises competitivas. Organizações competitivas acumulam "inteligência" à medida que ganham sustentação na sua vantagem competitiva, podendo considerar tal inteligência como o aspecto central para competir em alguns mercados.

Geralmente, os coletores de BI obtêm as primeiras fontes de informação dentro das suas empresas. Cada fonte ajuda quem tem que decidir a entender como o poderá fazer da forma mais correta possível. As segundas fontes de informações incluem as necessidades do consumidor, processo de decisão do cliente, pressões competitivas, condições industriais relevantes, aspectos econômicos e tecnológicos e tendências culturais.

Cada sistema de BI determina uma meta específica, tendo por base o objetivo organizacional ou a visão da empresa, existindo em ambos objetivos, sejam eles de longo ou curto prazo.

Data Mining(Mineração de Dados)

o DataMining é uma da tecnicas mais empregradas, o que significa explorar um gigantesca quantidade de dados em busca de padrões consistentes de dados,utlizando diversos processos e algoritmos, como senquencias temporais e/ou regras de associação, agrupando variaveis de forma sistematica criando novos subconjutos de dados.Esse é um tópico recente em ciência da computação mas utiliza várias técnicas da estatística, recuperação de informação, inteligência artificial e reconhecimento de padrões.

Devido a utlização de tecnicas e algoritmos que utilizam dados para obter conhecimento, assim como quase todos os metodos empregados em inteligencia artificial, o Data Mining nao é uma tecnica magica, por isso, os dados analisados devem ser muito bem levantados, selecionados, filtrados e pré-processados, caso contrario o resultado pode nao ter valor algum, seguindo a lei de sistemas GarbageIO(Garbage In/Out).

Um dos softwares mais interessantes nesta área é o Weka(Waikato Enviroment for Knowledge Analysis), desenvolvido por pesquisadores da Univercidade Waikato na Nova Zelandia em Java, sendo composto de um ambiente grafico para testes e avaliação de algoritmos de mineração de dados e uma API utilizada para embutir algoritmos em aplicações Java!!

Tecnicas de Mineração de Dados

• Classificação:

Predição de uma classe ou categoria discreta a partir de atributos de entrada.Algoritmos de classificação analisam dados para cada categoria discreta presente da base de dados, tentando criar funções que cosnigam separar diferentes categorias usando o valor de atributos extraidos.Após a criação destas funções de separação, estas são usadas para definir categoria de dados nao explicitas, auxiliando na previsão de categorias discretas usadas , por exemplo, em sistema de detecção de intrusão em redes ou sistemas de tomada de decisão em instituições financeiras(Desta forma nao existiria a crise financeira atual :P).

• Associação:

Descobertas de co-ocorrencias entre elementos em grandes conjuntos de dados, onde os algoritmos de associação analisam atributos que ocorrem frequentemente de acordo com métricas definidas.Imagine cada dado com o acontecimento de um evento qualquer,podemos então verificar que valores de atributos sempre acabam ocorrendo em conjunto.Esta tecnica é muito utilizada na analise de carrinho de compras em sites de E-Commerce, utilizando como entrada a lista de itens compradas em determinada transação, determinando ao final, que produtos são comprados em conjunto com alguma frequencia.

• Agrupamento:

Descoberta de grupos naturais em que dados estão em um mesmo grupos são considerados semelhantes e dados em grupos distintos são considerados divergentes.Tais algoritmos tentam criar agrupamentos de dados utilizando diferentes metricas de similaridade, geralmente de forma iterativa até que os grupos criados sejam considerados adequados, e é geralmente utilizado com dados numéricos.Um exemplo seria a separação de clientes em diversas categorias para exploração de similaridades ainda não conhecidas.

• Regressão ou Predição Numerica:

Descoberta de um valor associado á cada dado e que podem ser calculado ou inferido a partir dos valores de seus atributos.É um conceito similar a tecnica de classificação, mas ao invés de tentar inferir a categoria discreta associada ao dados, utiliza-se uma categoria numérica.Um exemplo clássico é a de previsão de series temporais, onde a partir de um conjunto de dados coletados ao longo do tempo, se pode prever o comportamento futuro do conjunto de dados, podendo ser utilizado para previsão de indicadores economicos e financeiros, mas logicamente é um processo altamente complexo e sujeito a erros humanos!!!!

Links Interessantes

Site do projeto Weka
Orange(data mining toolkit em Python)
Pentaho(empresa de Business Intelligence)
Blog com exemplos de na area de Data Mining
Rafael Santos, especialista em AI e processamento de imagens