Tema3.pptx

BANCOS DE DADOS:
SQL, NOSQL E HADOOP
AULA 3
MPI4002 - Bibliotecas Digitais: Implementação e Avaliação
de Sistemas e Serviços Digitais
Profs. Marcos L. Mucheroni – José Fernando M. Silva

Programas de Aplicações / Consultas (Queries)
Usuários/Programadores
SISTEMA DE BANCO
DE DADOS
Programas para Processamento de consultas /
gerenciamento de dados
Software para Acesso aos Dados Armazenados
Definição dos dados
Banco de dados
armazenados
SGBD

Bases e Bancos de Dados - conceitos

Utilitários de um SGBD
• Carregamento (loading) : carrega arquivos e dados existentes dentro do banco de dados. Útil
para transferência de dados entre SGBDs ou entre SGBDs e outros sistemas (são ferramentas de
conversão).
• Backup: cria uma cópia do banco de dados, geralmente descarregando (dumping) todo o banco
de dados em uma fita (por exemplo). Também possibilita o backup incremental.
• Reorganização de arquivos: reorganiza os arquivos do banco de dados em uma nova forma
buscando melhorar seu desempenho.
• Monitoramento de desempenho: monitora o uso do BD e fornece estatísticas para o DBA, que
pode tomar decisões para melhorar o desempenho.

Utilitários de um SGBD
Espelhamento Replicação
 
 
Clusterização


Arquitetura para Sistemas
de Banco de Dados
• Primeira arquitetura: Centralizada (uso de Mainframes)
• O processamento principal e de todas as funções do sistema (aplicativos, interface e SGBD) eram
executados nos mainframes.
• Os usuários interagiam com o sistema via terminais sem poder de processamento, conectados ao
mainframe por redes de comunicação.
• Com o barateamento do hardware, os terminais foram sendo trocados por estações de trabalho e
naturalmente a tecnologia de banco de dados começou a aproveitar esse potencial de processamento
no lado do usuário.
• Surge a segunda arquitetura: clientes e servidores,
• Agora as nuvens, armazenamento confiável, deve ser feito em Storage (não são hard-disks).

Sistemas de Banco de Dados
• Segunda arquitetura: Cliente-Servidor
• Dividiu as tarefas de processamento criando servidores especializados como os servidores de arquivos.
• As máquinas clientes disponibilizavam as interfaces para os usuários, de forma a capacitá-lo ao uso de servidores.
Também tinham autonomia para executar aplicações locais.
• No caso específico de banco de dados, nesta arquitetura, um SGBD centralizado é implantado no servidor, assim
as consultas (servidor SQL) e funcionalidades transacionais são executadas no servidor.
• No lado do cliente é possível formular as consultas e desenvolver programas aplicativos.
• O servidor SQLé conhecido como Back-End Machine e o cliente como Front-End Machine.

Sistemas conhecidos e bastante utilizados
• Access: é padrão em banco de dados para microcomputadores do ambiente Windows. Possui ambiente integrado
que permite a criação e gerenciamento do banco de dados, desenvolvimento de aplicações e geração de
relatórios. A linguagem de programação usada neste ambiente deriva do Visual Basic.
• Oracle: O primeiro em Banco de Dados Corporativos (cliente/servidor) possuindo grande variedade de
distribuições (para Macintosh, Windows, Linux, FreeBSD, Unix) e para computadores de grande porte. É padrão
SQL com uma linguagem própria para desenvolvimento de aplicações.
• Interbase: Foi incluído, pela Borland, nas suas ferramentas de desenvolvimento (Delphi, C++Builder, JBuider).
Teve uma versão liberada como Open Source.
• MS-SQL Server: Produzido pela Microsoft, inicialmente era uma versão especial do Sybase. As versões atuais são
independentes e opera exclusivamente sobre Windows.

• De dados apenas: referentes ao sistema de catalogação da bases.
• De conteúdos: incluem etiquetas (tags) que podem e devem ter
atributos que auxiliem a recuperação dos dados.
• Metadados (definição preliminar): incluem etiquetas para
recuperar os dados, são fundamentais para sistemas on-line.
• O banco de dados deve ter alguma metalinguagem (no caso da
Web, inicialmente o HTML e agora o XML) que auxiliem os
mecanismos de busca e recuperação de dados.
• Importante: há uma outra camada: apresentação (acesso).
Bases e Bancos de Dados - conceitos

TERMO DEFINIÇÃO EXEMPLO DE USO.
Base de dados Coleção organizada de dados LILACS é uma base de dados para
de referências bibliográficas.
Sistema de banco de dados (BD)
termo genérico para qualquer
software usado para manipular
bases de dados
PostgreSQL e WinISIS são
dois sistemas de bancos de
dados bem distintos.
Sistema gerenciador de
banco de dados (SGBD)
projetado para permitir e
controlar o acesso e a
manipulação dos dados por
múltiplos processos ou usuários
remotos via rede
SQL é SGBD comum, e o
CouchDB é um SGBD Semi-
estruturado, WinISIS não é um
SGBD é um aplicativo com BD.
Sistema Eletrônico de
Gerenciamento de Dados
Sistema que garante a interope-
rabilidade de dados em língua-
gem padrão ou formato aberto.
São inúmeros os sistemas GED,
ECM (conteúdo em empresas) o
Alfresco, ERM (recursos) podem
ser de bibliotecas, ex. ExLibris.
Bancos de Dados Semi-
estruturados
A estrutura formal dos modelos de
dados não estão como tabelas de
dados, mas separados por “tags”.
Todos modelos de BD noSQL,
mas um exemplo forte é o
Hadoop. Isis é semiestruturado.
Bancos de dados – nomenclatura

Sistemas conhecidos em operação
• Sybase SQL Anywhere: Concorre com o Oracle no mercado corporativo. Aplicações para este banco são desenvolvidas com o
PowerBuilder.
• MySQL: Possui versões para Windows, Solaris, Unix, FreeBSD, Linux) e é gratuito. Muito poderoso, usado principalmente para
desenvolvimento WEB como servidor de dados para comércio eletrônico.
• PostgreSQL: Gratuito e com boa aceitação. Originalmente concebido para rodar em Linux. Possui versões para Windows.
Principalmente usado para comércio eletrônico juntamente com linguagem PHP.
• Informix: Boa escalabilidade e desempenho. Comercializado pela IBM.
• DB2: Produzido pela IBM, nasceu nos ambientes de grande porte, sendo posteriormente portado para plataformas mais simples
(microcomputadores).
• Firebird: Nascido de uma iniciativa da Borland em abrir o código do InterBase 6, este sistema é open source e esbanja
versatilidade e robustez. Possui recursos de trigger, store procedures e transações concorrentes.

Sistemas conhecidos, mas caindo em desuso
• Além dos gerenciadores, pode-se citar algumas linguagens/ferramentas de desenvolvimento, que
manipulam os banco de dados desses gerenciadores:
• COBOL (Common Busines Oriented Language) – o mais antigo, é na verdade uma linguagem, ainda existe.
• Clipper: Comumente utilizado junto ao dBase. O Brasil foi o líder mundial em vendas e uso dessa ferramenta.
• Joiner: Produto nacional concorrente do Clipper, produzido por uma empresa paulista chamada Tuxon
Software, com versões para DOS, Unix, e algum suporte para Windows.
• Delphi/C++Builder/JBuilder: Ferramentas de desenvolvimento da Borland que possuem suporte nativo aos
bancos de dados Interbase e MySQL. Delphi e C++Builder também podem acessar arquivos no formato
dBase, Paradox e Access nativamente, enquanto outras bases de dados podem ser maipuladas através da
tecnologia ODBC.
• Visual Basic/Visual C++: O programador pode criar aplicações que acessam bancos de dados Access ou, por
meio de ODBC, outros formatos.

Bancos de Dados
• MySQL e PostgreSQL, os mais populares.
• PostgreSQL - início na Universidade de Berkeley, na Califórnia,
em 1986.
• MySQL surgiu na Suécia três colegas: Allan Larsson, David
Axmark e Michael Monty Widenius.
• MySQL, 1ª. versão foi lançada no ano de 1996.
• Compatibilidade com várias linguagens, algumas:
• Java, PHP, Python, Ruby, e C/C++;
• Base de dados de tamanho ilimitado;
• ORACLE: profissional, mas paga.

Tipos de Dados Estruturados
Tipos de dados Descrição
CHARACTER(n) Cadeia (String) de caracteres. Tamanho fixo n
VARCHAR(n) or
Cadeia de caracteres. Comprimento variável máximo n
CHARACTER VARYING(n)
BINARY(n) Cadeia (String) binária. Comprimento fixo n
BOOLEAN Armazena valores TRUE ou FALSE
VARBINARY(n) or
Cadeia Binária. Comprimento variável máximo n
BINARY VARYING(n)
INTEGER(p) OU INT Numérico inteiro com precisão p, INT valores inteiros até 32.657
FLOAT Aproximação numérica, precisão da mantissa 16
DOUBLE PRECISION Aproximação numérica, precisão da mantissa 16

Instruções (mínimas)
instrução SQL O QUE FAZ EXEMPLO
inclusões INSERT
é usada para inserir um registro
(formalmente uma tupla) a uma tabela
existente.
INSERT INTO Pessoa (id, nome, sexo)
VALUE;
alterações UPDATE
para mudar os valores de dados em uma ou
mais linhas da tabela existente.
UPDATE Pessoa SET data_nascimento =
'11/09/1985' WHERE
exclusões DELETE
permite remover linhas existentes de uma
tabela. DELETE FROM pessoa WHERE id_pessoa = 7
ALGUMAS EXTERIORES NOVAS:
Blobs e clobs
Binary large objects (blobs) e Character large objects (clobs) são tipos de dados tratados de maneira
semelhante aos tipos embutidos JDBC. Por default os objetos blob e clob só se mantém validos durante
a transação que os criou. Como fazer (complicado mesmo):
Blob blob = rs.getBlob()1 ; // coluna 1
Clob clob = rs.getClob()1 ; // coluna 2

• Passo 1: Instalar uma versão “server” do MySQL
• Passo 2: Criar uma tabela entrando no ambiente DOS MySQL
• Passo 3: Gerar uma senha para o “servidor” do MySQL
• Passo 4: Gerar uma base de Dados, sempre haverão duas do software:
information_schema
mysql (comandos, helps, etc.)
• Passo 5: construir e atualizar bases de dados.
Passo a passo para MySQL

• MySQL Comandos (1):
• USE – usa um banco de dados;
• CREATE cria uma tabela: (no sistema DOS)
mysql> CREATE TABLE Pessoas (
nome varchar(20) not null,
sobrenome varchar(20) not null,
pais varchar(18) not null,
aniversario not null,
default '00-00-0000',
falecimento null
);

• SHOW mostra a tabela do banco de dados:
mysql> SHOW tables;
• DESCRIBE - descreve uma tabela da base de dados:
mysql> DESCRIBE Pessoas;

MySQL Comandos (3):
• INSERT INTO insere dados na tabela:
mysql> INSERT INTO Pessoas VALUES
('Smith',
'John',
‘Inglaterra',
'10-12-1956',
' ');

INSERT INTO Pessoas VALUES (
'Lynch',
'Alan',
‘Holanda',
'10-06-1955',
'01-07-2001');
INSERT INTO Pessoas VALUE (
'Baker', 'Pat', ‘Belgica', '01-07-1955', ' ‘
);

• SELECT seleciona dados de uma table:
mysql> SELECT * FROM Pessoas;
• INSERT mais alguns dados:
INSERT INTO Pessoas VALUES (
'Burke', ‘Peter', ‘EUA', '02-15-1980',' '
);

DICAS PRÁTICAS - Criar planilha no Excel
• Se quiser destacar a primeira coluna (não é necessário, pois isto será
feito na importação no Access)

Importar no Banco de Dados - Access
• Ao importar destacar a primeira linha como “Títulos”

Ir avançando e colocando os campos
• Veja as seleções de campos que existem para cada “Título”

Ferramentas práticas (com interfaces)
HeidiSQL MariaDB

ISIS CDS (já era um modelo semiestruturado)
• Desenvolvido na década de 70, como uma mesclagem (MERGING) do CDS-ISIS:
Computerized Documentation System / Integrated Set of Information Systems
Surgimento histórico:
MicroISIS for DOS: versão 3.08 (1998);
MicroISIS for Windows: Atual versão 1.0x - beta Jan/99; Mai/1999 (Bireme), pode ser utilizada em conjunto com a
versão DOS;
ISIS for UNIX: Versão compatível com a 1.03 da versão DOS;
MiniISIS: Versão do ISIS para Mini-Computadores.
CISIS: Propriedade da Bireme, conjunto de aplicativos e funções/objetos em linguagem C, que permitem a criação
de soluções ISIS pessoais / diversificadas;
WWWisis: Aplicativo da Bireme (versão 3.0x, Jan/99)
En 1980 la UNESCO, dentro de las actividades del Programa General de información,.. Por entonces
UNESCO disponía de un sistema informatico, diseñado para grandes ordenadores, ordenadores
mainframe, cuyas capacidades se acoplaban perfectamente a los planes diseñados. Solamente había que
adaptarlo para que funcionase en microordenadores que estuviesen al alcance de las bibliotecas.
(HERNÁNDEZ, 2001)

Modelo ACID – funciona bem p/ estruturado
Atomicidade
• Estado em que as modificações no BD devem ser todas ou nenhuma feita.
Cada transação é dita como “atômica”. Se uma parte desta transação
falhar, toda transação falhará.
Consistência
• Estado que garante que todos os dados serão escritos no BD.
Isolamento
• Requer que múltiplas transações que estejam ocorrendo “ao mesmo
tempo”, não interfiram nas outras.
Durabilidade
• Garante que toda transação cometida (commit) pelo BD não será perdida.

Agora que falamos brevemente sobre as principais características nos bancos de dados NoSQL,
é importante ressaltar algumas técnicas utilizadas para a implementação de suas
funcionalidades. Entre elas estão:
• Map/reduce: permite a manipulação de enormes volumes de dados ao longo de nós em
uma rede (VOLGELS, W. ]. Funciona da seguinte forma: na fase map, os problemas são
particionados em pequenos problemas que são distribuídos em outros nós na rede. Quando
chegam à fase reduce, esses pequenos problemas são resolvidos em cada nó filho e o
resultado é passado para o pai, que sendo ele consequentemente filho, repassaria para o seu,
até chegar à raiz do problema.
Consistent hashing: suporta mecanismos de armazenamento e recuperação, onde a
quantidade de sites está em constante mudança (Vogels, 2008). É interessante usar essa
técnica, pois ela evita que haja uma grande migração de dados entre estes sites, que podem
ser alocados ou desalocados para a distribuição dos dados.
MVCC (Multiversion concurrency control): Oferece suporte a transações paralelas em banco
de dados. Por não fazer uso de locks para controle de concorrência, faz com que transações de
escrita e leitura sejam feitas simultaneamente [SOBREIRA, 2012].
• Vector clocks: Ordenam eventos que ocorreram em um sistema. Como existe a possibilidade
de várias operações estarem acontecendo simultaneamente, o uso de um log de operações
informando suas datas se faz importante para informar qual versão de um dado é a mais atual
(NoSQL, 2016).
NoSQL. http://nosqlba.com.br/.
Idgnow. http://idgnow.uol.com.br/internet/2009/02/19/twitter-e-o-servico-social-mais-
instavel durante-2008-aponta-estudo/.
SOBREIRA, G. http://www.ffb.edu.br/sites/default/files/tcc-20102-gleidson-sobreira-leite.pdf .
VOGELS, W. “Eventually Consistent”, Scalable Web Services, Volume 6 No. 6, Outubro de 2008.
NoSQL

• Modelos de banco de dados NoSQL
• Neste caso, temos três categorias do NoSQL que as diferenciam entre si:
• 1 - Chave-valor (key-value): Este modelo é considerado simples e permite a sua visualização através de uma tabela de
hash, no qual há uma chave única e um indicador de determinado dado, podendo ser uma String ou um binário. Ex.
Diferenças de campos e tratamentos da Informação
Campos e Informações

2 - Banco de Dados Orientado a Documento: Como o próprio nome sugere, este modelo armazena
coleções e documentos. Explicando melhor, um documento, no geral, é um objeto identificador único e
um conjunto de campos que podem ser strings, listas ou documentos aninhados.
• No exemplo desejamos investigar as opiniões sobre um site. A opinião terá como campos: Assunto,
Autor, Data, Tags e Mensagens. Não há nenhum tipo de restrição ou complexidade de inserir tal dado
no banco de dados, esta flexibilidade é um ponto forte neste tipo de modelo NoSQL. Ex.
NoSQL
Documento com informações

3 - Orientado a Coluna (column family): Demonstra maior
complexidade que o de chave-valor. Este tipo de banco de dados foi
criado para armazenar e processar uma grande quantidade de dados
distribuídos em diversas máquinas. Aqui existem as chaves, mas neste
caso, elas apontam para atributos ou colunas múltiplas. Neste caso, os
dados são indexados por uma tripla (coluna, linha e timestamp), a
coluna e linha são identificadas por chaves e o timestamp permite
diferenciar múltiplas versões de um mesmo dado.
Como cresce a Complexidade

Conceitos novos para Bancos de Dados
• SGBD modelo de consistência - controle transacional ACID (Atomicity,
Consistency, Isolation e Durability),
• Não é inviável quando estão distribuídos em vários nós, caso típico
das redes (importante aqui são redes e não mídias).
• Modelo desenvolvido para NoSQL deve ser outro: CAP (Consistency,
Availability e Partition tolerance) onde geralmente somente duas
dessas 3 propriedades podem ser garantidas simultaneamente, o que
dificulta ainda mais o processamento, mas não se a base de Dados for
“semiestruturada”, isto é, trabalhar com o princípio que os dados não
são estruturados nos formatos convencionais dos bancos SQL.

Modelo CAP e softwares
CAP Theorem no Symposium on Principles of Distributed Computing (PODC) 2000. Ver PDF.

Big Data e os 3 Vs (velocidade, volume e
variedade)

1. Introdução: Hadoop – história e vantagens
2. Detalhes da arquitetura
3. Aplicações do Hadoop
Uma ferramenta para BigData

O que é o Hadoop?
• Projeto top nível superior da Fundação Apache
(software livre) e implementação open-source de
quadros para escalável de armazenamento
confiável, computação distribuída e de grande
volume de dados.
• É uma arquitetura flexível e altamente disponível
para a computação em larga escala e de
processamento de dados em uma rede de
hardware comuns.

Desenvolvedores do Hadoop
Doug Cutting
2005: Doug Cutting e Michael J. Cafarella desenvolvido
Hadoop para apoiar a distribuição para o projeto de
motores de busca Nutch.
O projeto foi financiado pelo Yahoo.
2006: Yahoo deu o projeto Apache
software Foundation.

O que é o Hadoop?
• Hadoop:
• sub Projetos concluídos, adicionando Mais Poder
computacional para o framewoork Hadoop, licenciado sobre a
licença da v2 do Apache v2 .
• Objetivos / Requisitos:
• Abstrações e facilidade para armazenamento e
processamento de grande quantidades de dados que cresçam
• Trata dados estruturados e não estruturados.
• Modelos simples para programação (programas claro)
• Alta escalabilidade
• Mais computação e menos dados
• Tolerância a falhas e tratamentos de dados.

Breve história do Hadoop
• Projetado para responder a questão: “Como
processar grandes volumes de dados com
custo e tempo razoáveis?”
Web crawlers

Máquinas de buscas nos anos 90
1996
1996
1997
1996

A máquina de busca Google
1998
2013

Está na origem do Google
2003
2004
2006

Alguns milestones Hadoop
• 2008 - Hadoop Wins Terabyte Sort Benchmark (classificadas 1 terabyte de
dados em 209 segundos, em comparação com recorde anterior de 297
segundos)
• 2009 – Avro e Chukwa se tornaram os novos membros da família Hadoop
Framework
• 2010 - Hadoop's Hbase, Hive e Pig sub projectos concluídos, adicionando
mais poder computacional para framework Hadoop
• 2011 - ZooKeeper foi completado
• 2013 - Hadoop 1.1.2 e Hadoop 2.0.3 alpha.
- Ambari, Cassandra, Mahout foram adicionados.

Architetura Hadoop
• Distribuído, com alguma centralização
• Escrito em Java suporta Python e Ruby, dificuldades com PHP.
• É sempre necessária alguma programação.
• Versão Handoop 2.0 cria facilidades para usuários, mas é 2.0 ?

Modelo de aplicação de Handoop

Hadoop no mercado
• Hadoop está em muitas organizações que usam big data:
o Yahoo!
o Facebook
o Amazon
o Netflix
o Etc…
• Algumas exemplos de escalabilidade:
o Yahoo!’s Search Webmap executa em um núcleo de
10.000 nós num cluster Linux para potencializar a Yahoo!
Web search
o FB’s Hadoop hospeda 100+ Pbyte de dados (Julho, 2012)
& crescia a ½ PB/dia (Nov, 2012)

Novo tipo de desenvolvimento para Web
• Surgimento de diversas aplicações Web, agora com Linked Data.
• Necessidade de um banco de dados específico.
• A linguagem deveria facilitar a implementação e desenvolvimento.
• Já haviam linguagem complexas com Hbase e Reduced Map.
• A dificuldade é que só especialistas conseguiam implementar.
• O volume de dados cresceu e a desestruturação é crescente.
• Solução encontrada: SPARQL (SPARQL Protocol and RDF Query
Language)

Referências:
• D. Agrawal, S. Das, and A. El Abbadi. Big data and cloud computing: New wine or just new bottles? Proc.
VLDB Endow., 3(2):1647–1648,2010.
• D. Agrawal, S. Das, and A. El Abbadi. Big data and cloud computing: current state and future opportunities. In
EDBT, page 530, 2011.
• Apache Hadoop. http://hadoop.apache.org, 2012.
• Apache Hive. hive.apache.org, 2012.
• Apache Pig. http://pig.apache.org, 2012.
• CATTELL, R. Scalable SQL and NoSQL data stores. ACM SIGMOD Record, 39(4):12, May 2011.
• HERNÁNDEZ, Adolfo. MicroISIS : Diecinueve años de historia. Madrid, 2001.Disponível em:
<http://www.cindoc.csic.es/isis/historia.htm> Acesso em 02/04/2009.
• Mysql – Disponível em: http://www.mysql.com/, Acesso: janeiro de 2010.
• XML.com – Introducing SPARQL: Querying the Semantic Web. Disponível em
http://www.xml.com/pub/a/2005/11/16/introducing-sparql-querying-semantic-web-tutorial.html. Acesso
em 03/2009.
• W3C – RDF Primer. Disponível em http://www.w3.org/TR/rdf-primer/. Acesso em 03/2009.

Tema3.pptx

Mais conteúdo relacionado

Semelhante a Tema3.pptx (20)

Último (6)

Tema3.pptx