Slides - INESC-ID

Auto-Configuração de Bases de dados NoSQL
Multi-Dimensionais
INFORUM’13
Nuno Diegues, Muhammet Orazov, João Paiva, Luı́s
Rodrigues, Paolo Romano
Instituto Superior Técnico / Inesc-ID, Lisboa, Portugal
5 de Setembro de 2013
Estrutura da apresentação
Introdução
Modelação
Auto-configuração do HyperDex
Conclusões
Motivação
Armazenamento por chave-valor
I
Bom desempenho
I
Grande escalabilidade
I
Interface restritiva: operações apenas por chave primária
Motivação
Armazenamento por chave-valor
I
Bom desempenho
I
Grande escalabilidade
I
Interface restritiva: operações apenas por chave primária
Motivação: sistemas chave-valor
ID: alifparis1
Nome: Hotel Alif
Preço: 30€
Cidade: Lisboa
Estrelas: 4
TLF: 35192900912
Animais: Não
Postal: Lisboa-­‐1233
Categoria: Hotel
(…)
ID: hiltonparis1
Nome: Hotel Hilton
Preço: 250€
Cidade: Paris
Estrelas: 5
TLF: 87162801020
Animais: Não
Postal: Paris-­‐1291
Categoria: Hotel
(…)
ID: ibisparis1
Nome: Hotel Ibis
Preço: 50€
Cidade: Paris
Estrelas: 3
TLF: 87188190021
Animais: Não
Postal: Paris-­‐1194
Categoria: Hotel
(…)
ID: sleazyparis1
Nome: Motel Sleazy
Preço: 10€
Cidade: Paris
Estrelas: 1
TLF: 871898283033
Animais: Sim
Postal: Paris-­‐7723
Categoria: Motel
(…)
ID: tivolilx1
Nome: Hotel Tivoli
Preço: 90€
Cidade: Lisboa
Estrelas: 4
TLF: 351923821911
Animais: Não
Postal: Lisboa-­‐1000
Categoria: Hotel
(…)
Motivação: sistemas chave-valor
ID: alifparis1
Nome: Hotel Alif
Preço: 30€
Cidade: Lisboa
Estrelas: 4
TLF: 35192900912
Animais: Não
Postal: Lisboa-­‐1233
Categoria: Hotel
(…)
ID: hiltonparis1
Nome: Hotel Hilton
Preço: 250€
Cidade: Paris
Estrelas: 5
TLF: 87162801020
Animais: Não
Postal: Paris-­‐1291
Categoria: Hotel
(…)
ID: ibisparis1
Nome: Hotel Ibis
Preço: 50€
Cidade: Paris
Estrelas: 3
TLF: 87188190021
Animais: Não
Postal: Paris-­‐1194
Categoria: Hotel
(…)
ID: sleazyparis1
Nome: Motel Sleazy
Preço: 10€
Cidade: Paris
Estrelas: 1
TLF: 871898283033
Animais: Sim
Postal: Paris-­‐7723
Categoria: Motel
(…)
ID: tivolilx1
Nome: Hotel Tivoli
Preço: 90€
Cidade: Lisboa
Estrelas: 4
TLF: 351923821911
Animais: Não
Postal: Lisboa-­‐1000
Categoria: Hotel
(…)
Motivação: sistemas chave-valor
A
Z
ID: alifparis1
Nome: Hotel Alif
Preço: 30€
Cidade: Lisboa
Estrelas: 4
TLF: 35192900912
Animais: Não
Postal: Lisboa-­‐1233
Categoria: Hotel
(…)
ID: hiltonparis1
Nome: Hotel Hilton
Preço: 250€
Cidade: Paris
Estrelas: 5
TLF: 87162801020
Animais: Não
Postal: Paris-­‐1291
Categoria: Hotel
(…)
ID: ibisparis1
Nome: Hotel Ibis
Preço: 50€
Cidade: Paris
Estrelas: 3
TLF: 87188190021
Animais: Não
Postal: Paris-­‐1194
Categoria: Hotel
(…)
ID: sleazyparis1
Nome: Motel Sleazy
Preço: 10€
Cidade: Paris
Estrelas: 1
TLF: 871898283033
Animais: Sim
Postal: Paris-­‐7723
Categoria: Motel
(…)
ID: tivolilx1
Nome: Hotel Tivoli
Preço: 90€
Cidade: Lisboa
Estrelas: 4
TLF: 351923821911
Animais: Não
Postal: Lisboa-­‐1000
Categoria: Hotel
(…)
Motivação: sistemas chave-valor
A
Z
ID: alifparis1
Nome: Hotel Alif
Preço: 30€
Cidade: Lisboa
Estrelas: 4
TLF: 35192900912
Animais: Não
Postal: Lisboa-­‐1233
Categoria: Hotel
(…)
ID: hiltonparis1
Nome: Hotel Hilton
Preço: 250€
Cidade: Paris
Estrelas: 5
TLF: 87162801020
Animais: Não
Postal: Paris-­‐1291
Categoria: Hotel
(…)
ID: ibisparis1
Nome: Hotel Ibis
Preço: 50€
Cidade: Paris
Estrelas: 3
TLF: 87188190021
Animais: Não
Postal: Paris-­‐1194
Categoria: Hotel
(…)
ID: sleazyparis1
Nome: Motel Sleazy
Preço: 10€
Cidade: Paris
Estrelas: 1
TLF: 871898283033
Animais: Sim
Postal: Paris-­‐7723
Categoria: Motel
(…)
ID: tivolilx1
Nome: Hotel Tivoli
Preço: 90€
Cidade: Lisboa
Estrelas: 4
TLF: 351923821911
Animais: Não
Postal: Lisboa-­‐1000
Categoria: Hotel
(…)
Motivação: sistemas chave-valor
A
Z
ID: alifparis1
Nome: Hotel Alif
Preço: 30€
Cidade: Lisboa
Estrelas: 4
TLF: 35192900912
Animais: Não
Postal: Lisboa-­‐1233
Categoria: Hotel
(…)
ID: hiltonparis1
Nome: Hotel Hilton
Preço: 250€
Cidade: Paris
Estrelas: 5
TLF: 87162801020
Animais: Não
Postal: Paris-­‐1291
Categoria: Hotel
(…)
ID: ibisparis1
Nome: Hotel Ibis
Preço: 50€
Cidade: Paris
Estrelas: 3
TLF: 87188190021
Animais: Não
Postal: Paris-­‐1194
Categoria: Hotel
(…)
ID: sleazyparis1
Nome: Motel Sleazy
Preço: 10€
Cidade: Paris
Estrelas: 1
TLF: 871898283033
Animais: Sim
Postal: Paris-­‐7723
Categoria: Motel
(…)
ID: tivolilx1
Nome: Hotel Tivoli
Preço: 90€
Cidade: Lisboa
Estrelas: 4
TLF: 351923821911
Animais: Não
Postal: Lisboa-­‐1000
Categoria: Hotel
(…)
Motivação: sistemas chave-valor
A
Z
ID: sleazyparis1
Nome: Motel Sleazy
Preço: 10€
Cidade: Paris
Estrelas: 1
TLF: 871898283033
Animais: Sim
Postal: Paris-­‐7723
Categoria: Motel
(…)
Motivação: sistemas chave-valor
A
Z
ID: sleazyparis1
Nome: Motel Sleazy
Preço: 10€
Cidade: Paris
Estrelas: 1
TLF: 871898283033
Animais: Sim
Postal: Paris-­‐7723
Categoria: Motel
(…)
Motivação: sistemas chave-valor
A
Z
ID: sleazyparis1
Nome: Motel Sleazy
Preço: 10€
Cidade: Paris
Estrelas: 1
TLF: 871898283033
Animais: Sim
Postal: Paris-­‐7723
Categoria: Motel
(…)
Motivação: sistemas chave-valor
A
Z
ID: sleazyparis1
Nome: Motel Sleazy
Preço: 10€
Cidade: Paris
Estrelas: 1
TLF: 871898283033
Animais: Sim
Postal: Paris-­‐7723
Categoria: Motel
(…)
Motivação: sistemas chave-valor
Z
ID: sleazyparis1
Nome: Motel Sleazy
Preço: 10€
Cidade: Paris
Estrelas: 1
TLF: 871898283033
Animais: Sim
Postal: Paris-­‐7723
Categoria: Motel
(…)
Motivação: sistemas chave-valor
?
ID: sleazyparis1
Nome: Motel Sleazy
Preço: 10€
Cidade: Paris
Estrelas: 1
TLF: 871898283033
Animais: Sim
Postal: Paris-­‐7723
Categoria: Motel
(…)
Motivação: sistemas chave-valor
A
Z
ID: sleazyparis1
Nome: Motel Sleazy
Preço: 10€
Cidade: Paris
Estrelas: 1
TLF: 871898283033
Animais: Sim
Postal: Paris-­‐7723
Categoria: Motel
(…)
Motivação
Sistemas multi-dimensionais
Soluções para melhorar interface dos sistemas de armazenamento
I
Suportam operações usando atributos secundários
I
Bom desempenho
I
Grande escalabilidade
I
Configuração complexa
Motivação
Sistemas multi-dimensionais
Soluções para melhorar interface dos sistemas de armazenamento
I
Suportam operações usando atributos secundários
I
Bom desempenho
I
Grande escalabilidade
I
Configuração complexa
Motivação: sistemas multi-dimensionais
ID: alifparis1
Nome: Hotel Alif
Preço: 30€
Cidade: Lisboa
Estrelas: 4
TLF: 35192900912
Animais: Não
Postal: Lisboa-­‐1233
Categoria: Hotel
(…)
ID: sleazyparis1
Nome: Motel Sleazy
Preço: 10€
Cidade: Paris
Estrelas: 1
TLF: 871898283033
Animais: Sim
Postal: Paris-­‐7723
Categoria: Motel
(…)
ID: ibisparis1
Nome: Hotel Ibis
Preço: 50€
Cidade: Paris
Estrelas: 3
TLF: 87188190021
Animais: Não
Postal: Paris-­‐1194
Categoria: Hotel
(…)
ID: tivolilx1
Nome: Hotel Tivoli
Preço: 90€
Cidade: Lisboa
Estrelas: 4
TLF: 351923821911
Animais: Não
Postal: Lisboa-­‐1000
Categoria: Hotel
(…)
ID: hiltonparis1
Nome: Hotel Hilton
Preço: 250€
Cidade: Paris
Estrelas: 5
TLF: 87162801020
Animais: Não
Postal: Paris-­‐1291
Categoria: Hotel
(…)
Motivação: sistemas multi-dimensionais
Z
Cidade
A
0€
ID: alifparis1
Nome: Hotel Alif
Preço: 30€
Cidade: Lisboa
Estrelas: 4
TLF: 35192900912
Animais: Não
Postal: Lisboa-­‐1233
Categoria: Hotel
(…)
ID: sleazyparis1
Nome: Motel Sleazy
Preço: 10€
Cidade: Paris
Estrelas: 1
TLF: 871898283033
Animais: Sim
Postal: Paris-­‐7723
Categoria: Motel
(…)
Preço
ID: ibisparis1
Nome: Hotel Ibis
Preço: 50€
Cidade: Paris
Estrelas: 3
TLF: 87188190021
Animais: Não
Postal: Paris-­‐1194
Categoria: Hotel
(…)
400€
ID: tivolilx1
Nome: Hotel Tivoli
Preço: 90€
Cidade: Lisboa
Estrelas: 4
TLF: 351923821911
Animais: Não
Postal: Lisboa-­‐1000
Categoria: Hotel
(…)
ID: hiltonparis1
Nome: Hotel Hilton
Preço: 250€
Cidade: Paris
Estrelas: 5
TLF: 87162801020
Animais: Não
Postal: Paris-­‐1291
Categoria: Hotel
(…)
Motivação: sistemas multi-dimensionais
Z
Cidade
A
0€
ID: alifparis1
Nome: Hotel Alif
Preço: 30€
Cidade: Lisboa
Estrelas: 4
TLF: 35192900912
Animais: Não
Postal: Lisboa-­‐1233
Categoria: Hotel
(…)
ID: sleazyparis1
Nome: Motel Sleazy
Preço: 10€
Cidade: Paris
Estrelas: 1
TLF: 871898283033
Animais: Sim
Postal: Paris-­‐7723
Categoria: Motel
(…)
Preço
ID: ibisparis1
Nome: Hotel Ibis
Preço: 50€
Cidade: Paris
Estrelas: 3
TLF: 87188190021
Animais: Não
Postal: Paris-­‐1194
Categoria: Hotel
(…)
400€
ID: tivolilx1
Nome: Hotel Tivoli
Preço: 90€
Cidade: Lisboa
Estrelas: 4
TLF: 351923821911
Animais: Não
Postal: Lisboa-­‐1000
Categoria: Hotel
(…)
ID: hiltonparis1
Nome: Hotel Hilton
Preço: 250€
Cidade: Paris
Estrelas: 5
TLF: 87162801020
Animais: Não
Postal: Paris-­‐1291
Categoria: Hotel
(…)
Motivação: sistemas multi-dimensionais
Z
Cidade
A
0€
ID: alifparis1
Nome: Hotel Alif
Preço: 30€
Cidade: Lisboa
Estrelas: 4
TLF: 35192900912
Animais: Não
Postal: Lisboa-­‐1233
Categoria: Hotel
(…)
ID: sleazyparis1
Nome: Motel Sleazy
Preço: 10€
Cidade: Paris
Estrelas: 1
TLF: 871898283033
Animais: Sim
Postal: Paris-­‐7723
Categoria: Motel
(…)
Preço
ID: ibisparis1
Nome: Hotel Ibis
Preço: 50€
Cidade: Paris
Estrelas: 3
TLF: 87188190021
Animais: Não
Postal: Paris-­‐1194
Categoria: Hotel
(…)
400€
ID: tivolilx1
Nome: Hotel Tivoli
Preço: 90€
Cidade: Lisboa
Estrelas: 4
TLF: 351923821911
Animais: Não
Postal: Lisboa-­‐1000
Categoria: Hotel
(…)
ID: hiltonparis1
Nome: Hotel Hilton
Preço: 250€
Cidade: Paris
Estrelas: 5
TLF: 87162801020
Animais: Não
Postal: Paris-­‐1291
Categoria: Hotel
(…)
Motivação: sistemas multi-dimensionais
Z
Paris
Cidade
Lisboa
A
0€
ID: alifparis1
Nome: Hotel Alif
Preço: 30€
Cidade: Lisboa
Estrelas: 4
TLF: 35192900912
Animais: Não
Postal: Lisboa-­‐1233
Categoria: Hotel
(…)
ID: sleazyparis1
Nome: Motel Sleazy
Preço: 10€
Cidade: Paris
Estrelas: 1
TLF: 871898283033
Animais: Sim
Postal: Paris-­‐7723
Categoria: Motel
(…)
Preço
ID: ibisparis1
Nome: Hotel Ibis
Preço: 50€
Cidade: Paris
Estrelas: 3
TLF: 87188190021
Animais: Não
Postal: Paris-­‐1194
Categoria: Hotel
(…)
400€
ID: tivolilx1
Nome: Hotel Tivoli
Preço: 90€
Cidade: Lisboa
Estrelas: 4
TLF: 351923821911
Animais: Não
Postal: Lisboa-­‐1000
Categoria: Hotel
(…)
ID: hiltonparis1
Nome: Hotel Hilton
Preço: 250€
Cidade: Paris
Estrelas: 5
TLF: 87162801020
Animais: Não
Postal: Paris-­‐1291
Categoria: Hotel
(…)
Motivação: sistemas multi-dimensionais
Z
Paris
Cidade
Lisboa
A
0€
ID: alifparis1
Nome: Hotel Alif
Preço: 30€
Cidade: Lisboa
Estrelas: 4
TLF: 35192900912
Animais: Não
Postal: Lisboa-­‐1233
Categoria: Hotel
(…)
ID: sleazyparis1
Nome: Motel Sleazy
Preço: 10€
Cidade: Paris
Estrelas: 1
TLF: 871898283033
Animais: Sim
Postal: Paris-­‐7723
Categoria: Motel
(…)
Preço
ID: ibisparis1
Nome: Hotel Ibis
Preço: 50€
Cidade: Paris
Estrelas: 3
TLF: 87188190021
Animais: Não
Postal: Paris-­‐1194
Categoria: Hotel
(…)
400€
ID: tivolilx1
Nome: Hotel Tivoli
Preço: 90€
Cidade: Lisboa
Estrelas: 4
TLF: 351923821911
Animais: Não
Postal: Lisboa-­‐1000
Categoria: Hotel
(…)
ID: hiltonparis1
Nome: Hotel Hilton
Preço: 250€
Cidade: Paris
Estrelas: 5
TLF: 87162801020
Animais: Não
Postal: Paris-­‐1291
Categoria: Hotel
(…)
Motivação: sistemas multi-dimensionais
Z
Cidade
A
0€
Preço
400€
Motivação: sistemas multi-dimensionais
Z
Paris
Cidade
A
0€
10€
Preço
400€
Motivação: sistemas multi-dimensionais
Z
Paris
Cidade
A
0€
10€
Preço
400€
Motivação: sistemas multi-dimensionais
Z
Paris
Cidade
A
0€
10€
?
Preço
400€
Motivação: sistemas multi-dimensionais
Z
Paris
Cidade
A
0€
10€
ID: sleazyparis1
Nome: Motel Sleazy
Preço: 10€
Cidade: Paris
Estrelas: 1
TLF: 871898283033
Animais: Sim
Postal: Paris-­‐7723
Categoria: Motel
(…)
Preço
400€
Motivação: configuração de sistemas multi-dimensionais
Z
Cidade
A
0€
Preço
400€
Motivação: configuração de sistemas multi-dimensionais
Z
Cidade
A
0€
Estrelas
Preço
400€
Motivação: configuração de sistemas multi-dimensionais
400000
Postal
0
0€
Estrelas
Preço
400€
Motivação: configuração de sistemas multi-dimensionais
127 configurações para 7 atributos!
I
Preço, Postal, Animais, Estrelas, Categoria, Nome, Telefone
I
Postal, Animais, Estrelas, Categoria, Nome, Telefone
I
Preço, Animais, Estrelas, Nome, Telefone
I
Preço, Postal, Animais, Categoria
I
Estrelas, Nome
I
Preço, Estrelas
I
Animais
I
Preço
I
...
Motivação: configuração de sistemas multi-dimensionais
Z
Cidade
estrelas
A
0€
Preço
400€
Pensão
Categoria
Hotel
Motivação: configuração de sistemas multi-dimensionais
4149 configurações para 7 atributos!
I
hPreço, Postal, Animais, Nome, Telefonei, hEstrelasi
I
hPostal, Estrelas, Categoria, Nome, Telefonei, hPreçoi
I
hPreço, Animais, Estrelas, Nome, Telefonei
I
hPreço, Postal, Animais, Categoriai
I
hEstrelas, Nomei, hPostal, Animaisi
I
hAnimaisi, hEstrelas, Nomei
I
hPreçoi, hEstrelasi, hAnimaisi
I
...
Motivação: configuração de sistemas multi-dimensionais
subspaces
hyperspace
7
desempenho (1000 ops / s)
6
5
4
8x
3
47x
2
27x
1
0
PL
EQ
padrão de carga
PE
Objectivos
1. Compreender os sistemas multi-dimensionais
2. Criar técnicas para auto-configurar sistemas
multi-dimensionais
Contribuições
1. Modelo preditivo do desempenho do HyperDex
2. Arquitectura para auto-configurar o HyperDex
Estrutura da apresentação
Introdução
Modelação
Auto-configuração do HyperDex
Conclusões
Modelação
Pressupostos
I
Sistema configurado para máximo desempenho
I
Desempenho limitado pelo processador
I
Largura de banda não limitativa de desempenho
Modelação: Pesquisas
Intuição
Custo proporcional ao número de regiões contactadas.
Modelação: Pesquisas
Z
Cidade
A
0€
Preço
400€
Modelação: Pesquisas
Z
Paris
Cidade
A
Preço
0€
10€
400€
Modelação: Pesquisas
Z
Paris
Cidade
A
Preço
0€
10€
400€
Modelação: Pesquisas
Z
Cidade
A
0€
Preço
400€
Modelação: Pesquisas
Z
Paris
Cidade
A
0€
Preço
400€
Modelação: Pesquisas
Z
Paris
Cidade
A
0€
Preço
400€
Modelação: Pesquisas
Z
Cidade
A
0€
Preço
400€
Modelação: Pesquisas
Para qualquer configuração Si ∈ S e pesquisa Qi , o número de
regiões contactado é:
CRexp (Qi ) =
√
|Si |
|E |
R
T exp (Qi ) =
em que: E = Si \ Qi
1
|QS |
X
i=0
(custo(Qi ) × pi )
(1)
(2)
Modelação: Pesquisas
Para qualquer configuração Si ∈ S e pesquisa Qi , o número de
regiões contactado é:
CRexp (Qi ) =
√
|Si |
|E |
R
T exp (Qi ) =
em que: E = Si \ Qi
1
|QS |
X
i=0
(custo(Qi ) × pi )
(1)
(2)
Modelação: Modificações
Intuição
Custo da modificação é proporcional ao comprimento da cadeia de
replicação envolvida.
Modelação: Modificações
Z
Cidade
estrelas
A
0€
Preço
400€
Pensão
Categoria
Hotel
Modelação: Modificações
A
Z
Z
Cidade
estrelas
A
0€
Preço
400€
Pensão
Categoria
Hotel
Modelação: Modificações
ID: sleazyparis1
Nome: Motel Sleazy
Preço: 10€
Cidade: Paris
Estrelas: 1
TLF: 871898283033
Animais: Sim
Postal: Paris-­‐7723
Categoria: Motel
(…)
A
Z
Z
Cidade
estrelas
A
0€
Preço
400€
Pensão
Categoria
Hotel
Modelação: Modificações
ID: sleazyparis1
Nome: Motel Sleazy
Preço: 10€
Cidade: Paris
Estrelas: 1
TLF: 871898283033
Animais: Sim
Postal: Paris-­‐7723
Categoria: Motel
(…)
A
Z
Z
Cidade
estrelas
A
0€
Preço
400€
Pensão
Categoria
Hotel
Modelação: Modificações
ID: sleazyparis1
Nome: Motel Sleazy
Preço: 10€
Cidade: Paris
Estrelas: 1
TLF: 871898283033
Animais: Sim
Postal: Paris-­‐7723
Categoria: Motel
(…)
A
Z
Z
Cidade
estrelas
A
0€
Preço
400€
Pensão
Categoria
Hotel
Modelação: Modificações
ID: sleazyparis1
Nome: Motel Sleazy
Preço: 10€
Cidade: Paris
Estrelas: 1
TLF: 871898283033
Animais: Sim
Postal: Paris-­‐7723
Categoria: Motel
(…)
A
Z
Z
Cidade
estrelas
A
0€
Preço
400€
Pensão
Categoria
Hotel
Modelação: Modificações
T exp (Qi ) =
Tmax
1 + K(1 + |N | + 2α|M|)
(3)
Modelação: avaliação da precisão
Padrões de carga
I
A: Pesquisas muito especificas
I
B: Pesquisas muito amplas
Variantes
I
PL: Principalmente Leituras
I
PE: Principalmente Escritas
I
EQ: Equilibrado
Desempenho real (1000 op/s)
Modelação: avaliação da precisão
8
7
6
5
4
3
2
1
00
A-PL
A-EQ
A-PE
B-PL
B-EQ
B-PE
1 2 3 4 5 6 7
Desempenho estimado (1000 op/s)
8
Estrutura da apresentação
Introdução
Modelação
Auto-configuração do HyperDex
Conclusões
Arquitectura
Parametros
do modelo
Operações
Perfil das
Analisador
Configuraçao
Oráculo
operações
Configurador
seleccionada
desempenho (1000 ops / s)
Arquitectura: Comparação com heuristicas
7
6
5
4
sem-subspaces
dominante
hyperspace
todos-subspaces
automático
3
2
1
0
A-PL
A-EQ
A-PE
B-PL
padrão de carga
B-EQ
B-PE
Estrutura da apresentação
Introdução
Modelação
Auto-configuração do HyperDex
Conclusões
Conclusões
I
Solução para auto-configuração do HyperDex
I
Modelo preditivo de desempenho do HyperDex
I
Modelo com precisão de 92%.
I
Supera heuristicas estáticas.
Obrigado