FCo oE an d iSC Vi SI Per irtualiz rforma zation ance A n Syste

FCooE and iSCSI Perrformaance Analys
A
sis in T
Tape
Viirtualizzationn Systeems
M. B. P. Martins
M
and W
W. L. Zucchhi
Abstract— Tape virtualiization system
ms’ I/O perforrmance
haave become almost the same as thosee observed in
n disk
su
ubsystems. How
wever, few stu
udies can be foound in the liteerature
on
n iSCSI perforrmance with taape virtualizatiion subsystemss. Fibre
Channel over Ethernet (FCoE
E) has been prooposed recentlyy as an
allternative to booth iSCSI and
d FC, but it reemains challenging to
fin
nd FCoE perrformance stud
dies. Considerring this gap in the
litterature, we d
did a comparrative perform
mance study b
between
FC
CoE and iSCS
SI by executin
ng I/O operatiions in virtuaal tapes
ussing different block sizes. T
The goal was tto determine tthe I/O
avverage through
hput, protocol overhead, I/O latency varian
nce and
reelation between
n average throu
ughput and CP
PU usage. The results
sh
howed an equivalent I/O thrroughput betweeen FCoE and
d iSCSI
op
perations, butt FCoE surpaassed iSCSI considering its lower
ovverhead, proceessing and I/O latency varian
nce values. It was
w also
nooted that FCoE
E software imp
plementation m
must be enhanceed.
Keywords— Storage area networks,
Pllatform virtuallization.
O
C
Como alternattiva aos protoocolos FCP e iSCSI, o comitê
técnnico INCITS T
T11 formalizoou o padrão Fiibre Channel over
Etheernet (FCoE) [9]. O FCoE
E encapsula oss quadros FC
C das
cam
madas 2, 3 ou F em quadros E
Ethernet. A caamada 1 do FC
C foi
mappeada para a caamada IEEE 8802.3 MAC e a camada 0 doo FC
paraa a IEEE 802.33 PHY, conforrme a Fig. 1.
Performance an
nalysis,
I. INTR
RODUÇÃO
CRESCIM
MENTO expoonencial de daados armazennados e
as limitaçõões intrísecas da tecnologiaa de armazenaamento
diireto (Direct A
Attached Storaage - DAS) leevaram à criaação de
reedes integradaas de armazennamento de ddados. Denom
minadas
Sttorage Area Networks (SA
ANs), estas redes são baaseadas
prrincipalmente em infrastrrutura de fibbras óticas (Fiber
C
Channel - FC)) e no empreego do protoccolo Fiber C
Channel
(F
FCP) para eexecutar o trransporte da camada SC
CSI de
arrmazenamentoo de dados, connforme explicca Almeida [1]].
Apesar de seu
s amplo usoo e aceitação, as redes FC-SANs
poossuem alto custo, dem
mandam profi
fissionais altaamente
esspecializados e apresentam limitações de extensão em longas
diistâncias. Essses obstáculoss, bem comoo a onipresennça do
paadrão Etherneet e das reddes TCP/IP, levaram o IE
ETF a
coonceber o prootocolo iSCSII, capaz de trransportar a ccamada
SC
CSI sobre o TCP/IP
T
em LA
AN, MAN ou W
WAN [2] [3].
Entretanto, existe a posssibilidade doo iSCSI apreesentar
deesempenho meenor quando ccomparado ao FCP, consideerandosee a sobrecargga de encappsulamento e processamennto do
TCP/IP. Com o objetivo dee investigar eesta questão, alguns
esstudos foram executados
e
paara medir o deesempenho do iSCSI
naas operações dde entrada e saaída em discos magnéticos [4] [5]
[66] [7] [8]. Os eestudos concluuíram que o deesempenho dee vazão
doo iSCSI foi praticamente o mesmo ddo FCP, senddo que
Foonseca e Netoo [4] demonstrraram que o iSCSI implem
mentado
em
m software apresenta desem
mpenho 30% suuperior em rellação à
pllaca controladdora iSCSI (haardware).
M. B. P. Martinns, Montreal, Quéébec, Canadá, maarcio.bodnar@gm
mail.com
W. L. Zucchi, Escola Politécnica da Universidaade de São Pauloo (USP),
Sãão Paulo, São Pauulo, Brasil, [email protected]
Figurra 1. Mapeamentoo FC-BB_E.
O padrão FCooE define o ttransporte doss quadros FC
C em
quaddros Ethernett, permitindo preservar os investimentos da
infraa-estrutura FC
C e seu moodelo de gerrenciamento [10].
[
Quaando combinaddo com as reddes 10-Gigabit Ethernet, o FCoE
cria a possibiliidade de coonsolidação dos
d
tráfegos de
mazenamento, rrede e clusterring sobre um
m mesmo enlaace e
arm
estruutura física, segundo o IEE
EE [11]. Essa rede é conheecida
com
mo Ethernet M
Melhorada Connvergida (Connverged Enhannced
Etheernet - CEE), sendo baseadda no IEEE 8002.3 com recuursos
adiccionais de gerenciamentto de conggestionamentoss e
diferrentes classess de tráfego, funcionalidade
f
es essenciais para
perm
mitir o empreggo do FCoE em instalações de grande esccala,
confforme Ko, Eissenhauer e Reccio [12].
D
Diferentementee do iSCSI,, o FCoE nnão apresentta a
sobrrecarga de proocessamento e encapsulameento do protoocolo
TCP
P/IP, porque oos quadros FC
C são encapsuulados diretam
mente
em quadros Etheernet. Além ddisso, o FCoE
E e as redes CEE
C
integgram-se mais facilmente quue o iSCSI na infra-estruturaa FC
exisstente, por meio de ttécnicas de chaveamentoo e
encaaminhamento do
FCoE
E. Segundo Gai [10], eessas
vanttagens do FCooE podem resttringir ou até m
mesmo eliminnar o
iSCSI em instalaçções de grandee porte.
U
Um artigo puublicado por Kale et al [13] demonsstrou
concceitos básicoos do FCoE
E e um pprocedimento de
conffiguração do software FCooE, mas não foram realizaados
testees de desempeenho.
T
Tong [14] coomparou o ddesempenho de operaçõess de
entrrada e saída usando FCoE e iSCSI em ddiscos magnétiicos,
empregando variação dos blocos de dados de 512 Bytes a 1
Megabyte. O protótipo foi composto por dois computadores
conectados ponto-a-ponto, com quatro processadores lógicos
cada um. Os resultados indicaram que, dos quatro
processadores, apenas um esteve ativo durante os
experimentos e apresentou aproximadamente 50% de uso de
CPU. Mesmo com o uso de CPU considerado baixo, 70% da
carga de processamento foi consumida pelo cálculo de CRC
do protocolo FCoE. Esse processamento foi responsável pelo
desempenho de vazão levemente inferior do FCoE em relação
ao iSCSI, indicando que o software FCoE precisaria ser
otimizado.
Apesar dos avanços atuais na tecnologia de armazenamento
em fitas magnéticas, como a virtualização de dispositivos,
existe dificuldade em encontrar estudos de desempenho de
entrada e saída (E/S) em fitas. Os estudos anteriores
empregaram discos magnéticos no lugar de fitas, porque os
dispositivos físicos de fitas eram o gargalo do caminho de E/S,
segundo Mu et al [15].
Entretanto, o armazenamento em fitas magnéticas apresenta
um papel essencial na tecnologia da informação. Em 2004,
90% dos dados mundiais estavam armazenados em fitas,
conforme Mu et al [15]. Posteriormente, em 2008, Moore [16]
indicou que 43% dos dados estavam em fitas porque o custos
dos discos magnéticos haviam diminuído. Projeções futuras
realizadas por Moore em outra publicação [17] sugerem que
55% dos dados estarão armazenados em fitas, considerando
que estes dispositivos apresentam menores impactos
ecológicos que os discos.
Para superar o baixo desempenho dos dispositivos de fitas e
reduzir os tempos de backup, Mu et al [15] apresentaram uma
arquitetura com uso de discos magnéticos como dispositivos
primários e bibliotecas de fita como dispositivos secundários
na hierarquia de E/S.
Entretanto, segundo Preston [18] essa arquitetura apresenta
alguns problemas: complexidade em transferir dados dos
discos para as fitas, fragmentação de dados, inflexibilidade
dos softwares de backup na utilização de sistemas de arquivos,
complexidade na geração de cópias para off-site, ausência de
compressão de dados baseada em hardware e problemas de
provisionamento.
Mu et al [15] apontam os problemas elencados
anteriormente como motivação para criação dos sistemas de
emulação de fitas conhecidos como Virtual Tape Systems
(VTS), denominados Virtual Tape Libraries (VTL) por
Preston [18]. Estes sistemas convertem os comandos SCSI
sequênciais dos dispositivos de fita em comandos SCSI em
blocos, apresentando-se para aplicação de backup como
unidades de fitas, mas encapsulando e armazenando os dados
fisicamente em discos magnéticos.
Preston [18] e Hodge [19] mostraram que nestes sistemas
(VTLs) o desempenho é aproximadamente 10 vezes superior
ao das fitas físicas e praticamente igual ao desempenho de
discos, resultando em redução dos tempos de backup e
restore.
Como o desempenho das VTLs apresenta-se praticamente o
mesmo dos discos magnéticos, o gargalho do caminho de E/S
poderia ser causado por outros elementos do sistema, como a
rede ou a eficiência dos protocolos de transporte da camada
SCSI. Portanto, é interessante analisar o desempenho dos
protocolos iSCSI e FCoE nas operações de E/S e, por
consequência, nos tempos de backup e restore. Para realização
deste análise, foi configurado um protótipo de testes e
executados dois casos de estudo, descritos a seguir.
II. PROTÓTIPO DE TESTES E CASOS DE ESTUDO
O protótipo de testes, denominado VTL-LAB, consistiu em
dois computadores pessoais, um deles atuando como um
cliente e o outro como servidor de dispositivos, ambos com
uma interface Intel Gigabit PRO GT Desktop PWLA8391GT,
conectados ponto-a-ponto por meio de um cabo cruzado
Ethernet CAT-6.
Os elementos físicos do protótipo VTL-LAB são listados
na tabela I.
TABELA I. CONFIGURAÇÃO DO PROTÓTIPO VTL-LAB.
Cliente
CPU
Servidor
1x Intel Core 2 Duo E6550 2.33 GHz 1x Intel Xeon Core 2 Duo E3110 3 GHz
2 GB DDR2 667 MHz
1x Disco ATA Western Digital WDC
WD1600AABB-0 160 GB
1 placa Intel modelo DQ35J0
2 GB DDR2 667 MHz
1x Disco ATA Western Digital WDC
WD2500AAJS-0 250 GB
1 placa Intel modelo D945GCPE
Barramento E/S PCI convencional 32 bits @ 66 MHz
PCI convencional 32 bits @ 66 MHz
1 placa Intel Gigabit PRO/1000 GT
Desktop PWLA8391GT
1 placa Intel Gigabit PRO/1000 GT
Desktop PWLA8391GT
Memória
Disco
Placa mãe
Rede
Cada elemento da configuração de hardware do VTL-LAB
apresenta um valor de vazão máxima nominal de E/S
informado na documentação [20][21][22][23][24][25]. Dentre
estes elementos, a placa de rede Intel Gigabit PWLA8391GT
apresenta a menor vazão nominal máxima de 125 Megabytes
por segundo (MBps), apresentando o potencial de se tornar o
gargalo do sistema.
Por essa razão, optou-se pela monitoração de desempenho
da interface de rede do cliente. Como os quadros FCoE podem
atingir 2.148 Bytes, a unidade máxima de transmissão
Ethernet (MTU) foi configurada com um valor de 2.500
Bytes.
O sistema operacional utilizado no VTL-LAB é o Linux
Fedora 14 [26] núcleo 2.6.37 [27] e as aplicações abertas:
• Open FCoE [28]
• Open iSCSI [29]
• SCST-SCSI target subsystem [30]
• iSCSI-SCST driver [30]
• FCST-SCST FCoE driver [30]
• Linux virtual tape library mhvtl [31]
O emprego do sistema Linux em detrimento a outros
sistemas justifica-se pelo uso das aplicações abertas da
camada servidor (SCST-SCSI target subsystem), as quais são
disponibilizadas apenas para Linux. O procedimento completo
de configuração do protótipo de testes está documentado na
dissertação de minha autoria [32].
As operações de E/S foram geradas com o utilitário dd [33]
e as respectivas saídas foram usadas para medir a vazão e a
latência de E/S. A sobrecarga dos protocolos nos blocos de
E/S foi medida com a ferramenta wireshark [34] enquanto a
vazão de rede e o uso de CPU foram analisados com o
utilitário nmon [35].
Todas os dados foram coletados no cliente, porém o uso de
CPU foi analisado também no servidor para identificar
possíveis gargalos. As métricas do grupo de controle SCSI
local foram observadas apenas no servidor, no qual foram
executadas operações de E/S nas mesmas condições das
operações com os protocolos FCoE e iSCSI.
O desempenho do FCoE e do iSCSI foi medido por meio
de operações de E/S em fitas virtuais com uma massa de
dados de 315 MegaBytes por cada operação. Definiram-se dois
estudos de caso:
Caso 1 - Operações de E/S de baixo nível executadas no
cliente, normalmente presentes em testes de laboratório como
documentados no guia técnico de Gilbert [36], usando dados
aleatórios. Os dados são lidos e escritos diretamente em
memória, tanto no cliente quanto no servidor. Apenas as
operações básicas do sistema operacional acessam os discos
magnéticos.
Caso 2 - Operações de E/S de alto nível executadas no
cliente, representando um ambiente empresarial, baseado no
caso proposto por Hodge [19], no qual realiza-se um backup e
restore de um arquivo de dados Oracle. Neste caso, os dados
são lidos e escritos nos discos físicos do cliente e do servidor.
Em ambos os casos, empregou-se um grupo de controle
composto de operações sequênciais locais SCSI no servidor.
Os tamanhos de bloco usados em todas as operações possuíam
tamanhos de 64, 128, 256, 512 e 1.024 KB. Cada tipo de
operação de E/S foi repetida 50 vezes para calcular o valor das
métricas. No total, foram executadas 3.000 operações de E/S,
resultantes da combinação de operações de leitura e escrita,
dois casos de estudo, três protocolos (FCoE, iSCSI e SCSI
local), cinco tamanhos de bloco e 50 repetições de cada
operação.
Determinaram-se as seguintes métricas:
M1 - Vazão média e desvio padrão de E/S (MBps)
M2 - Sobrecarga de protocolo por bloco de E/S (%)
M3 - Desvio padrão da latência de E/S (ms)
M4 - Relação do uso de CPU e vazão de E/S (%uso/MBps)
M5 - Vazão média e desvio padrão de E/S SCSI local
(MBps)
A latência de E/S define-se como o intervalo de tempo
entre cada bloco de dados em uma operação de E/S. As
métricas de vazao de rede (MBps - Megabytes por segundo) e
uso de CPU (%uso) tambem foram aferidas para detectar
possíveis gargalos de sistema.
III.
RESULTADOS E ANÁLISE
A. Caso 1
Conforme esperado, a vazão média de E/S do protocolos
iSCSI e FCoE (M1) aumentou proporcionalmente ao tamanho
de bloco, conforme mostra a Fig. 2.
Caso 1
Vazão média de E/S (M1)
80
70
60
50
MBps
40
30
20
FCoE Escrita
FCoE Leitura
iSCSI Escrita
iSCSI Leitura
10
0
64 KB
128 KB
256 KB
512 KB
1.024 KB
Tamanho de bloco de E/S
Figura 2. Caso 1 - Vazão média de E/S (M1).
A vazão de leitura do iSCSI ultrapassou os resultados do
FCoE com uso de blocos de 64, 256 e 512 KB, atingindo um
pico de 74,11 MBps. O FCoE atingiu o máximo de 60,77
MBps como vazão média de leitura, com blocos de 1.024 KB.
Nas operações de escrita, o iSCSI apresentou uma vazão de
E/S ligeiramente superior ao FCoE com uso de blocos de 64 e
512 KB. A vazão dos dois protocolos praticamente se iguala
com blocos de 128, 256 e 1.024 KB. O iSCSI atingiu um pico
de vazão de 46,91 MBps contra 46,60 MBps do FCoE, ambos
empregando blocos de 1.024 KB.
Entretanto, como o software FCoE travou o protótipo nas
operações de escrita com blocos de 1.024 KB, foi necessário
estimar o valor de vazão usando como parâmetro de cálculo os
valores obtidos com blocos menores.
O desvio padrão da vazão de E/S foi 0,65 MBps no caso do
FCoE e 3,41 MBps para o iSCSI. Estes valores foram
considerados pequenos em relação à média, indicando que o
protótipo permaneceu estável e confirmando que a amostra de
50 repetições por operação determinou a vazão média de E/S
com dispersão desprezível.
Os resultados de M1 deveriam ser inversamente
proporcionais aos resultados de M2, ou seja, quanto menor a
sobrecarga do protocolo maior sua capacidade de vazão.
Entretanto, ocorre uma disparidade porque a sobrecarga do
FCoE (M2) diminui nas operações de leitura e mantém-se
constante nas operações de escrita, enquanto o iSCSI
apresenta sobrecarga decrescente em ambas operações.
Esses resultados apontavam que a vazão de leitura do FCoE
deveria ser maior em relação ao iSCSI e também que a vazão
de escrita do FCoE seria menor, de acordo com a sobrecarga
por bloco mostrada na tabela II.
TABELA II. CASO 1 - SOBRECARGA DE PROTOCOLO POR BLOCO DE E/S (M2).
Operação
FCoE leitura
iSCSI leitura
FCoE escrita
iSCSI escrita
Métrica
Sobrecarga de protocolo por bloco de E/S (%)
Sobrecarga de protocolo por bloco de E/S (%)
Sobrecarga de protocolo por bloco de E/S (%)
Sobrecarga de protocolo por bloco de E/S (%)
64 KB 128 KB 256 KB 512 KB 1.024 KB
2,93
4,00
2,93
1,21
2,88
4,01
2,93
1,16
2,86
4,05
2,93
0,86
2,85
4,06
2,93
0,80
2,84
4,06
2,93
0,63
Os valores de desvio padrão da latência de E/S (M3) do
FCoE nas operações de leitura apresentaram-se menores com
blocos de 64, 128 e 256 KB. Nas operações de escrita, os
valores do FCoE foram menores com blocos de 64, 256, 512 e
1.024 KB, conforme a tabela III.
TABELA III. CASO 1 - DESVIO PADRÃO DA LATÊNCIA DE E/S (M3).
Operação
FCoE leitura
iSCSI leitura
FCoE escrita
iSCSI escrita
Métrica
Desvio padrão da latência de E/S (ms)
Desvio padrão da latência de E/S (ms)
Desvio padrão da latência de E/S (ms)
Desvio padrão da latência de E/S (ms)
64 KB 128 KB 256 KB 512 KB 1.024 KB
0,01
0,04
0,01
0,03
0,01
0,01
0,01
0,01
0,01
0,28
0,01
0,09
0,14
0,05
0,03
0,18
0,13
0,08
0,03
0,07
Os resultados de M3 são diretamente proporcionais ao
tempo de resposta das operações de E/S. Pode-se considerar
que quanto menor o desvio padrão de M3 mais confiável o
protocolo é, tendo em vista que o tempo de resposta das
operações de E/S será mais uniforme [5]. Portanto, pode-se
afirmar que o FCoE foi mais confiável que o iSCSI em 70%
das operações.
A métrica M4 (relação do uso de CPU e vazão de E/S)
mostrou que o FCoE usa menos CPU que o iSCSI em todas as
operações. Os valores são mostrados na tabela IV.
dispositivo lógico a cada segundo enquanto dados não são
detectados, reduzindo o intervalo de exame para 10
microsegundos quando existem dados no dispositivo. Este
mecanismo dinâmico causa instabilidade do protótipo em
situações de alta carga, justificando os altos valores do desvio
padrão nas operações de controle SCSI local.
B. Caso 2
De modo similar ao observado no caso 1, a vazão média e
desvio padrão de E/S (M1) aumentou proporcionalmente ao
tamanho de bloco, conforme verificado na Fig. 3.
Caso 2
Vazão média de E/S (M1)
70
60
50
40
MBps
30
TABELA IV. CASO 1 - RELAÇÃO DO USO CPU E VAZÃO DE E/S (M4).
Operação
FCoE leitura
iSCSI leitura
FCoE escrita
iSCSI escrita
Métrica
Relação do uso de CPU e vazão de E/S (%uso/MBps)
Relação do uso de CPU e vazão de E/S (%uso/MBps)
Relação do uso de CPU e vazão de E/S (%uso/MBps)
Relação do uso de CPU e vazão de E/S (%uso/MBps)
64 KB 128 KB 256 KB 512 KB 1.024 KB
0,03
0,04
0,04
0,08
0,02
0,02
0,03
0,06
0,02
0,02
0,03
0,05
0,02
0,02
0,02
0,05
0,03
0,03
0,02
0,19
O pico de uso de CPU no cliente foi de 16,05% nos
experimentos com iSCSI e 10,26% com FCoE. No servidor, o
uso de CPU atingiu um máximo de 31,30% durante a
execução de operações com iSCSI, contra 45,52 % de uso com
FCoE e 73,42% nas operações do grupo de controle SCSI
local. A vazão máxima de rede medida na interface do cliente
foi 61,4 MBps com o protocolo FCoE contra 77,4 MBps do
protocolo iSCSI.
Concluiu-se que não ocorreram gargalos nestes dois
elementos do sistema (rede e CPU) em nenhuma operação,
porque as capacidades téoricas máximas não foram excedidas.
Os experimentos do grupo de controle SCSI local
apresentaram valores maiores de vazão média de E/S que os
resultados obtidos com FCoE e iSCSI. O desvio padrão da
vazão de E/S, por outro lado, apresentou-se muito alto (tabela
V). Isso indicou que o protótipo apresentou comportamento
instável, mesmo com consumo de CPU menor que 100%.
TABELA V. CASO 1 - VAZÃO MÉDIA E DESVIO PADRÃO DE E/S SCSI LOCAL
(M5).
Operação
L-SCSI leitura
L-SCSI leitura
L-SCSI escrita
L-SCSI escrita
Métrica
Vazão média de E/S (MBps)
Desvio padrão de E/S (MBps)
Vazão média de E/S (MBps)
Desvio padrão de E/S (MBps)
64 KB 128 KB 256 KB 512 KB 1.024 KB
343,92
100,10
147,61
8,88
539,63 588,81 486,86 365,03
117,03 135,59 123,48 8,67
146,51 161,80 161,41 126,25
13,36 7,84
6,69
3,17
Analisando-se o protótipo durante a execução das
operações SCSI local, notou-se que as operações
sobrecarregaram o dispositivo lógico (char device) usado pelo
software mhvtl.
Harvey [37], desenvolvedor do mhvtl, esclareceu que este
problema é causado pelo código que processa os dados no
dispositivo lógico. O algoritmo do código examina o
20
FCoE Escrita
FCoE Leitura
iSCSI Escrita
iSCSI Leitura
10
0
64 KB
128 KB
256 KB
512 KB
1.024 KB
Tamanho de bloco de E/S
Figura 3. Caso 2 - Vazão média de E/S (M1).
Os resultados da vazão média, entretanto, foram menores
que os verificados no caso 1, por conta da introdução de
discos magnéticos no caminho de E/S. A vazão de leitura do
iSCSI, que atingiu pico de 59,33 MBps com bloco de
1.024KB, sendo 25% maior que a do FCoE. O FCoE atingiu
pico de 47,07 MBps com bloco de 512 KB. Os valores de
vazão dos dois protocolos se igualam com blocos de 64, 128,
256 e 512 KB.
Nas operações de escrita, a vazão de E/S dos dois
protocolos foi praticamente igual para todos os tamanhos de
blocos. O pico de vazão foi atingido com bloco de 1.024 KB,
sendo 44,93 MBps para o iSCSI e 44,72 MBps para o FCoE.
Este pico de vazão do FCoE foi novamente estimado, porque
o protótipo travou novamente nas operações de escrita com
bloco de 1.024 KB.
O desvio padrão da vazão de E/S foi 0,65 MBps no caso do
FCoE e 2,58 MBps para o iSCSI. Estes valores foram
considerados mínimos, indicando que o protótipo permaneceu
estável e confirmando novamente que a amostra de 50
repetições por operação determinou a vazão média de E/S com
dispersão desprezível.
Entretanto, de maneira similar ao caso 1, a sobrecarga de
protocolo por bloco de E/S (M2), não corroborou os resultados
de M1, considerando-se que a sobrecarga do FCoE decresceu
na leitura e manteve-se constante na escrita. A sobrecarga do
iSCSI, por outro lado, aumentou na leitura e diminuiu na
escrita, conforme mostra a tabela VI.
TABELA VI. CASO 2 - SOBRECARGA DE PROTOCOLO POR BLOCO DE E/S (M2).
Operação
FCoE leitura
iSCSI leitura
FCoE escrita
iSCSI escrita
Métrica
Sobrecarga de protocolo por bloco de E/S (%)
Sobrecarga de protocolo por bloco de E/S (%)
Sobrecarga de protocolo por bloco de E/S (%)
Sobrecarga de protocolo por bloco de E/S (%)
64 KB 128 KB 256 KB 512 KB 1.024 KB
2,93
4,00
2,93
1,01
2,88
4,01
2,93
1,16
2,86
4,05
2,93
0,86
2,85
4,06
2,93
0,77
2,84
4,06
2,93
0,70
Estes resultados apontam que a vazão de leitura do FCoE
deveria ser maior que a do iSCSI. Seguindo o mesmo
raciocínio, a vazão de escrita do FCoE deveria ser menor que
a do iSCSI. Porém, as vazões de leitura e escrita foram
praticamente iguais em todos as operações, com exceção da
escrita com bloco de 1.024 KB, na qual o iSCSI apresentou
vazão superior.
O desvio padrão da latência de E/S (M3) do FCoE
apresentou dispersões menores que o iSCSI na leitura com
blocos de 128, 512 e 1.024 KB e na escrita com todos os
tamanhos de bloco. Deste modo, pode-se considerar que o
FCoE apresentou-se mais confiável em 80% das operações,
conforme verificado na tabela VII.
TABELA VII. CASO 2 - DESVIO PADRÃO DA LATÊNCIA DE E/S (M3).
Operação
FCoE leitura
iSCSI leitura
FCoE escrita
iSCSI escrita
Métrica
Desvio padrão da latência de E/S (ms)
Desvio padrão da latência de E/S (ms)
Desvio padrão da latência de E/S (ms)
Desvio padrão da latência de E/S (ms)
64 KB 128 KB 256 KB 512 KB 1.024 KB
0,08
0,01
0,04
0,05
0,05
0,06
0,05
0,06
0,09
0,03
0,08
0,13
0,09
0,14
0,22
0,26
0,98
1,04
0,24
0,39
A relação do uso de CPU e vazão de E/S (M4) indicou que
o FCoE usou menos CPU que o iSCSI em 70% das operações,
conforme mostra a tabela VIII.
TABELA VIII. CASO 2 - RELAÇÃO DO USO DE CPU E VAZÃO DE E/S (M4).
Operação
FCoE leitura
iSCSI leitura
FCoE escrita
iSCSI escrita
Métrica
64 KB 128 KB
Relação do uso de CPU e vazão de E/S (%uso/MBps) 0,14 0,13
Relação do uso de CPU e vazão de E/S (%uso/MBps) 0,17 0,12
Relação do uso de CPU e vazão de E/S (%uso/MBps) 0,06 0,05
Relação do uso de CPU e vazão de E/S (%uso/MBps) 0,11 0,05
256 KB 512 KB 1.024 KB
0,13
0,12
0,05
0,07
0,12
0,13
0,05
0,08
0,14
0,15
0,04
0,24
O uso de CPU atingiu o máximo de 42,08 % com iSCSI e
8,70 % com FCoE. No servidor, o pico de CPU foi 99,05 %
nas operações com iSCSI e 40,39 % com FCoE. A vazão de
rede no cliente atingiu pico de 65,23 MBps com FCoE e 78,38
MBps com iSCSI.
Portanto, não ocorreram gargalos de rede nem de CPU em
nenhum dos experimentos. As operações de controle SCSI
local, por outro lado, apresentaram 99,97% de uso de CPU na
escrita com bloco de 1.024 KB.
A vazão média de E/S SCSI local (M5) apresentou-se mais
elevada que os resultados do iSCSI e FCoE (tabela IX).
TABELA IX. CASO 2 - VAZÃO MÉDIA E DESVIO PADRÃO DE E/S SCSI LOCAL
(M5).
Operação
L-SCSI leitura
L-SCSI leitura
L-SCSI escrita
L-SCSI escrita
Métrica
Vazão média de E/S (MBps)
Desvio padrão de E/S (MBps)
Vazão média de E/S (MBps)
Desvio padrão de E/S (MBps)
256 KB
512 KB
1.024 KB
100,24 109,02 109,76
3,88
16,73 15,99
77,67 78,44 78,08
3,82
3,11
2,55
64 KB
128 KB
107,88
14,50
79,02
2,48
77,67
3,82
75,03
14,14
Entretanto, estes valores de M5 do caso 2 são inferiores aos
valores do caso 1 por conta do processamento adicional
introduzido pelos discos magnéticos no caminho de E/S. O
desvio padrão de E/S SCSI local também foi superior aos
valores do FCoE e iSCSI, devido à limitação do software
mhvtl já explicada anteriormente.
C. Análise comparativa entre os casos 1 e 2
Considerando-se que os resultados do caso 2 apresentam a
mesma tendência dos resultados do caso 1, pode-se afirmar
que não existe relação direta entre os tipos de dados e o
desempenho apresentado pelos protocolos FCoE e iSCSI.
Entretanto, a inclusão de discos magnéticos no caminho de
E/S do caso 2 introduz uma sobrecarga significativa no
sistema em relação ao caso 1, justificando os valores de vazão
de E/S até 20% inferiores e desvio padrão de E/S maior em
relação ao caso 1.
O processamento adicional introduzido pelos discos
magnéticos no caminho de E/S afetou também o desempenho
do grupo de controle SCSI local do caso 2, no qual constatouse o maior pico de CPU de todos os experimentos,
apresentando um valor de 99,97% nas operações de escrita
com blocos de 1.024 KB.
O caso 2, representando um ambiente de produção
empresarial, mostrou resultados mais uniformes nas operações
de leitura com iSCSI e blocos de 256 KB e 512 KB. A vazão
de E/S do iSCSI no caso 2 também apresenta valores mais
próximos aos obtidos com o uso de FCoE.
A métrica M2 mostrou que, nos casos 1 e 2, a sobrecarga
do FCoE na leitura foi menor que a do iSCSI. Apesar disso,
ambos protocolos apresentaram a mesma vazão de leitura no
caso 2. Os resultados de M4, em ambos os casos, indicavam
que a vazão de E/S do FCoE deveria ser melhor que a do
iSCSI que consome mais CPU.
Com o objetivo de investigar elementos que afetaram os
resultados da vazão de E/S e não puderam ser determinados
pelos resultados de M2, M3 e M4, analisou-se o
processamento do VTL-LAB e o conteúdo da camada 2 dos
quadros Ethernet.
A primeira análise, focada no caso 1, verificou a causa da
vazão de leitura do iSCSI apresentar-se praticamente o dobro
do FCoE com blocos de 256 KB e 512 KB. O alto
desempenho da vazão de leitura do iSCSI em situação de
baixa carga de processamento no sistema também foi notado
em estudo anterior [14]. Entretanto, este estudo não
apresentou operações similares ao caso 2 deste artigo, em que
a vazão do iSCSI e FCoE é praticamente a mesma.
Esta situação dos valores de vazão elevada do iSCSI
inexiste nas operações de escrita do caso 1 e também em todas
as operações do caso 2. Explicou-se essa discrepância pelo
fato de que o iSCSI, no caso 1, não concorre com outros
processos pelo uso de CPU, tendo em vista que os dados são
lidos do servidor e escritos no dispositivo lógico /dev/zero do
cliente. A operação de escrita no /dev/zero gera processamento
desprezível porque o Linux apenas confirma a escrita e
descarta os dados.
Por outro lado, esta característica mudou nas operações de
escrita do caso 1, porque passa a existir uma carga de
processamento concorrente que consiste em ler caracteres
0x00 do /dev/zero, criar os pacotes de dados, enquadrá-los e
enviá-los pela rede para o servidor. Esse processamento
concorrente fez desaparecer os picos de vazão do iSCSI, que
também foram ausentes no caso 2, no qual ocorreu a
introdução de carga adicional pelos discos magnéticos no
caminho de E/S.
O aprofundamento da análise dos quadros Ethernet por
meio de dumps wireshark permitiu notar que os quadros que
transportam o FCoE apresentavam um tamanho fixo de 2.172
bytes, dos quais 2.112 continham a carga útil (dados). Os
quadros que transportam o iSCSI, por outro lado, tinham
2.514 bytes de tamanho, dos quais 2.448 continham carga útil.
Esta situação permitiu ao iSCSI transportar 16% a mais de
dados que o FCoE por cada quadro Ethernet.
O FCoE usa quadros de tamanho fixo (2.172 bytes),
portanto não tem seu desempenho alterado por aumentos da
unidade máxima de transmissão Ethernet, conforme
confirmado também notado anteriormente por Tong [14].
Como a unidade máxima de transmissão (MTU) foi
configurada com 2.500 bytes de tamanho, o iSCSI apresentou
valores maiores de vazão, compensando assim o possível
efeito colateral de seu processamento TCP/IP.
O código FCoE apresentou instabilidade e travou no cliente
nas operações de escrita com bloco de 1.024 KB, indicando a
necessidade de melhorias de código, também apontado
anteriormente por Tong [14]. Apesar deste problema, deve-se
considerar que o Open FCoE está progredindo e já apresenta
valores de vazão praticamente iguais aos obtidos com o Open
iSCSI no caso 2.
backup e restore e os resultados de vazão de E/S, pode-se
afirmar que não existem diferenças quantitativas no emprego
de FCoE ou iSCSI. As variações de latência de E/S verificadas
no iSCSI não afetam os tempos de processamento das rotinas
de backup ou restore, tendo em vista sua natureza elástica
sequencial e as janelas de execução noturnas que normalmente
não concorrem com outros tipos de processamento.
Os resultados também mostraram que, como a vazão do
FCoE e do iSCSI é praticamente igual em fitas virtuais, o
FCoE ainda não representa uma ameaça real ao iSCSI,
eliminando a idéia mercadológica que aposta no
desaparecimento do iSCSI em favor ao FCoE.
Com o objetivo de expandir a análise, sugerem-se como
trabalhos futuros estudos de desempenho com emprego de
hardware especializado com dispositivos de fitas virtuais ou
discos magnéticos, incluindo uma análise dos protocolos
FCoE e FC nas mesmas condições.
REFERÊNCIAS
[1]
[2]
[3]
[4]
[5]
IV. CONCLUSÃO
O protocolo Fibre Channel over Ethernet (FCoE) surgiu
como uma proposta de transporte da camada SCSI na rede
Ethernet, sendo alternativa aos protocolos iSCSI e Fibre
Channel. Conceitualmente, esta proposta está de acordo com a
tendência de consolidação de tráfego, sendo suportada pela
onipresença e conhecimento já estabelecido das redes
Ethernet.
Na prática, a versão de software do FCoE apresentou, na
maior parte dos casos, baixa sobrecarga, baixo uso de
processador e maior confiabilidade que a versão de software
do iSCSI.
Entretanto, os resultados da vazão de E/S são praticamente
iguais para ambos os protocolos na maioria dos experimentos,
sendo que o iSCSI foi ligeiramente melhor em alguns casos.
Este cenário e o fato do FCoE apresentar travamentos em
algumas operações indicam a necessidade de melhoria do
código FCoE para que o mesmo possa ser empregado em
ambientes de produção de larga escala.
Historicamente, deve-se considerar também que o iSCSI
tem sido usado como alternativa de baixo custo substituindo o
Fibre Channel em ambientes não críticos com baixa demanda
de desempenho. O FCoE, por sua vez, surge como um
substituto ao Fibre Channel para ambientes críticos de alto
desempenho. Portanto, deve-se questionar se o FCoE e o
iSCSI não seriam protocolos com mesma finalidade mas
diferentes dimensões de empregabilidade.
Considerando-se o requisito de diminuição dos tempos de
[6]
[7]
[8]
[9]
[10]
[11]
[12]
[13]
[14]
[15]
[16]
[17]
[18]
A. V. Almeida, "Arquitetura de redes de armazenamento de dados",
Dissertação de Mestrado em Engenharia, IC, Unicamp, SP, 2006.
M. R. Murphy, "iSCSI-based Storage Area Networks for Disaster
Recovery Operations", Master of Sciences dissertation, Dep. Elect.
and Comp. Eng., The Florida State University, Tallahassee, FL, 2005.
IETF, RFC 3720: Internet Small Computer Systems Interface (iSCSI),
IETF Network Working Group, 2004.
N. L. S. Fonseca, A. J. R. N. Neto, "A Comparative Study of the
Performance of the Protocols iSCSi and Fiber Channel", IEEE Latin
America Transactions, vol. 5, issue 3, pp. 150-156, June 2007.
D. Xinidis, A. Bilas, M. D. Flouris, "Performance Evaluation of
Commodity iSCSI-based Storage Systems", Proceedings of the 22nd
IEEE/13th NASA Goddard Conference on Mass Storage Systems and
Technologies, USA, 2005, pp. 261-269.
L. Yingping, D. H. C. Du, "Performance Study of iSCSI-Based
Storage Subsystems", IEEE Communications Magazine, USA, 2003,
p. 76-82.
H. Simitci, C. Malakapalli, V. Gunturu, "Evaluation of SCSI Over
TCP/IP and SCSI Over Fibre Channel Connections", IEEE Hot
Interconnects, USA, 2001, pp. 87-91.
S. Aiken et al, "A performance analysis of the iSCSI protocol",
Proceedings of the 20th IEEE/11th NASA Goddard Conference on
Mass Storage Systems and Technologies, USA, 2003, pp. 123-134.
C. Desanti, D. Peterson, “Fibre Channel Backbone 5 (FC-BB-5):
INCITS working draft proposed”, ANSI Technology, USA, 2009, rev
2.00, 180 p.
S. Gai, “Data Center Networks and Fibre Channel over Ethernet
(FCoE)”, USA: lulu.com, 1st edition, 2008, 105 p.
IEEE Computer Society, “Data Center Convergence Becoming a
Reality”, IEEE Computer IT Professional Magazine, USA, 2008, vol.
10, number 3, pp. 6-8.
M. Ko, D. Eisenhauer, R. Recio, “A Case for Convergence Enhanced
Ethernet: Requirements and Applications”, IEEE ICC 2008
proceedings, Beijing, 2008, pp. 5702-5707.
P. Kale et al, "Fibre Channel over Ethernet: A Beginners Perspective",
IEEE International Conference on Recent Trends in Information
Technology, India, 2011, pp. 438-443.
W. Tong, "Performance comparison of FCoE and iSCSI", Photonics
and Optoelectronics Meetings: Optical Storage and New Storage
Technologies, China, 2009, Proc. of SPIE vol. 7517.
F. Mu et al, "A Virtual Tape System Based on Storage Area
Networks", Grid and Cooperative Computing, Springer-Verlag Berlin
Heidelberg, China, 2004, pp. 278-285.
F. Moore, Storage Panorama, Boulder, CO: Horison Information
Strategies, 2008, pp. 39.
F.
Moore,
Storage
Squeeze
Play,
2012.
Available:
www.horison.com/topics/disksqueeze_large.jpg, 2012.
W. C. Preston, “Backup & Recovery”, USA: O’Reilly, 2006, 800 p.
[19] K. Hodge, “Database Backkups Using Virtuaal Tape Volumess”, 32nd
Annual Intternational Confference of the Computer Meassurement
Group, USA
A, 2006.
[20] Intel, “Intell® PRO/1000 GT
T Desktop Adaptter: Product Brieff”, USA,
2004, doc. 3303331-001, 2 p.
[21] Intel, “Inntel® Desktop Board DQ35JJO Technical Product
Specificatioon”, USA, 2007, ddoc. D96939-001, 84 p.
[22] Intel, “Inttel® Desktop B
Board D945GC
CPE Technical Product
Specificatioon”, USA, 2007, ddoc. D98324-001, 80p.
[23] Intel, “Intell® Core™2 Extreeme Processor X66800 and Intel® C
Core™2
Duo Deskttop Processor E66000 and E4000 Series Datasheeet, USA,
2008, doc. 3313278-008, 118 p.
[24] Intel, “Duaal-Core Intel® Xeon®
X
Processor 3100 Series Dattasheet”,
USA, 2009, doc. 319004-0022, 106 p.
[25] WD, “Caviar Blue Desktopp Hard Drives”, USA, 2011. Avvailable:
w.wdc.com/wdprodducts/library/SpeccSheet/ENG/28799http://www
701277.pdff
[26] Fedora, “F
Fedora® 14 Reelease Notes”, U
USA, 2010. Avvailable:
http://docs.fedoraproject.orgg/enml.
US/Fedora//14/html/Release__Notes/index.htm
[27] L. Torvaldds, Linux kernnel v. 2.6.37, USA,
U
2011, Avvailable:
http://www
w.kernel.org/pub/liinux/kernel/v2.6
[28] R. Love, Open FCoE
E Project, US
SA, 2011. Avvailable:
http://www
w.open-fcoe.org
[29] M. Mesnieer, S. Nair, Inteel's Open Storagge Toolkit, USA
A, 2011.
Available: hhttp://sourceforgee.net/projects/inteel-iscsi
[30] V. Bolkhovvitin et al., Genneric SCSI Targeet Subsystem forr Linux,
Russia, 20111. Available: httpp://scst.sourceforgge.net/index.htmll.
[31] M. Harveyy, A Virtual Taape Library for Linux, Australiaa, 2011.
Available: hhttp://sites.googlee.com/site/linuxvttl2.
[32] M. B. P. Martins, " Esttudo comparativvo de desempennho dos
protocolos FCoE e iSCSI em
m virtualizadores de fitas", Disserrtação de
m Engenharia de Computação, IPT
T, SP, 2011.
Mestrado em
[33] IEEE, dd sttandard, The Opeen Group Base Sppecifications, Issuue 6, std.
1003.1,
USA,
20044.
Avvailable:
www.openggroup.org/onlineppubs/009695399/uutilities/dd.html.
[34] G. Combs, Wireshark Neetwork Protocol Analyser, USA
A, 2011.
www.wireshark.oorg.
Available: w
Linux,
USA,
[35] IBM,
nnmon
for
2011.
Avvailable:
http://nmonn.sourceforge.net.
[36] D. Gilbert, The Linux 2.4 SCSI subsystem howto, USA, 20004, rev.
2.1, 57 p.
[37] M. Harveyy, mhvtl perform
mance testing quuestion, 2011. Avvailable:
http://mhvtll-linux-virtual-tappe-library-commuunityforums.9666029.n3.nabble.coom/mhvtl-perform
mance-testingtd2299185.html.
Maarcio Bodnar Puttti Martins (M'122) é arquiteto de sistemas
de aarmazenamento. R
Recebeu o título dde Mestre em Enggenharia
de Computação pelo Instituto de Peesquisas Tecnológgicas de
Sãoo Paulo (IPT-SP
P), São Paulo, S
SP, Brasil, em 2011; e
graaduado em Tecnoologia de Processsamento de Daddos pela
Facculdade de Tecnnologia de São P
Paulo (FATEC-S
SP), São
Pauulo, SP, Brasil, em
m 2003. De 2003 a 2011, foi adminnistrador
sênior de sistemas dde armazenamentto do banco Itaú U
Unibanco.
Waagner Luiz Zuccchi é, desde 19833, professor assisstente do
Deppartamento de Enngenharia Elétricaa da Universidadee de São
Pauulo (USP), São P
Paulo, São Pauloo, Brasil. Ele tam
mbém é
proofessor associado do Instituto de Pesquisas Tecnolóógicas de
Sãoo Paulo (IPT-SP)), São Paulo, SP, Brasil. Recebeuu o título
de Doutor em Engeenharia de Telecoomunicações pelaa Escola
Pollitécnica da Univversidade de São Paulo (USP), São Paulo,
SP
P, Brasil, em 19999. Atualmente ssuas pesquisas see concentram na área de
redes de computadoores e controle dee distribuição de eenergia elétrica.