Enquete Pré-formação Akihabara

Start

Gustavo Alves Nº11Gustavo Amorim Nº12Thaynara Sant Anna Nº22Vinicius Mendes de Carvalho Nº23

Data CenterGuia de aplicação

Agenda

1/8

1. Conceitos, Modelos e Normas para Data Centers

Em qualquer organização, o elemento central da infraestrutura de TI é o Data Center, o conjunto integrado de componentes que permite fornecer serviços de alto valor agregado, realizando o processamento e armazenamento de dados em larga escala e em alta disponibilidade.

Normas e Conceitos

Órgãos reguladores como a ANSI/TIA criaram normas específicas para este ambiente de aplicação crítica. As mais notáveis são:

• ANSI/TIA-942-B – Telecommunications Infrastructure Standard for Data Centers.

• ANSI/BICSI 002-2014 – Data Center Design and Implementation Best Practices.

• EN 50600-1 – Information Technology – Data Center Facilities and Infrastructures Part 1: General Concepts.

• ABNT NBR14565:2013 – Cabeamento Estruturado Para Edifícios Comerciais e Data Centers, anexo F (Futura NBR-16665 – Norma Brasileira para Data Center)

CABEAMENTO ESTRUTURADO

• ISO/IEC 11801-5:2017 - Information Technology – Generic Cabling for Customer Premises – part 5: Data Centers (ex ISO/IEC 24764). Lista de pontos

• EN 50173-5:2018 – Information Technology – Generic Cabling Systems – part 5: Data Center Spaces.

• EN 50600-2-4:2016 – Information Technology – Data Center Facilities and Infrastructures – part 2 - 4: Telecommunications Cabling Infrastructure

A NORMA ANSI/TIA-942-B

Os principais aspectos são:

• Adicionado cabeamento CAT.8, sendo o cabeamento recomendado CAT.6A ou superior.

• Comprimento máximo do cabeamento direto no EDA de 10 m para 7 m.

• Gabinetes com pelo menos 1200 mm de profundidade, considerações para armários de 24” (maiores que 600 mm).

• Cabeamento pré-conectorizado MPO/LC.

• Identificação, roteamento de cabos, adição/remoção de cabos.

• Conectores MPO-16 e MPO-32 para 200G/400G.

• Cabo de fibra multimodo de banda larga (WBMMF-OM5) adicionado.

• Cabos coaxiais ANSI/TIA-568.4-D e conectores tipo “F” podem ser usados.

• Referências a outras normas, incluindo revisões e diretrizes de temperatura e umidade.

Espaços físicos mínimos, formas de conexão da estrutura de telecomunicações e a maneira como os ambientes se relacionam, no esquema abaixo:

As conexões dos sistemas de telecomunicações, reconhecidas para o sistema de cabeamento estruturado de um Data Center são representadas na imagem a seguir e podem ser interconnect ou crossconnect:

Todos os elementos funcionais, que compõem o sistema de cabeamento de um Data Center estão representados no diagrama a seguir:

2. Conceitos Gerais e Requisitos para Infraestrutura Física:

O Data Center é o ambiente que concentra a informação da empresa, sendo essencial para mover o negócio e gerar receitas. Muito mais que servidores e equipamentos de rede, envolve sistemas de ar-condicionado, fornecimento de energia, segurança e controle de acesso. Neste contexto, o sistema de cabeamento estruturado é parte fundamental da infraestrutura pela qual trafegam os dados e criam-se oportunidades de negócio. Deve-se garantir, assim, seu correto dimensionamento e especificação, para suportar as demandas atuais e futuras.

Principais Espaços

Segundo a ANSI/TIA-942-B, os principais espaços ou áreas de um Data Center são:

• Entrance Room (ER): a sala de entrada é um espaço de interconexão entre o cabeamento estruturado do Data Center e o cabeamento proveniente das operadoras de telecomunicação.

• Main Distribution Area (MDA): inclui o crossconnect principal, que é o ponto central de distribuição de um cabeamento estruturado de um Data Center. É uma área crítica, onde suas principais manobras são feitas.

• Intermediate Distribution Area (IDA): espaço destinado ao crossconnect intermediário, que é o ponto secundário de distribuição de um cabeamento estruturado em um segundo datahall. É uma área crítica, tanto quanto o MDA, onde são feitas manobras do datahall onde está instalado.

• Horizontal Distribution Area (HDA): é utilizada para conexão com as áreas de equipamentos. Inclui o crossconnect horizontal (HC) e equipamentos intermediários.

• Zone Distribution Area (ZDA): ponto de interconexão opcional do cabeamento horizontal. Posicionado entre o HDA e o EDA, permite uma configuração rápida e frequente, geralmente posicionada embaixo do piso. Agrega flexibilidade ao Data Center.

• Equipment Distribution Area (EDA): espaço destinado para os equipamentos terminais (Servidores, Storage) e os equipamentos de comunicação de dados ou voz (switches, centrais)

Topologias

A norma analisa três topologias conforme os esquemas:

• Possui um único MDA que consolida as áreas de crossconnect principal e horizontal. A sala de telecomunicações também pode estar consolidada no MDA. Lista de pontos

• Inclui uma única sala de entrada, uma ou mais salas de telecomunicações, um MDA e diversos HDAs. Lista de pontos

Novas Orientações

Novas orientações às áreas de engenharia e arquitetura, tanto à organização do cabeamento massivo instalado em pisos elevados, quanto ao layout de racks da sala de servidores e demais salas em geral. Onde há racks e gabinetes (especialmente os fechados com grande carga térmica), visa economizar e usar racionalmente a energia elétrica de PDUs e ar-condicionado. Neste exemplo, ficam claras as recomendações quanto à posição de canaletas e organização do cabeamento massivo.

Este esquema apresenta o layout dos racks da sala de servidores, posicionados de forma a gerar corredores de ar quente e de ar frio, de maneira a otimizar o uso do ar-condicionado e energia elétrica.

Requisitos de Redundância

A fim de reduzir o tempo de indisponibilidade do Data Center e dos dados de sua empresa, a redundância é um requisito também previsto em norma. O anexo F da norma ANSI/TIA-942-B apresenta uma série de regras aplicáveis para classificar um Data Center, chamadas de Ratings. A classificação considera quatro faixas independentes para os sistemas de: Telecomunicações, Elétrica, Arquitetura e Mecânica. Essas faixas estão relacionadas com a disponibilidade do Data Center e podem ser diferentes em cada uma das áreas citadas. Para classificação geral, sempre é considerada a menor faixa. A seguir, os critérios avaliados para infraestrutura de Telecomunicações:

• Caixas de manutenção e caminhos de entrada redundantes.

• Serviços de provedor de acesso redundante.

• Área principal de distribuição redundante

• Cabeamento de backbone redundante.

• Cabeamento horizontal redundante

Garantia de Disponibilidade

Esses tópicos abaixo complementam seu sistema de garantia de disponibilidade, conforme normas correlatas em cada tema (ref. a capítulos da ANSI/TIA-942-B):

• Exigências de Desempenho Cabeamento: os requisitos de desempenho da transmissão das normas ANSI/TIA-568.2-D, ANSI/TIA-568.3-D e ANSI/TIA568.4-D são os mínimos a serem satisfeitos.

• O DCIM é essencial para garantir que os sistemas prediais funcionem de maneira integrada e eficiente, permitindo uma gestão mais eficaz do cabeamento e da infraestrutura geral.

• Aterramento e Vinculação: aterramento e ligação atenderão aos requisitos da ANSI/TIA-607-C.

• Cabeamento para Pontos de Acesso Sem Fio: deve estar previsto cabeamento para atender a rede de acesso sem fio, de acordo a ANSI/TIA TSB162-A.

• Cabeamento para Sistemas de Antena Distribuídos: o cabeamento para sistemas de antenas distribuídas deve seguir as diretrizes do ANSI/TIA TSB5018.

• PoE Sobre Cabeamento Estruturado de Cobre: seguir as orientações do ANSI/TIA TSB-184-A. Para esta aplicação já temos cabos certificados UL444 com suporte a PoE 100W (IEEE 802.3bt, PoE Type 4, DC@100W) para suporte a TVs e Laptops.

Garantia de Disponibilidade

• Firestopping: barreiras de proteção ou selagem corta-fogo devem estar de acordo com ANSI/TIA-569-D e normas locais tal como NT-02-2014-conceitosbásicos-de-segurança-contra-incêndio

• Segurança Física: a segurança física da infraestrutura de telecomunicações deve atender aos requisitos da norma ANSI/TIA-5017.

• Administração: a administração de telecomunicações deve atender aos requisitos do ANSI/TIA-606-C e também cumprir com os requisitos das normas referentes ao AIM, a saber:

• ANSI/TIA-5048: Automated Infrastructure Management (AIM) Systems.
• ISO/IEC-18598: Automated Infrastructure Management (AIM) Systems – Requirements, data Exchange and Applications.

Classificação quanto às Características Construtivas

Topologias de Conexão entre MDA-EDA

Centralizada Cross-connect CENTRALIZED SWITCHING ARCHITECTURE ANSI/TIA-942 DIRECT CONNECT (ANY-TO-ALL) Na topologia centralizada ou conectada diretamente, na área principal (MDA), há um equipamento de rede central, de onde é feita a conexão com os servidores que estão no EDA, como ilustrado nas figuras:

Vantagens e Desvantagens

Centralizada Cross-connect

• Menor custo que as arquiteturas distribuídas.
• Simples de projetar, implementar e manter
• Gargalo minimizado na rede
• Boa utilização de porta.
• Maior flexibilidade para as topologias inter-connect ou cross-connect
• Como todos os switches e demais equipamentos de rede estão centralizados,
• minimiza-se o número de portas de equipamentos ativos necessários para o
• projeto.
• Simplifica a administração do cabeamento e dos equipamentos ativos
• de rede.
• Permite sistemas de monitoramento e administração inteligentes (A.I.M.).
• Reduz a quantidade de módulos de monitoramento, módulos de
• administração e portas de backbone de switches: “mais capacidade em
• menos caixas”.
• Reduz o consumo de energia, redundância e necessidades de resfriamento.
• Reduz o comprimento dos cordões de equipamentos, mesmo que haja
• espelhamento de portas dos ativos para montagem de cross-connect
• Fácil de implementar esquemas de alta disponibilidade (redundância)

VANTAGENS:

DESVANTAGENS:

• Grande número de cabos no MDA
• Cabos sobrepostos no MDA e na infraestrutura principal.
• Dificuldades no projeto da infraestrutura, devido à grande densidade de
• cabeamento estruturado óptico e em cobre.
• Não escalável.
• Maior número de cross-connects para administrar e dar manutenção.
• Maior número de links de cabeamento do que nas outras opções (ToR ou EoR/MoR).

T.o.R. (Top-of-Rack)

Cada rack de equipamento do EDA possui um equipamento de rede (switch), em sua posição superior, e as conexões aos servidores são feitas diretamente deste switch, com patch cords ou cabos ativos (AOC ou DAC).

Vantagens e Desvantagens

T.o.R. (Top-of-Rack)

VANTAGENS:

• Na maioria das vezes, utiliza o cabeamento de modo mais eficiente.

• O uso eficiente de espaço.

• Boa escalabilidade.

• Fácil gerenciamento do cabeamento.

• Fácil interconexão de servidores e switches ToR.

• Rápida adição de novos equipamentos.

• Densidade de cabeamento muito baixa, o que reduz a necessidade de espaço.

• sob o piso elevado.

• Instalação rápida.

• O espaço requerido, para os racks de distribuição de cabeamento, é pequeno.

DESVANTAGENS:

• Interfaces e cabos de conexão de servidores, para switches ToR, não tem relação custo x benefício atraente como os patch cords do cabeamento estruturado.

• Mais opções para gerenciar equipamentos ativos de rede.

• Maior número de portas AGG (SW agregação ou distribuição).

• Maiores quantidades de portas STP em AGG.

• Mais tráfego de servidor, para servidor, em AGG.

• Maior custo de ativos (switches).

• Riscos no gerenciamento térmico.

• Criação de hotspots.

Vantagens e Desvantagens

T.o.R. (Top-of-Rack)

DESVANTAGENS:

• Excesso de equipamentos e portas de rede.

• Administração e manutenção separados em cada rack com switch ToR, o que aumenta a complexidade da rede e reduz sua confiabilidade.

• Flexibilidade limitada aos serviços oferecidos pelos switches ToR.

• Segmentação de redes somente por meios virtuais (VLAN, Fabric SAN), que pode contrapor-se às políticas de segurança da informação existentes no cliente.

• Necessidades adicionais de resfriamento e energia em cada rack com switch ToR.

• Implementação de esquemas de alta disponibilidade difícil e custosa.

• Requer uma grande quantidade de links e recursos redundantes, tais como fontes de energia, módulos de administração e portas de backbone.

• A menos que as redes estejam 100% integradas, deve-se complementar com outros esquemas de cabeamento para SAN, redundâncias, consoles, redes de segurança e gerência, etc.

E.o.r. (End of Row)

O rack HDA está posicionado no final da fila de racks de servidores e o cabeamento de rede horizontal atende aos racks dos EDAs a partir deste ponto.

Vantagens e Desvantagens

E.o.r. (End of Row)

VANTAGENS:

• Menor número de cabos do que a arquitetura de conexão direta entre HDA e MDA.

• Escalabilidade muito boa.

• Mais rentável em comparação ao ToR.

• Fácil interconexão entre servidores e dispositivos de rede.

• Rápida inserção de novo hardware em racks e na rede.

• Densidade de cabeamento muito baixa, reduzindo o espaço requerido, na infraestrutura, sob piso elevado.

• Instalação rápida.

• Pouco espaço requerido nos racks de distribuição de cabeamento.

• Interfaces e cabos de ativação (patch cords) para servidores com boa relação custo x benefício.

DESVANTAGENS:

• Excesso de switches e portas de rede espalhadas pelo Data Center.
• Administração e manutenção separados em cada rack EDA com ToR, o que aumenta a complexidade e reduz a confiabilidade da rede.

• Flexibilidade limitada aos serviços oferecidos pelo switch ToR.
• Segmentação de redes somente por meios virtuais (VLAN, Fabric SAN), o que pode contrapor às políticas de segurança existentes.

• Necessidades adicionais de resfriamento e energia por rack EDA.
• Implementação de esquemas de alta disponibilidade (redundância) difícil e de alto custo.
• Requer uma grande quantidade de enlaces e recursos redundantes tais como fontes de energia, módulos de administração e portas de backbone.

• A menos que as redes estejam 100% integradas, deve-se complementar com outros esquemas de cabeamento para SAN, redundâncias diretas, consoles, redes de segurança, etc.

• Não permite monitoramento e administração inteligente do cabeamento para conexões de servidores.
• Não segue com as normas de cabeamento ao não possuir cabeamento horizontal e requer conexões diretas entre switches de acesso e servidores montados em racks adjacentes ou mais afastados

M.o.r. (Middle‑of‑Row)

O rack HDA está centralizado na fila de racks de servidores e o cabeamento de rede horizontal atende a todos dos racks EDAs de modo equidistante.

Vantagens e Desvantagens

M.o.r. (Middle‑of‑Row)

VANTAGENS:

• Cabos com menor comprimento físico.

• Menor número de cabos do que na arquitetura de conexão direta.

• Boa escalabilidade.

• Rentável em comparação ao (ToR).

• Relativamente fácil de montar interconexão de servidores aos ativos de rede.

• Rápida adição de novos equipamentos.

• Densidade de cabeamento muito baixa, o que reduz a necessidade de espaço sob piso elevado ou na infraestrutura.

• Instalação rápida.

• Espaço reduzido para racks de distribuição de cabeamento.

• Interfaces e cabos de conexão dos servidores (patch cords) tem boa relação custo x benefício.

• Não requer muitas portas de rede como na arquitetura ToR.

DESVANTAGENS:

• Maior custos de ativos (switches) no rack (MOR).

• O aumento da sobrecarga de gerenciamento.

• Estabilidade da rede em risco, devido potenciais loop de camada 2, que tem congestionamento de transmissões.

• Broadcast storm.

• Excesso significativo de equipamentos e portas de rede.
• Administração e manutenção separadas em cada grupo de racks.
• Flexibilidade limitada aos serviços oferecidos pelo switch MoR.
• Segmentação de redes somente por meio virtual (VLAN, Fabric SAN), o que pode contrapor políticas de segurança da informação existentes.

• Necessidades adicionais de resfriamento e energia em cada grupo de racks.
• A menos que as redes estejam 100% integradas, deve-se complementar com outros esquemas de cabeamento para SAN, redundâncias, consoles, redes de segurança e gerência, etc.

• Não permite monitoramento e administração inteligente de cabeamento para conexões de servidores.
• A interconexão, entre racks distintos da mesma fila, requer cabos muito longos, o que pode implicar em levantar muitas placas de piso falso, que além de atrasar a implementação, coloca em risco de parada pontos de rede que estão em produção.

• A interconexão, entre racks da mesma fila, pode implicar na abertura de racks, que estão entre os racks a serem interligados, o que pode contrapor-se às políticas de segurança da informação existentes do cliente.

Arquiteturas de Redes

O Anexo H da norma ANSI/TIA-942-B mostra que ao ser construído de forma hierárquica e estruturada, alguns aspectos mais complexos em um Data Center são minimizados, colocando toda a estrutura emuma perspectiva de mais fácil assimilação. O modelo hierárquico construído em redes é composto de três camadas (núcleo, distribuição e acesso) e tem sua equivalência no Data Center:

• Core (núcleo): responsável por transportar grandes quantidades de tráfego de forma confiável, rápida e fornecer interface de rede entre rede LAN do DC e a rede WAN das operadoras de Telecom. Qualquer falha afeta todos os usuários da rede (Sala de Entrada + MDA & IDA).

• Agregação (Distribuição): determina o caminho mais rápido para atender uma requisição de um serviço específico da rede e entrega a rota para a camada de core (HDA).

• Acesso (Borda): controla o acesso dos recursos do Data Center – servidores e dispositivos de armazenamento (Storages/Discos) (EDA).

Arquitetura em Camadas

Utilizada por 90% dos Data Centers Edge e de pequenos e médios porte. Algumas das características da arquitetura tradicional de switch de três camadas:

• Conexões de backup (as linhas vermelhas tracejadas na figura ao lado). Para acessar switches, não são usadas para protocolos de árvore de abrangência.

• As conexões, geralmente, são sobre-assinadas, isto é, mais tráfego atribuído ao link do que a capacidade de largura de banda do link, gerando necessidade de administração daquele link. • Quando as chaves de acesso estão localizadas no EDA, ou seja, na parte superior do rack mais switches, podem estar disponíveis em cada gabinete quando necessário. • O tráfego, entre dois switches de acesso, pode precisar cruzar até três switches intermediários. • A arquitetura tradicional é bem adequada para servidores. No entanto, não é adequado para grandes Data Centers virtualizados, onde os computadores podem estar localizados em qualquer lugar do Data Center.

Arquitetura em Múltiplas Conexões

Utilizada por 90% dos Data Centers de Cloud Computing, Hyperscale, IDC ou grande porte.O objetivo desta arquitetura é manter grande fluxo de dados, de modo seguro e com rotas alternativas em larga escala, muito aplicada em buscadores de internet de grande porte, que utilizam redes de alta disponibilidade e alta densidade de portas ópticas e com instalações em várias regiões do mundo. Neste cenário de Cloud Computing, com foco no negócio do cliente e no baixo tempo de resposta exigido pelo mercado atual, destaca-se também as arquiteturas vindas dos sistemas virtualizados de rede, em um sistema operacional com código fonte aberto: SDN/NFV.

ARQUITETURA SPINE – LEAF

Um dos subtipos de arquitetura em múltiplas conexões, a arquitetura Spine, é utilizada pela maioria dos Data Centers médios e grandes, incluindo os DC Corporativos de grandes empresas multinacionais. Ex: Setor de Commodities – Óleo/Gás, Energia e Mineração e setor de bens de consumo – Automotivos.

FAT TREE

Todos os switches de interconexão estão interligados com todos os switches de acesso, mantendo alto nível de redundância de rotas, com topologia non-blocking. Com isso, o Data Center tem alta resiliência, disponibilidade e confiabilidade. Usado em Data Centers médios e grandes.

SWITCH FABRICS

Utilizadas para aumentar a performance de Data Centers com redes de alta velocidade e grande disponibilidade, conforme a arquitetura Full-mesh. Muito aplicada em Cloud Computing e Hyperscale Data Centers, muito usada no setor financeiro e bancário em todo o mundo.

CENTRALIZED SWITCH FABRICS

A figura abaixo é um exemplo da arquitetura típica de Data Centers Edge. São fisicamente pequenos, muitas vezes localizados muito próximos ou até mesmo dentro dos clientes, mas com grande capacidade de rede, processamento e armazenamento. Podem ser ainda deslocados para qualquer lugar, pois muitos são modulares ou montados em “containers”, o que facilita seu deslocamento. E quando são reunidos em um grande parque podem ser chamados de POD.

VIRTUAL SWITCH FABRICS

A figura abaixo também é um exemplo da arquitetura típica de Data Centers Edge. Porém, neste caso, destaca-se os switches distribuídos em forma de anel redundante, o que dobra a velocidade de sua rede, mas também aumenta o número de equipamentos físicos e a conectividade na rede.

Muito Obrigado!