Want to make interactive content? It’s easy in Genially!

Over 30 million people build interactive content in Genially.

Check out what others have designed:

Transcript

Start

Gustavo Alves Nº11Gustavo Amorim Nº12Thaynara Sant Anna Nº22Vinicius Mendes de Carvalho Nº23

Data CenterGuia de aplicação

Agenda

1/8

1. Conceitos, Modelos e Normas para Data Centers

Em qualquer organização, o elemento central da infraestrutura de TI é o Data Center, o conjunto integrado de componentes que permite fornecer serviços de alto valor agregado, realizando o processamento e armazenamento de dados em larga escala e em alta disponibilidade.

Normas e Conceitos

Órgãos reguladores como a ANSI/TIA criaram normas específicas para este ambiente de aplicação crítica. As mais notáveis são:

  • ANSI/TIA-942-B – Telecommunications Infrastructure Standard for Data Centers.
  • ANSI/BICSI 002-2014 – Data Center Design and Implementation Best Practices.
  • EN 50600-1 – Information Technology – Data Center Facilities and Infrastructures Part 1: General Concepts.
  • ABNT NBR14565:2013 – Cabeamento Estruturado Para Edifícios Comerciais e Data Centers, anexo F (Futura NBR-16665 – Norma Brasileira para Data Center)

CABEAMENTO ESTRUTURADO

  • ISO/IEC 11801-5:2017 - Information Technology – Generic Cabling for Customer Premises – part 5: Data Centers (ex ISO/IEC 24764). Lista de pontos
  • EN 50173-5:2018 – Information Technology – Generic Cabling Systems – part 5: Data Center Spaces.
  • EN 50600-2-4:2016 – Information Technology – Data Center Facilities and Infrastructures – part 2 - 4: Telecommunications Cabling Infrastructure

A NORMA ANSI/TIA-942-B

Os principais aspectos são:

  • Adicionado cabeamento CAT.8, sendo o cabeamento recomendado CAT.6A ou superior.
  • Comprimento máximo do cabeamento direto no EDA de 10 m para 7 m.
  • Gabinetes com pelo menos 1200 mm de profundidade, considerações para armários de 24” (maiores que 600 mm).
  • Cabeamento pré-conectorizado MPO/LC.
  • Identificação, roteamento de cabos, adição/remoção de cabos.
  • Conectores MPO-16 e MPO-32 para 200G/400G.

  • Cabo de fibra multimodo de banda larga (WBMMF-OM5) adicionado.
  • Cabos coaxiais ANSI/TIA-568.4-D e conectores tipo “F” podem ser usados.
  • Referências a outras normas, incluindo revisões e diretrizes de temperatura e umidade.

Espaços físicos mínimos, formas de conexão da estrutura de telecomunicações e a maneira como os ambientes se relacionam, no esquema abaixo:

As conexões dos sistemas de telecomunicações, reconhecidas para o sistema de cabeamento estruturado de um Data Center são representadas na imagem a seguir e podem ser interconnect ou crossconnect:

Todos os elementos funcionais, que compõem o sistema de cabeamento de um Data Center estão representados no diagrama a seguir:

2. Conceitos Gerais e Requisitos para Infraestrutura Física:

O Data Center é o ambiente que concentra a informação da empresa, sendo essencial para mover o negócio e gerar receitas. Muito mais que servidores e equipamentos de rede, envolve sistemas de ar-condicionado, fornecimento de energia, segurança e controle de acesso. Neste contexto, o sistema de cabeamento estruturado é parte fundamental da infraestrutura pela qual trafegam os dados e criam-se oportunidades de negócio. Deve-se garantir, assim, seu correto dimensionamento e especificação, para suportar as demandas atuais e futuras.

Principais Espaços

Segundo a ANSI/TIA-942-B, os principais espaços ou áreas de um Data Center são:

  • Entrance Room (ER): a sala de entrada é um espaço de interconexão entre o cabeamento estruturado do Data Center e o cabeamento proveniente das operadoras de telecomunicação.
  • Main Distribution Area (MDA): inclui o crossconnect principal, que é o ponto central de distribuição de um cabeamento estruturado de um Data Center. É uma área crítica, onde suas principais manobras são feitas.
  • Intermediate Distribution Area (IDA): espaço destinado ao crossconnect intermediário, que é o ponto secundário de distribuição de um cabeamento estruturado em um segundo datahall. É uma área crítica, tanto quanto o MDA, onde são feitas manobras do datahall onde está instalado.

  • Horizontal Distribution Area (HDA): é utilizada para conexão com as áreas de equipamentos. Inclui o crossconnect horizontal (HC) e equipamentos intermediários.
  • Zone Distribution Area (ZDA): ponto de interconexão opcional do cabeamento horizontal. Posicionado entre o HDA e o EDA, permite uma configuração rápida e frequente, geralmente posicionada embaixo do piso. Agrega flexibilidade ao Data Center.
  • Equipment Distribution Area (EDA): espaço destinado para os equipamentos terminais (Servidores, Storage) e os equipamentos de comunicação de dados ou voz (switches, centrais)

Topologias

A norma analisa três topologias conforme os esquemas:

  • Possui um único MDA que consolida as áreas de crossconnect principal e horizontal. A sala de telecomunicações também pode estar consolidada no MDA. Lista de pontos

  • Inclui uma única sala de entrada, uma ou mais salas de telecomunicações, um MDA e diversos HDAs. Lista de pontos

Novas Orientações

Novas orientações às áreas de engenharia e arquitetura, tanto à organização do cabeamento massivo instalado em pisos elevados, quanto ao layout de racks da sala de servidores e demais salas em geral. Onde há racks e gabinetes (especialmente os fechados com grande carga térmica), visa economizar e usar racionalmente a energia elétrica de PDUs e ar-condicionado. Neste exemplo, ficam claras as recomendações quanto à posição de canaletas e organização do cabeamento massivo.

Este esquema apresenta o layout dos racks da sala de servidores, posicionados de forma a gerar corredores de ar quente e de ar frio, de maneira a otimizar o uso do ar-condicionado e energia elétrica.

Requisitos de Redundância

A fim de reduzir o tempo de indisponibilidade do Data Center e dos dados de sua empresa, a redundância é um requisito também previsto em norma. O anexo F da norma ANSI/TIA-942-B apresenta uma série de regras aplicáveis para classificar um Data Center, chamadas de Ratings. A classificação considera quatro faixas independentes para os sistemas de: Telecomunicações, Elétrica, Arquitetura e Mecânica. Essas faixas estão relacionadas com a disponibilidade do Data Center e podem ser diferentes em cada uma das áreas citadas. Para classificação geral, sempre é considerada a menor faixa. A seguir, os critérios avaliados para infraestrutura de Telecomunicações:

  • Caixas de manutenção e caminhos de entrada redundantes.
  • Serviços de provedor de acesso redundante.
  • Área principal de distribuição redundante
  • Cabeamento de backbone redundante.
  • Cabeamento horizontal redundante

Garantia de Disponibilidade

Esses tópicos abaixo complementam seu sistema de garantia de disponibilidade, conforme normas correlatas em cada tema (ref. a capítulos da ANSI/TIA-942-B):

  • Exigências de Desempenho Cabeamento: os requisitos de desempenho da transmissão das normas ANSI/TIA-568.2-D, ANSI/TIA-568.3-D e ANSI/TIA568.4-D são os mínimos a serem satisfeitos.
  • O DCIM é essencial para garantir que os sistemas prediais funcionem de maneira integrada e eficiente, permitindo uma gestão mais eficaz do cabeamento e da infraestrutura geral.
  • Aterramento e Vinculação: aterramento e ligação atenderão aos requisitos da ANSI/TIA-607-C.

  • Cabeamento para Pontos de Acesso Sem Fio: deve estar previsto cabeamento para atender a rede de acesso sem fio, de acordo a ANSI/TIA TSB162-A.
  • Cabeamento para Sistemas de Antena Distribuídos: o cabeamento para sistemas de antenas distribuídas deve seguir as diretrizes do ANSI/TIA TSB5018.
  • PoE Sobre Cabeamento Estruturado de Cobre: seguir as orientações do ANSI/TIA TSB-184-A. Para esta aplicação já temos cabos certificados UL444 com suporte a PoE 100W (IEEE 802.3bt, PoE Type 4, DC@100W) para suporte a TVs e Laptops.

Garantia de Disponibilidade

  • Firestopping: barreiras de proteção ou selagem corta-fogo devem estar de acordo com ANSI/TIA-569-D e normas locais tal como NT-02-2014-conceitosbásicos-de-segurança-contra-incêndio
  • Segurança Física: a segurança física da infraestrutura de telecomunicações deve atender aos requisitos da norma ANSI/TIA-5017.
  • Administração: a administração de telecomunicações deve atender aos requisitos do ANSI/TIA-606-C e também cumprir com os requisitos das normas referentes ao AIM, a saber:
  • ANSI/TIA-5048: Automated Infrastructure Management (AIM) Systems.
  • ISO/IEC-18598: Automated Infrastructure Management (AIM) Systems – Requirements, data Exchange and Applications.

Classificação quanto às Características Construtivas

Topologias de Conexão entre MDA-EDA

Centralizada Cross-connect CENTRALIZED SWITCHING ARCHITECTURE ANSI/TIA-942 DIRECT CONNECT (ANY-TO-ALL) Na topologia centralizada ou conectada diretamente, na área principal (MDA), há um equipamento de rede central, de onde é feita a conexão com os servidores que estão no EDA, como ilustrado nas figuras:

Vantagens e Desvantagens

Centralizada Cross-connect

  • Menor custo que as arquiteturas distribuídas.
  • Simples de projetar, implementar e manter
  • Gargalo minimizado na rede
  • Boa utilização de porta.
  • Maior flexibilidade para as topologias inter-connect ou cross-connect
  • Como todos os switches e demais equipamentos de rede estão centralizados,
  • minimiza-se o número de portas de equipamentos ativos necessários para o
  • projeto.
  • Simplifica a administração do cabeamento e dos equipamentos ativos
  • de rede.
  • Permite sistemas de monitoramento e administração inteligentes (A.I.M.).
  • Reduz a quantidade de módulos de monitoramento, módulos de
  • administração e portas de backbone de switches: “mais capacidade em
  • menos caixas”.
  • Reduz o consumo de energia, redundância e necessidades de resfriamento.
  • Reduz o comprimento dos cordões de equipamentos, mesmo que haja
  • espelhamento de portas dos ativos para montagem de cross-connect
  • Fácil de implementar esquemas de alta disponibilidade (redundância)

VANTAGENS:

DESVANTAGENS:

  • Grande número de cabos no MDA
  • Cabos sobrepostos no MDA e na infraestrutura principal.
  • Dificuldades no projeto da infraestrutura, devido à grande densidade de
  • cabeamento estruturado óptico e em cobre.
  • Não escalável.
  • Maior número de cross-connects para administrar e dar manutenção.
  • Maior número de links de cabeamento do que nas outras opções (ToR ou EoR/MoR).

T.o.R. (Top-of-Rack)

Cada rack de equipamento do EDA possui um equipamento de rede (switch), em sua posição superior, e as conexões aos servidores são feitas diretamente deste switch, com patch cords ou cabos ativos (AOC ou DAC).

Vantagens e Desvantagens

T.o.R. (Top-of-Rack)

VANTAGENS:

  • Na maioria das vezes, utiliza o cabeamento de modo mais eficiente.
  • O uso eficiente de espaço.
  • Boa escalabilidade.
  • Fácil gerenciamento do cabeamento.
  • Fácil interconexão de servidores e switches ToR.
  • Rápida adição de novos equipamentos.
  • Densidade de cabeamento muito baixa, o que reduz a necessidade de espaço.
  • sob o piso elevado.
  • Instalação rápida.
  • O espaço requerido, para os racks de distribuição de cabeamento, é pequeno.

DESVANTAGENS:

  • Interfaces e cabos de conexão de servidores, para switches ToR, não tem relação custo x benefício atraente como os patch cords do cabeamento estruturado.
  • Mais opções para gerenciar equipamentos ativos de rede.
  • Maior número de portas AGG (SW agregação ou distribuição).
  • Maiores quantidades de portas STP em AGG.
  • Mais tráfego de servidor, para servidor, em AGG.
  • Maior custo de ativos (switches).
  • Riscos no gerenciamento térmico.
  • Criação de hotspots.

Vantagens e Desvantagens

T.o.R. (Top-of-Rack)

DESVANTAGENS:

  • Excesso de equipamentos e portas de rede.
  • Administração e manutenção separados em cada rack com switch ToR, o que aumenta a complexidade da rede e reduz sua confiabilidade.
  • Flexibilidade limitada aos serviços oferecidos pelos switches ToR.
  • Segmentação de redes somente por meios virtuais (VLAN, Fabric SAN), que pode contrapor-se às políticas de segurança da informação existentes no cliente.
  • Necessidades adicionais de resfriamento e energia em cada rack com switch ToR.
  • Implementação de esquemas de alta disponibilidade difícil e custosa.
  • Requer uma grande quantidade de links e recursos redundantes, tais como fontes de energia, módulos de administração e portas de backbone.
  • A menos que as redes estejam 100% integradas, deve-se complementar com outros esquemas de cabeamento para SAN, redundâncias, consoles, redes de segurança e gerência, etc.

E.o.r. (End of Row)

O rack HDA está posicionado no final da fila de racks de servidores e o cabeamento de rede horizontal atende aos racks dos EDAs a partir deste ponto.

Vantagens e Desvantagens

E.o.r. (End of Row)

VANTAGENS:

  • Menor número de cabos do que a arquitetura de conexão direta entre HDA e MDA.
  • Escalabilidade muito boa.
  • Mais rentável em comparação ao ToR.
  • Fácil interconexão entre servidores e dispositivos de rede.
  • Rápida inserção de novo hardware em racks e na rede.
  • Densidade de cabeamento muito baixa, reduzindo o espaço requerido, na infraestrutura, sob piso elevado.
  • Instalação rápida.
  • Pouco espaço requerido nos racks de distribuição de cabeamento.
  • Interfaces e cabos de ativação (patch cords) para servidores com boa relação custo x benefício.

DESVANTAGENS:

  • Excesso de switches e portas de rede espalhadas pelo Data Center.
  • Administração e manutenção separados em cada rack EDA com ToR, o que aumenta a complexidade e reduz a confiabilidade da rede.
  • Flexibilidade limitada aos serviços oferecidos pelo switch ToR.
  • Segmentação de redes somente por meios virtuais (VLAN, Fabric SAN), o que pode contrapor às políticas de segurança existentes.
  • Necessidades adicionais de resfriamento e energia por rack EDA.
  • Implementação de esquemas de alta disponibilidade (redundância) difícil e de alto custo.
  • Requer uma grande quantidade de enlaces e recursos redundantes tais como fontes de energia, módulos de administração e portas de backbone.
  • A menos que as redes estejam 100% integradas, deve-se complementar com outros esquemas de cabeamento para SAN, redundâncias diretas, consoles, redes de segurança, etc.
  • Não permite monitoramento e administração inteligente do cabeamento para conexões de servidores.
  • Não segue com as normas de cabeamento ao não possuir cabeamento horizontal e requer conexões diretas entre switches de acesso e servidores montados em racks adjacentes ou mais afastados

M.o.r. (Middle‑of‑Row)

O rack HDA está centralizado na fila de racks de servidores e o cabeamento de rede horizontal atende a todos dos racks EDAs de modo equidistante.

Vantagens e Desvantagens

M.o.r. (Middle‑of‑Row)

VANTAGENS:

  • Cabos com menor comprimento físico.
  • Menor número de cabos do que na arquitetura de conexão direta.
  • Boa escalabilidade.
  • Rentável em comparação ao (ToR).
  • Relativamente fácil de montar interconexão de servidores aos ativos de rede.
  • Rápida adição de novos equipamentos.
  • Densidade de cabeamento muito baixa, o que reduz a necessidade de espaço sob piso elevado ou na infraestrutura.
  • Instalação rápida.
  • Espaço reduzido para racks de distribuição de cabeamento.
  • Interfaces e cabos de conexão dos servidores (patch cords) tem boa relação custo x benefício.
  • Não requer muitas portas de rede como na arquitetura ToR.

DESVANTAGENS:

  • Maior custos de ativos (switches) no rack (MOR).
  • O aumento da sobrecarga de gerenciamento.
  • Estabilidade da rede em risco, devido potenciais loop de camada 2, que tem congestionamento de transmissões.
  • Broadcast storm.
  • Excesso significativo de equipamentos e portas de rede.
  • Administração e manutenção separadas em cada grupo de racks.
  • Flexibilidade limitada aos serviços oferecidos pelo switch MoR.
  • Segmentação de redes somente por meio virtual (VLAN, Fabric SAN), o que pode contrapor políticas de segurança da informação existentes.
  • Necessidades adicionais de resfriamento e energia em cada grupo de racks.
  • A menos que as redes estejam 100% integradas, deve-se complementar com outros esquemas de cabeamento para SAN, redundâncias, consoles, redes de segurança e gerência, etc.
  • Não permite monitoramento e administração inteligente de cabeamento para conexões de servidores.
  • A interconexão, entre racks distintos da mesma fila, requer cabos muito longos, o que pode implicar em levantar muitas placas de piso falso, que além de atrasar a implementação, coloca em risco de parada pontos de rede que estão em produção.
  • A interconexão, entre racks da mesma fila, pode implicar na abertura de racks, que estão entre os racks a serem interligados, o que pode contrapor-se às políticas de segurança da informação existentes do cliente.

Arquiteturas de Redes

O Anexo H da norma ANSI/TIA-942-B mostra que ao ser construído de forma hierárquica e estruturada, alguns aspectos mais complexos em um Data Center são minimizados, colocando toda a estrutura emuma perspectiva de mais fácil assimilação. O modelo hierárquico construído em redes é composto de três camadas (núcleo, distribuição e acesso) e tem sua equivalência no Data Center:

  • Core (núcleo): responsável por transportar grandes quantidades de tráfego de forma confiável, rápida e fornecer interface de rede entre rede LAN do DC e a rede WAN das operadoras de Telecom. Qualquer falha afeta todos os usuários da rede (Sala de Entrada + MDA & IDA).
  • Agregação (Distribuição): determina o caminho mais rápido para atender uma requisição de um serviço específico da rede e entrega a rota para a camada de core (HDA).
  • Acesso (Borda): controla o acesso dos recursos do Data Center – servidores e dispositivos de armazenamento (Storages/Discos) (EDA).

Arquitetura em Camadas

Utilizada por 90% dos Data Centers Edge e de pequenos e médios porte. Algumas das características da arquitetura tradicional de switch de três camadas:

  • Conexões de backup (as linhas vermelhas tracejadas na figura ao lado). Para acessar switches, não são usadas para protocolos de árvore de abrangência.
• As conexões, geralmente, são sobre-assinadas, isto é, mais tráfego atribuído ao link do que a capacidade de largura de banda do link, gerando necessidade de administração daquele link. • Quando as chaves de acesso estão localizadas no EDA, ou seja, na parte superior do rack mais switches, podem estar disponíveis em cada gabinete quando necessário. • O tráfego, entre dois switches de acesso, pode precisar cruzar até três switches intermediários. • A arquitetura tradicional é bem adequada para servidores. No entanto, não é adequado para grandes Data Centers virtualizados, onde os computadores podem estar localizados em qualquer lugar do Data Center.

Arquitetura em Múltiplas Conexões

Utilizada por 90% dos Data Centers de Cloud Computing, Hyperscale, IDC ou grande porte.O objetivo desta arquitetura é manter grande fluxo de dados, de modo seguro e com rotas alternativas em larga escala, muito aplicada em buscadores de internet de grande porte, que utilizam redes de alta disponibilidade e alta densidade de portas ópticas e com instalações em várias regiões do mundo. Neste cenário de Cloud Computing, com foco no negócio do cliente e no baixo tempo de resposta exigido pelo mercado atual, destaca-se também as arquiteturas vindas dos sistemas virtualizados de rede, em um sistema operacional com código fonte aberto: SDN/NFV.

ARQUITETURA SPINE – LEAF

Um dos subtipos de arquitetura em múltiplas conexões, a arquitetura Spine, é utilizada pela maioria dos Data Centers médios e grandes, incluindo os DC Corporativos de grandes empresas multinacionais. Ex: Setor de Commodities – Óleo/Gás, Energia e Mineração e setor de bens de consumo – Automotivos.

FAT TREE

Todos os switches de interconexão estão interligados com todos os switches de acesso, mantendo alto nível de redundância de rotas, com topologia non-blocking. Com isso, o Data Center tem alta resiliência, disponibilidade e confiabilidade. Usado em Data Centers médios e grandes.

SWITCH FABRICS

Utilizadas para aumentar a performance de Data Centers com redes de alta velocidade e grande disponibilidade, conforme a arquitetura Full-mesh. Muito aplicada em Cloud Computing e Hyperscale Data Centers, muito usada no setor financeiro e bancário em todo o mundo.

CENTRALIZED SWITCH FABRICS

A figura abaixo é um exemplo da arquitetura típica de Data Centers Edge. São fisicamente pequenos, muitas vezes localizados muito próximos ou até mesmo dentro dos clientes, mas com grande capacidade de rede, processamento e armazenamento. Podem ser ainda deslocados para qualquer lugar, pois muitos são modulares ou montados em “containers”, o que facilita seu deslocamento. E quando são reunidos em um grande parque podem ser chamados de POD.

VIRTUAL SWITCH FABRICS

A figura abaixo também é um exemplo da arquitetura típica de Data Centers Edge. Porém, neste caso, destaca-se os switches distribuídos em forma de anel redundante, o que dobra a velocidade de sua rede, mas também aumenta o número de equipamentos físicos e a conectividade na rede.

Muito Obrigado!