| Быстрые ссылки: Перейти на главную | Список курсов | Расписание | Заявка на курс | Ответы на вопросы экспертов | Ищите что-то конкретное? | Контакты ↓ |
☎ +7 (7172) 46 97 51
☎ +7 (777) 241 72 98 ☎ +7 (747) 716 21 22 nata  ciscotrain.kzasem ciscotrain.kzinfo ciscotrain.kzraushan ciscotrain.kz Казахстан, г. Астана, ул. Иманбаевой 8
|
Администрирование Hadoop кластера / Administering Hadoop город Астана
Hadoop является наиболее популярной открытой платформой для распределенных вычислений. Курс содержит расширенную информацию по планированию и развертыванию распределенных вычислительных кластеров на базе Hadoop, мониторингу и оптимизации производительности системы, резервному копированию и аварийному восстановлению узлов кластера и отдельных компонент, настройки безопасности системы на базе Hadoop. Данный курс включает необходимую теоретическую подготовку и расширенные практические примеры развертывания и администрирования Hadoop кластера, в том числе в облачной инфраструктуре. Практические занятия выполняются в кластерной среде AWS с использованием программного обеспечения Cloudera Manager и подготавливают слушателей к сдаче сертификационного экзамена Cloudera Certified Administrator for Apache Hadoop (CCAH). Аудитория Системные администраторы, системные архитекторы, разработчики Hadoop Предварительная подготовка · Начальный опыт работы в Unix Содержание курса
Программа 1. Введение в Big Data Что такое Big Data. Понимание проблемы Big Data
2. Hadoop Distribited File System Блоки HDFS. Основные команды работы с HDFS. Операции чтения и записи, назначения HDFS. Архитектура HDFS.
3. Архитектура Apache Hadoop Отказоустойчивость Hadoop. Name node. Архитектура MRv1. YARN. Map reduce framework. Hadoop daemons. 4. Дизайн кластера Hadoop Дистрибутивы и версии Hadoop: различия и ограничения. Требования программного и аппаратного обеспечения. Вопросы масштабирования. Планирование кластера. Оптимизация уровня ядра. Hadoop в облаке.
5. Установка кластера Установка Hadoop кластера. Выбор начальной конфигурации. Начальная конфигурация HDFS и MapReduce. Файлы логов. Установка Hadoop клиентов. Установка Hadoop кластера в облаке. Выбор вендора и хостинга. Установка с использованием виртуального образа. Amazon EMR.
6. MapReduce Ведение в MapReduce. Компоненты MapReduce. Работа программы MapReduce. YARN MapReduce v2. Восстановление после сбоя. JobTracker веб интерфейс.
7. Операции обслуживания кластера Hadoop Дисковая подсистема. Квоты. Остановка, запуск, перезапуск. Управление узлами. Сетевая топология. Настройка высокой доступности кластера и обновлений. Импорт(загрузка) данных на HDFS. 8. Управление кластером Hadoop с использованием Cloudera Manager Установка Cloudera Manager. Основные операции и задачи Cloudera Manager. Мониторинг с Cloudera Manager. Диагностика и разрешение проблем с Cloudera Manager.
9. Безопасность при работе с Big Data Многопользовательский режим. Аутентификация и авторизация. Kerberos, keytabs, principals. Установка и конфигурирование Kerberous в Hadoop.
10. Мониторинг Nagios. Gangila. JMX. Logging. Clustering.
11. Оптимизация и управление ресурсами Поиск узких мест. Производительность. Файловая система. Worker Node. Сетевая производительность. FIFO scheduler. Планировщик емкости (Capacity scheduler). Гранулярное управление ресурсами (Fair scheduler). Защита очередей и доминантное управление ресурсами.
12. Troubleshooting Data Node. Task Tracker. Job Tracker. Name Node.
13. Резервное копирование (Backup) Резервное копирование и аварийное восстановление. Best practices.
14. Инструментарий Hadoop экосистемы Apache Pig - установка и функционал. Введение в Apache Hive, понятие Hive таблицы, установка Hive. Apache Scoop - установка и функционал. Apache Flume - установка и функционал.
|
