整体架构

master: 获取Job信息，决定mapper和reducer个数，并分割文件。同时接收来自worker的注册，根据一定策略调度task给可用的worker，并进行出错处理。

17. concurrent处理多进程和多线程

两种方式

14. 迭代器与生成器

1. 可迭代的对象：使用iter内置函数可以获取迭代器的对象。如果对象实现了__iter__方法，能够返回一个迭代器，那么对象就是可迭代的。

学习《统计学习方法》时实现了一部分算法，整理在GitHub上

李航《统计学习方法》代码实现

Docker compose

Compose 中有两个重要的概念：

• 服务 (service)：一个应用的容器，实际上可以包括若干运行相同镜像的容器实例。

1. 安装

1

apt install rabbitmq-server

1. 要点

IP以Pod为单位分配，一个Pod内部的所有容器共享一个网络堆栈。

一个Pod内部的应用程序看到的自己的IP地址和端口与集群内其他Pod看到的一样，它们都是Pod从docker0分配的。

1. 端口问题

1
2
3
4
5
6
7
8

pod:
 - containerPort: 容器端口
   hostPort: 主机端口

service:
 - port: 监听端口
   targetPort: 转发到pod的端口
   nodePort:>30001 外部访问的端口

1. 基本术语

Service: 唯一名字，拥有唯一虚拟IP和端口号

Pod: 通过label与service绑定，业务容器、基础设施容器

1. 基本概念

镜像：Docker镜像是分层存储的。

容器：镜像（Image）和容器（Container）的关系，就像是面向对象程序设计中的类和实例一样，镜像是静态的定义，容器是镜像运行时的实体。容器可以被创建、启动、停止、删除、暂停等。