CS6.824(1)-mapreduce

整体架构

master: 获取Job信息,决定mapper和reducer个数,并分割文件。同时接收来自worker的注册,根据一定策略调度task给可用的worker,并进行出错处理。

阅读全文

Fluent Python(17-18)——并发

17. concurrent处理多进程和多线程

两种方式

    阅读全文

    Fluent Python(14-16)——从迭代器到协程

    14. 迭代器与生成器

    1. 可迭代的对象:使用iter内置函数可以获取迭代器的对象。如果对象实现了__iter__方法,能够返回一个迭代器,那么对象就是可迭代的。

    阅读全文

    李航《统计学习方法》代码实现

    学习《统计学习方法》时实现了一部分算法,整理在GitHub上

    李航《统计学习方法》代码实现

    阅读全文

    Docker学习笔记(二)-工具及底层实现

    Docker compose

    Compose 中有两个重要的概念:

    • 服务 (service):一个应用的容器,实际上可以包括若干运行相同镜像的容器实例。

    阅读全文

    RabbitMQ学习笔记

    1. 安装

    1
    apt install rabbitmq-server

    阅读全文

    kubernetes学习笔记(三)-网络管理

    1. 要点

    IP以Pod为单位分配,一个Pod内部的所有容器共享一个网络堆栈。

    一个Pod内部的应用程序看到的自己的IP地址和端口与集群内其他Pod看到的一样,它们都是Pod从docker0分配的。

    阅读全文

    kubernetes学习笔记(二)-安全控制

    1. 端口问题

    1
    2
    3
    4
    5
    6
    7
    8
    pod:
    - containerPort: 容器端口
    hostPort: 主机端口

    service:
    - port: 监听端口
    targetPort: 转发到pod的端口
    nodePort:>30001 外部访问的端口

    阅读全文

    kubernetes学习笔记(一)-基础入门

    1. 基本术语

    Service: 唯一名字,拥有唯一虚拟IP和端口号

    Pod: 通过label与service绑定,业务容器、基础设施容器

    阅读全文

    Docker学习笔记(一)-基本操作

    1. 基本概念

    镜像:Docker镜像是分层存储的。

    容器:镜像(Image)和容器(Container)的关系,就像是面向对象程序设计中的类和实例一样,镜像是静态的定义,容器是镜像运行时的实体。容器可以被创建、启动、停止、删除、暂停等。

    阅读全文