KServe中的优化技术

在上一篇KubeFlow的文章中已经介绍过KServe,KServer是一个用于在k8s上部署推理服务的框架。 这一篇更细节地分析KServe中的2项技术: ModelMesh和Batcher。 ModelMeshKServe原本的InferenceService是一个模型一个服务的模式,在部署大量模型的情况下,会面临各种限制:计算资源的限制、POD数量的限...

阅读全文

ComfyUI源码分析

最近看到越来越多AI绘图圈的人开始使用ComfyUI,所以我也上手ComfyUI玩了一下SD Video,效果还不错。 废话不多说,直接步入正题,我们来分析一下ComfyUI的源码。 启动过程ComfyUI通过 python main.py 启动,所以代码入口就在 main.py。主要完成了以下的工作。 12345678910# main.py# 初始化...

阅读全文

如何快速适应新团队

如果新团队有一套新人融入计划的话是最好的,按部就班来就好了。 但是如果不存在,那就得自己想办法掌握生存之道了,这也是写这篇文章的目的。 团队成员人永远是第一位的。 加入新团队要做的第一步就是了解角色分工,熟悉需要对接哪些人,上下游如何协作。第二步就是了解团队氛围,私下里面能聊得来当然最好,万一聊不来也别勉强,当好大头兵干活就行。 最后一点是关于办公室政治,有...

阅读全文

如何做好一个大头兵

互联网行业的大头兵说白了就是干活的主力,主要负责执行,不承担系统架构业务,也不负责团队管理。对应到公司,大概对应阿里的P5-P6,字节1-2和2-1。 这篇文章主要总结一下作为大头兵,个人总结的一些心得体会。全文3000字,分为需求对接、技术方案、代码实现、测试和上线、闭环收尾,阅读需10min。希望看完这篇文章能够对你有所帮助。 需求对接日常工作中的第一...

阅读全文

KubeFlow-机器学习平台

KubeFlow介绍KubeFlow是一个开源项目,目标是让在k8s上部署、管理和运行机器学习应用更加简单。 以下是KubeFlow的架构: 可以看到,KubeFlow并不只是一个工具,而是一系列工具的集合,是一个平台。 KubeFlow的架构跟机器学习工作流是息息相关的: 在实验阶段,KubeFlow提供了jupyter notebook工具帮助机器学...

阅读全文

Go实现主从选举

背景最近项目上需要重构一个模块,因为这个模块设计到一些全局信息的维护,多副本会有竞争问题,希望采用单副本的方式来运行。但是单副本的话又会面临高可用的问题。因此要解决的问题就是如何做主从选举来保证既是单副本工作,又可以保证高可用。 思路本来想手撸的话可以依然用Redis的分布式锁或者Etcd的分布式锁来实现。 在服务启动的时候去拿锁,拿不到锁就放弃,然后过一...

阅读全文

开发与测试的关系(PPT分享)

最近在团队内部做的一次分享,本意是想强化一下团队内部的质量意识,脱敏以后分享出来。 如果下面的内容太小,可以直接点击这里跳转:开发与测试的关系

阅读全文

2021年阅读报告

照例写一下2021年的阅读总结。 历史《邓小平时代》 无比推荐。“扶大厦之将倾,挽狂澜于既倒”。 今天看来,“科技是第一生产力”“白猫黑猫”“摸着石头过河”依然振聋发聩。 文学《刀锋》、《月亮与六便士》、《巨人的陨落》、《战争与和平》、《飘》 “一把刀的锋刃不容易越过,因此智者说得救之道是困难的。” “年轻人与其一直抬头看着月亮,不如低头看看六便士吧。” “...

阅读全文

K8S网络模型(PPT分享)

最近在团队内部做的一次分享,分享了一下k8s网络模型。 如果下面的内容太小,可以直接点击这里跳转:K8S网络模型

阅读全文

2020年阅读报告

今年专业书没怎么看,倒是看了不少西方文学的书。 加缪年初看完了加缪的《鼠疫》和《西西弗斯的神话》,对存在主义那套荒诞-反抗的体系有些疑惑,所以又去买了几节人大哲学系老师讲存在主义的课。个人觉得存在主义会让人活得更自由,而且也充满了人文关怀,关注在荒诞的世界中人应该如何生活。其哲学主张,比如存在先于本质、世界是荒诞的、人的认知局限都比较有意思。 红与黑年中看完...

阅读全文