最近受朋友邀请，在IFC做了一次分享，最终做了95页PPT，讲了2.5h。收获还是很多，也算是一种交流学习吧。 原理与技术 从生成式AI讲起: AI简史 GPT是怎么炼成的: Pretraining, SFT, RM, RLHF 前沿技术话题: Scaling law, Agent, System 2, LLM OS 应用场景 个人应用场景: 搜索 v...

在上一篇KubeFlow的文章中已经介绍过KServe，KServer是一个用于在k8s上部署推理服务的框架。 这一篇更细节地分析KServe中的2项技术: ModelMesh和Batcher。 ModelMeshKServe原本的InferenceService是一个模型一个服务的模式，在部署大量模型的情况下，会面临各种限制：计算资源的限制、POD数量的限...

最近看到越来越多AI绘图圈的人开始使用ComfyUI，所以我也上手ComfyUI玩了一下SD Video，效果还不错。 废话不多说，直接步入正题，我们来分析一下ComfyUI的源码。 启动过程ComfyUI通过 python main.py 启动，所以代码入口就在 main.py。主要完成了以下的工作。 12345678910# main.py# 初始化...

如果新团队有一套新人融入计划的话是最好的，按部就班来就好了。 但是如果不存在，那就得自己想办法掌握生存之道了，这也是写这篇文章的目的。 团队成员人永远是第一位的。 加入新团队要做的第一步就是了解角色分工，熟悉需要对接哪些人，上下游如何协作。第二步就是了解团队氛围，私下里面能聊得来当然最好，万一聊不来也别勉强，当好大头兵干活就行。 最后一点是关于办公室政治，有...

互联网行业的大头兵说白了就是干活的主力，主要负责执行，不承担系统架构业务，也不负责团队管理。对应到公司，大概对应阿里的P5-P6，字节1-2和2-1。 这篇文章主要总结一下作为大头兵，个人总结的一些心得体会。全文3000字，分为需求对接、技术方案、代码实现、测试和上线、闭环收尾，阅读需10min。希望看完这篇文章能够对你有所帮助。 需求对接日常工作中的第一...

KubeFlow介绍KubeFlow是一个开源项目，目标是让在k8s上部署、管理和运行机器学习应用更加简单。 以下是KubeFlow的架构： 可以看到，KubeFlow并不只是一个工具，而是一系列工具的集合，是一个平台。 KubeFlow的架构跟机器学习工作流是息息相关的： 在实验阶段，KubeFlow提供了jupyter notebook工具帮助机器学...

背景最近项目上需要重构一个模块，因为这个模块设计到一些全局信息的维护，多副本会有竞争问题，希望采用单副本的方式来运行。但是单副本的话又会面临高可用的问题。因此要解决的问题就是如何做主从选举来保证既是单副本工作，又可以保证高可用。 思路本来想手撸的话可以依然用Redis的分布式锁或者Etcd的分布式锁来实现。 在服务启动的时候去拿锁，拿不到锁就放弃，然后过一...

最近在团队内部做的一次分享，本意是想强化一下团队内部的质量意识，脱敏以后分享出来。 如果下面的内容太小，可以直接点击这里跳转：开发与测试的关系

照例写一下2021年的阅读总结。 历史《邓小平时代》 无比推荐。“扶大厦之将倾，挽狂澜于既倒”。 今天看来，“科技是第一生产力”“白猫黑猫”“摸着石头过河”依然振聋发聩。 文学《刀锋》、《月亮与六便士》、《巨人的陨落》、《战争与和平》、《飘》 “一把刀的锋刃不容易越过，因此智者说得救之道是困难的。” “年轻人与其一直抬头看着月亮，不如低头看看六便士吧。” “...

最近在团队内部做的一次分享，分享了一下k8s网络模型。 如果下面的内容太小，可以直接点击这里跳转：K8S网络模型