1.1 开源产品商业化

1. Greptime的商业开源求索之路 一款时序数据库
   • 如何利用开源项目 GreptimeDB 来构建商业闭环
   • 应在 API 和产品核心体验上保持开源，并与商业产品持平
2. EMQ 开源商业化 MQTT 消息服务
   • 商业服务模式包括无服务器、全管理和自助云服务
3. JuiceFS 的商业与开源实践
   • https://juicefs.com/docs/zh/community/introduction
   • https://time.geekbang.org/course/detail/100759901-767533
4. 云时代下开源技术商业化思考
   • https://blog.csdn.net/kaiyuanshe/article/details/140114484
5. TiDB 开源与国际化的融合

1.2 大模型应用场景探索

京东商家智能助手 Agent 🚫

RAG 商业落地实践踩坑⭐️ 高原 句子互动 CTO

• AI 对话系统(专家级营养师)的商业落地

饿了么垂域大模型 EGPT 训练与 C 端应用实践 方之家

• 垂域大模型在C端搜索场景的训练与使用

大模型技术在快手搜索的应用 许坤

4.1 智能运维大模型：在运维中应用大模型

1.3 大模型应用的产品设计

金山云：轻舟智问 陈海彪 知识库+LLM=知识助手

大模型应用开发新范式 娄双双 百度智能云 千帆AppBuilder

通义灵码，AI 原生开发新范式 陈鑫（神秀）阿里云 不知所云:(

MFTcoder：大模型多任务微调框架 余航 蚂蚁集团 设计图生成网页

• https://codefuse.alipay.com/
• https://github.com/codefuse-ai
• https://huggingface.co/codefuse-ai

1.4 AI Agent 智能体落地

AI Agent 在企业经营分析场景的落地 李飞 数势科技

• Agent 结合指标平台、LLM，提升数据分析效率和准确性

办公自动化 AI Agent 分享 欧阳小刚 实在智能

2.1 架构

架构

202404-bj-qcon-arch

1. 主题演讲-大模型时代的架构思维
2. 高质量架构-架构治理与合理性度量
3. 饿了么微服务精简归拢实践
4. 字节跳动微服务合并编译实践

2.2 RAG 与向量数据库

向量数据库与生成式AI的实战洞察⭐️ 诸葛瑞麟 伊克罗德信息

基于多模态智能引擎的大模型知识库技术应用 张红兵 Fabarta

Al 原生数据库 Infinity 系统架构与 RAG 技术实践 ⭐️ 张颖峰 英飞流

DingoDB：从 HSAP 到多模向量数据库的技术演进之路 孟圣智

2024 年向量数据库与 RAG 落地思考与实践 ⭐️ 苏鹏 爱可生

4.2 云计算与 LLM

诸葛瑞麟的 RAG 实战案例

如何利用向量数据库与生成式 AI 结合的 RAG 系统提升数据潜能，并分享了实战案例。

RAG 仍然是落地大模型应用的最优路径

MyScale：开源的 AI 向量数据库

• https://myscale.github.io/benchmark/

案例：智问 1.0 和 2.0

Al 原生数据库 Infinity 系统架构与 RAG 技术实践

RAG（Retrieval-Augmented Generation）技术现状及发展趋势

AI 原生数据库 Infinity 的系统架构

Infinity 与 RAGFlow 结合的应用实践

基于 DingoDB 的 RAG 实践

DingoDB 是一个从 HSAP（Highly Scalable Analytical Processing）发展而来的多模向量数据库，它在 AGI（Artificial General Intelligence）时代提供了一种新型的数据架构

DingoDB 既具备关系数据库的特性，如支持 SQL 和事务，又支持向量数据库的功能，如 Python 和 Java SDK，能够无缝对接 LLM（Large Language Model）应用

• https://github.com/dingodb/dingo
• https://github.com/dingodb/dingo-store
• https://www.dingodb.com/

微调与检索增强生成技术对比

微调方式进行知识注入，存在两个缺陷

1. 模型微调需要专业人才、GPU设备投入较大
2. 微调(非私有化部署)有数据泄漏的风险，而且知识不易变更

检索增强生成(RAG)的方式

• 定位到最新且准确的知识数据，作为上下文输送给大模型
• 用低成本(仅普通服务器即可实现高效检索)的方式提升模型效果

技术重点：信息提取 / 信息检索/ LLM 交互/ RAG评估

2.3 大模型数据工程和对齐

Safe RLHF 的挑战与蚁鉴的应对之策 🚫 三笛 蚂蚁集团

快意大模型在短视频互动场景的应用探索 刘澈 快手

• 快意大模型

海天瑞声在大模型数据的探索与实践 黄宇凯 自动驾驶

• 数据应用在大模型研发的四个阶段
  • Pretrain/ SFT/ Align/ Evaluation

3.1 大模型工程化

类 Sora 开源架构模型训练实践

• 一个开源的视频生成模型，旨在复制 OpenAI 的 Sora 模型的功能
• 对模型架构、训练过程、数据预处理和性能进行了介绍

超大规模集群下大语言模型训练的最佳实践 刘育良 快手

• LLM 训练的规模、数据量、计算量以及相应的技术挑战和解决方案

万字综述大模型高效推理 LLM Eff-Inference

• 推理效率瓶颈分析以及数据层、模型层和系统层的优化技术

NVIDIA GPU 架构下的 FP8 训练与推理

• 利用 E5M2/E4M3 格式，具备与 FP16 相当的动态范围

4.1 智能运维大模型

202404-bj-qcon-topics#运维

1. 字节的 LLM 智能运维架构 SRE-Copilot
2. 华为云的 LLM 和 Multi-Agent 协同的运维方案
3. 阿里云的基于检索和工具增强的智能运维

4.2 云计算与LLM

分布式云计算与 AI 大模型智能化应用实践

1. 吴琼 Akamai 售前及运维工程师
   • Akamai 产品介绍
   • 案例讲解
2. 郑如鹏 MongoDB 解决方案架构师
   • MongoDB Atlas 数据平台支持开发者构建 AI 智能化应用
   • 向量搜索技术应用