本文参加 2023 年度征文活动。我的 2023 年度关键词是：独立
赶在除夕前写完了总结，刚发至公众号，便看到老麦的寄语和征文，既巧合又契合。与少数派缘份不浅，甚至总结中几次提及。遂将原文同步至此处，与诸君共勉，新年快乐。
自 2022 年下半年脱产以来，虽名义上没有工作，但人却丝毫没有闲下来，以自由职业的身份缴纳社保，探索学习的同时零星承接项目，随着 ChatGPT 掀起大语言模型 AI 热潮，全身心投入其中，以研究、应用叠加创业的复合心态，度过了 All in AI 的 2023 年。
简单回望，除了脑中日渐深厚的 AI 知识储备，一路留存的若干项目与文章似乎更便于论证作为总结，故在此梳理，望有启发。
项目探索
WxAnnual - 微信年度报告
2022 年 12 月 - 2023 年 1 月
2021 年底时，出于总结某活跃群聊的目的，曾深入研究过微信聊天数据结构，并开发了基于 iTunes 备份对微信聊天记录进行提取分析的小工具 WxMiner；到了 2022 年底，决定在漫天的 App 年度报告中补上微信这一缺席者，于是再次备份 iTunes，写下了 WxAnnual ——
WxAnnual 可能是本篇唯一一个与 AI 没有直接联系的项目，也算是对过去数据工作的一个小总结。但必须承认，聊天记录的离线处理事实上价值有限，RPA Chatbot（自动化聊天机器人）才是此类应用发挥的真实场景，从 OpenAI 开放 ChatGPT API 后雨后春笋般涌起的个人微信/公众号/企微/飞书接入 AI 类项目可见一般。而我仍在构思一个基于已有聊天记录的语义 RAG（检索增强生成，大语言模型的一大应用类型）的 AI 项目，暂且不表。
值得一提的是，2023 年底突然有个类似的工具在网络走红，不过其采取了 PC 端逆向的方案，多少有些风险，不鼓励普通用户试用。
Ziyaa - 企业知识库问答解决方案
5 月 - 6 月
春节后，国内有关 ChatGPT 的讨论才如梦初醒般滞后地活跃起来，但从冷到热之快令人咂舌，在各类媒体的宣传之下，GPT、AI、大模型这些概念飞速蔓延至写字楼和大排档。我在回顾 Transformer 相关技术和梳理 OpenAI 模型路径的同时，于一次分享上与 Richard 结识，后来和 K 哥三人一拍即合决定一起做些大模型的应用尝试，便是面向企业的知识库问答解决方案 Ziyaa ——
Ziyaa 建立在一个 ToB AI 的朴素构想上，考虑以 Character.AI 为代表的 ToC 类 AI 应用在国内可能面临的激烈竞争和盈利难题，企业主彼时的焦虑更为真切，也指向了深耕细分行业形成飞轮壁垒这一相对明朗的前景，于是在与不同行业客户的接触中，团队获悉企业知识库问答这一普遍需求，在调试迭代效果的过程中，一个个都炼成了 RAG 专家。尽管此类项目最终的效果仍然很大程度上取决于客户对于 AI 回答质量的预期，但 70 分的 demo 半天便能有，大概算是说得过去的成果了。
因为团队小，我也将自己的定位正式从「数据科学家」切换到「AI 工程师」，前后端、基建、DevOps 全栈工作都做些，至于因为大量使用而深入研究的 LangChain，也算是被动变成了专家，笑。
明星项目 Dify 是国人团队打造的开源低代码 LLM 应用平台，我也曾深入研究过其实现，结论是对通用性的追求几乎必然导致 RAG 性能的不足，在 ToB 场景中存在明显上限，遂未选用，但对其开源精神表示敬意。
DataVizQA - 用自然语言做数据分析
7 月
和大模型打交道久了，难免会觉得只做问答机器人有些屈才，同时 Ziyaa 也需要新的 demo 来论证能力，于是借着 OpenAI 的 function calling API（6月发布，底层为针对结构化数据生成任务上精调过的 GPT 系列模型）进行了一系列工具使用的探索。
首先便是最为熟悉的数据分析，上传 CSV 文件即可用自然语言提问分析、画图可视化的 DataVizQA ——
事实上 6 月份 OpenAI 已经面向 ChatGPT Plus 订阅用户（$20/月）灰度推出了 Code Interpreter，可用于数据分析和 Python 代码执行，DataVizQA 更多是将这个功能拆解、低成本复现，以体现大语言模型在工具使用上的能力，论证 Agent/Assistant/Copilot 这类应用的可能性。如果我们将 RAG 中的 Retriever 也视为一种工具的话，那理论上讲 LLM 应用之间的区别就变成了工具库技能包的不同。一方面，这给应用开发带来了无限想象力，几乎所有数字应用都有「AI 化」的机会；但另一方面也能明显感觉到，demo 不难，真正落到产品和生产的过程将充满考验。
StockQA - 股市问答
8 月
通用的 AI 数据分析虽然有用，但在真正取代数据分析师之前，很难为他们的雇主产生肉眼可见的收益，加之前序的获取清洗很可能存在更大的困难，有没有端到端的 AI 应用可以解决特定行业的需求呢？金融行业既有相对标准化的二级市场数据，又有频繁的复杂数据分析需求，分析师很可能同时是决策者，似乎是不错的闭环。于是我迅速搭建了一套股市数据 API 后迅速将其接入大模型，得到了 StockQA ——
还有来自业内人士的几个涉及筛选、聚合、计算的具体问题未做展示，当然在复杂问题上的准确答复率较为一般。
从 StockQA 的 demo 中，我们意识到端到端的需求真实有效，但也意味着用户期望大模型接手更多的环节，比如从 API、SQL 到聚合分析、可视化、结论，长的链条必然会放大局部疏漏，对 LLM 提出了极高的要求，GPT-4 成功率高些但从成本视角是否划算也是绕不过的问题。当然，无论金融、法律还是更多行业，与从业者的深入合作共建，将是大模型行业应用的必经之路，希望有更多机会参与。
AI Hackathon Judge - AI 黑客松评委
9 月
其实自 3 月份以来，OpenAI 发布 GPT-4、Meta 开源 LLaMA，以及 LangChain、LlamaIndex 等工具框架的更新，AI 资讯实在是日日新。出于对及时性的追求，我一路在跟踪海外相关进展，对那句「北美天天过年」的确深感其然。模型供应方、向量数据库、LLM 应用框架抢着组织聚会和黑客松，据说某一周仅湾区便有上百场 AI 主题活动，令人望洋兴叹。
9 月，Streamlit.io（一款通过 Python 快速构建数据应用的框架）举办了一场 LLM Hackathon，有感于大语言模型黑客松之多，我报名参加并为其打造了一款 AI 黑客松评委 ——
通过简介、评审标准等字段，加上提交的代码仓库位置，AI 评委便能对项目进行评判打分，并陈述理由，可以算是非常符合 AI 黑客松的主题了。
最终如愿斩获纪念奖，在香港朋友的帮助下，收到了 Streamlit 越洋快递发来的周边。
Ask Sspai - 少数派 AI
9 月
因为在少数派投稿（后文会提），钻研其细致的创作指南和行文规范，大受裨益。于是制作了 Ask Sspai —— 一款以 少数派创作手册 为语料的开源问答应用，在 RAG 的基础上添加了用户系统、请求频率限制等，勉强达到生产级应用的要求。不过发至社区后反响平平，准备回头写篇文章展开讲讲背后原理。
Agenty - 一站式 AI 协作平台
10 月
虽然 Ask Sspai 没什么流量，但我仍从构建这样一个完整应用的过程中得以锻炼了全栈技能，特别的，对大模型应用开发工具链有了深入理解。当然与此同时，也暗戳戳在构思下一个更厉害的应用，或者是平台。
如果将 Assistant/Copilot 粗糙地理解为单体 Agent，那么群体 Agent 很可能便是将 LLM 应用带入下一阶段的关键，也是为什么我花了大半月时间做了个 AI 协作平台 Agenty ——
在 Agenty 中，用户可以为一个 Agent 添加几个团队成员（Worker），这些伙伴可能各自身怀绝技（扮演不同角色、擅长不同领域、能做 RAG、能生成 PPT等等），任由 Agent 调派；更为重要的是，这个领导 Agent 本身可以作为其他 Agent 的 Worker，同一个 Agent 亦可以同时在不同团队任职。如此一来，用户只需要精心打磨自己手中的 Agent，分享至商店后即可为其他人所用，生态欣欣向荣，AI 团队愈发能干，平台坐享其成，美哉梦矣。
在 X（原 Twitter）上发布后，弱弱引发了些许骚动，日涨百粉之外，Agenty beta 的等待列表也短时间涌入了两三百人。我不甚惶恐，缓缓回复私信、再陆续给人发送邀请邮件。不少用户激活后浅尝辄止，不免让我重新审视这个独立包办码出来的平台的成熟度。
与此同时，OpenAI Dev Day 传来了 GPTs 和 GPT Store 的上线计划。既为 Agenty 的梦想生态几乎必将被抢感到苦恼，又因想法与 OpenAI 的少许重叠感到得意。虽然其并未透露有关 GPTs 之间协作的消息，但在当时的我看来这却彷佛板上钉钉；加之新开放的视觉 API 能力带来了新的想象力，于是或主动或被动地放缓停滞了 Agenty 的迭代。
2024 年 1 月底，GPTs 上线了「@GPT」功能，可在同一会话内调用其他 GPT。尽管初期用户反馈体验一般，但不得不承认是很好的交互及协作形态。
小结
- 个人和小团队可利用 AI 杠杆，快速灵活打造产品和服务
- Quick Demo 容易，Production Ready 很难
- 深入行业、理解行业，才能做好行业应用
- 应当多向 OpenAI 看，以面向未来的态度做 AI 应用
创作分享
除了敲代码搞全栈、开发 LLM 应用外，为了跟进与消化相关技术和行业发展，怀揣着某日爆红的终极目的做内容分享。一年到头小半本书，若干篇稿，千把块钱——也算小有积累，笑。
知乎
一个无人问津的专栏：
及零星被赞起来的回答：
事实证明今日知乎还是更为偏爱短平快的抖机灵回答，叹气。
小红书
身边人都在用，所以浅玩一下。
个人号无人问津。
但一个专注分享、未来预期无人值守自动化运营的实验号爆了几篇帖子，反而数据还算能看。
摊手。
少数派
就文章质量而言，少数派网站在一众中文科技媒体中应当是领先的。2023 年总算动笔投稿，留下了 5 篇文章，均得到首页推荐，甚至还在年末得到了四季度优秀作者的徽章，感恩。
值得一提的是，少数派投稿录用是真的有稿费的那种，虽然百来块不多，但真的有稿费，精神激励助人对抗拖延。
LangChain 实战
在 LangChain Partner Network 中结识了 Haili 前辈，受其邀请参与合著《LangChain 实战》一书，即将出版。
有一本作为合著者署名的出版书，这件事应该能吹个大半年。等书如期出版（预计一季度），我再来吹，哈哈。
小结
- 相比产品和项目，创作是更能快速收获反馈的方式，同时意味着更容易陷入数据激励的漩涡
- 不同平台的流量分发有不同的推荐算法机制，这样的大势下人工编辑反而难能可贵
- 如果有志全职创作，唯有笔耕不辍，以内容作品说话，才有出路
展望
2024 年的头一个月，陆续做了几次线下分享，主题涵盖大语言模型原理、本地部署、应用进展、多模态及具身智能等，听众反馈良好，真切感受到大家对 AI 的兴趣，也发现 AI 普及仍路漫漫。
希望新的一年有更多项目、创作和分享，新年快乐！
