ANTIMERIDIAN
目录 →
研究与项目 / 研究文库 / OpenAI 方法论 Primer
The OpenAI Methods Primer · 02

01 · 向量检索与分类聚类 Primer

Cookbook 嵌入式(embeddings)全家桶:Classification using embeddings / Clustering / Embedding Wikipedia articles for search / Code search using embeddings / Clustering for transaction classification——「语义作为坐标系」的工程学。

Chapter 2/9字符 1079结构标题 4表格 0
English library directory → · 正文保留原文语言
PLATE 01 / CHAPTER STRUCTURE01 · 向量检索与分类聚类 Primer01一句话定位02四道菜精要03方法论精华04编者注CHAPTER2/9CHARACTERS1079PARAGRAPHS11TABLES0
按原文章节顺序展示前五个结构节点;不足三个标题时补入原文句子。箭头表示阅读顺序,不表示因果关系。
BOOK SKYLINE & CHAPTER POSITION · 02 / 09OpenAI 方法论 PrimerCURRENT CHARS1079SECTIONS4POSITION2/9
Plate 02 · 全集 9 篇的字符数;黄色为当前篇。高度按全集最长篇归一化。
PLATE 03 / SECTIONS 1–5段落结构与篇幅 / 字符数导言 · 01 · 向量检索…192一句话定位82四道菜精要411方法论精华281编者注113
按标题至下一标题的独占区间统计非空白字符(含 Markdown 标记)。每幅图独立归一化;篇幅不代表重要性或证据强度。
核心命题结构拆解边界条件原文核验
Cookbook 嵌入式(embeddings)全家桶:Classification using embeddings / Clustering / Embedding Wikipedia articles for search / Code search using embeddings / Clustering for transaction classification——「语义作为坐标系」的工程学。一句话定位 → 四道菜精要 → 方法论精华 → 编者注原文《01 · 向量检索与分类聚类 Primer》未单列边界标题;请在正文核对假设、时间与适用范围。回到下方原文核对“一句话定位”;本章 4 个结构标题、0 张表。

Cookbook 嵌入式(embeddings)全家桶:Classification using embeddings / Clustering / Embedding Wikipedia articles for search / Code search using embeddings / Clustering for transaction classification——「语义作为坐标系」的工程学。


一句话定位

把文本变成向量之后,NLP 的多数任务变成几何题:相似度是距离、分类是找邻居、聚类是分堆、检索是最近邻——四个 notebook 各讲一种几何用法。

四道菜精要

Classification using embeddings · 嵌入式分类

Clustering · 聚类

Clustering for transaction classification · 交易聚类

Embedding Wikipedia articles / Code search · 两个检索

方法论精华

1. 「分块是长文档检索的第一设计变量」:维基示例的核心不在模型在切法——块太大语义稀释、太小上下文丢失;检索质量 = 分块策略 × 嵌入质量,前者常被忽视。

2. 零训练分类的适用边界:嵌入式分类不需要训练数据但要每个标签有代表性样例;标签语义区分度高时它是最快路径,区分度低时还是得上微调(见 06)。

3. 聚类是「先看形状」工具:对陌生语料先聚类再决定分类体系——让数据提出假设,人验证假设(与统计课的 EDA 一脉)。

4. 代码检索 = 开发者的第二记忆:函数级语义索引让「我记得写过类似的东西」变成可查询的事。

编者注

这组 notebook 是 RAG 时代的地基课。对照 Anthropic 侧:cowork 的 enterprise-search 把这些几何原语包成了产品(去重、置信度、冲突呈现)——原语到产品的距离就是那层信息综合纪律。