Lurkerlin's Blog

从 RNN 到 Transformer，再到 RWKV：语言模型到底在学什么？

Thu, 25 Jun 2026 19:40:36 +0800

从 RNN 到 Transformer，再到 RWKV：语言模型到底在学什么？

最近这一串问题，其实核心都围绕一个东西：

模型怎么处理“历史信息”。

语言模型要做的事看起来很简单：给它一段前文，让它预测下一个 token。但不同架构的区别就在于：它们到底怎么保存、读取、压缩和利用前面的内容。

从 p-value 到贝叶斯：MCMC 和 Variational Inference 在解决什么问题

Wed, 11 Mar 2026 23:38:17 +0800

很多人学统计的时候会经历一个很典型的路径。

先学 p-value 和假设检验，然后开始做 A/B test，再慢慢接触贝叶斯方法。

再往前走一点，就会看到两个很常见的词：

MCMC
Variational Inference

第一次看到的时候通常会有点困惑：

互联网产品-社会行为再编程

Thu, 06 Nov 2025 11:09:37 +0800

做互联网产品在深层意义上可以看作是一种“开发新的生活方式”，同时是对既有社会行为的再编程。

一、从产品到行为接口（Behavior Interface）

互联网产品本质上是一个行为接口：

游戏之外：玩家注意力的隐形战场

Wed, 24 Sep 2025 12:55:57 +0800

当屏幕熄灭，手柄放下，游戏真的结束了吗？

在传统认知中，游戏体验被严格限定在玩家与设备交互的时间范围内。然而，现代游戏设计的真正较量，往往发生在玩家离开游戏之后的那些时刻。那些看似 " 空白 " 的游戏外时间，实际上是注意力动态变化的关键阶段，是决定玩家是否会回归、何时回归的隐形战场。

游戏的本质：时间和注意力

Wed, 24 Sep 2025 12:36:15 +0800

在现代娱乐形式中，游戏以其交互性和沉浸感，成为了一种独特的媒介。在探讨游戏设计的本质时，许多人提到了“时间”这一维度——游戏通过时间的流逝塑造进程、节奏与成长。然而，若细究其内核，时间并非游戏的真正核心。相较之下，注意力 更像是一切设计的根基。游戏是通过规则、叙事与反馈来抓住、引导并维持玩家注意力的艺术。而时间，不过是承载注意力的载体。本文试图从“时间”“注意力”与“体验”的多重视角，探讨游戏设计的本质。

游戏的循环

Mon, 01 Sep 2025 09:35:04 +0800

在游戏设计中，“循环（Loop）”常被视为最基础却又最深邃的结构。循环不仅是玩家一次次重复的操作，它更像是支撑整个游戏体验的“呼吸节奏”：在紧张与放松、投入与回报之间建立稳定而富于变化的关系。若我们从循环的角度切入，就会发现一款游戏的魅力往往不在于单一机制，而在于循环如何层层嵌套、彼此呼应。

文学叙事的结构

Sun, 24 Aug 2025 10:48:09 +0800

叙事作为人类最古老的表达方式之一，广泛存在于文学与游戏等艺术形态之中。无论载体如何变化，其核心问题始终在于：如何通过事件、人物与情感的组织，来建构一个有意义的故事。对研究者而言，快速解构一部作品的叙事，是理解其美学价值与文化意义的前提。与细致入微的文本细读不同，快速解构的目标在于在有限时间内勾勒出叙事骨架，并把握情节逻辑与主题旨趣。本文提出一种五维度分析框架，分别从叙事结构、情节元素、叙事方式、主题象征与情感曲线出发，以期为文学与游戏作品的叙事研究提供可操作的路径。

Agent 的本质：从有限状态机到 LLM 智能体

Mon, 11 Aug 2025 17:11:21 +0800

Agent 到底是什么？在不同的语境里，它可能是一个简单的自动化脚本，也可能是一个能和人对话、用工具、自己规划任务的复杂系统。名字千变万化，但如果把外壳和工程细节全部剥掉，会发现它们的底层形态惊人地相似。

中心化平台、低信任交易与社会原子化

Sun, 10 Aug 2025 17:28:39 +0800

AI 会是加速器还是解药？

早上点的外卖，下午买的书，晚上付的水电费——一切都迅速完成，却都是和完全陌生的人打交道。我们知道订单号、配送时间和支付记录，却对送餐员的生活、卖家的名字一无所知。这样的交易方式看起来高效，但它改变的不只是购物习惯。

骨架-游戏设计理论

Sun, 03 Aug 2025 20:28:43 +0800

游戏设计理论是游戏设计师用来理解和构建游戏体验的框架和工具。这些理论帮助设计师分析玩家行为、游戏规则、互动机制和情感反馈等元素。以下是几大经典的游戏设计理论，它们为设计师提供了不同的视角来理解游戏的结构和玩家的体验。

开个脑洞-轮语

Sun, 03 Aug 2025 19:05:10 +0800

一、产品概述（Product Overview）

产品名称：轮语（LunYu）
产品类型：AI 人机对话内容系列（可为专栏、公众号、博客或图文视频结合）
产品定位：一本由人类与 AI 共同书写的“现代论语”，记录思维回转、问题深掘与对话共鸣

MathJax语法

Sun, 03 Aug 2025 17:27:38 +0800

矩阵

$$ \begin{matrix} 1 & x & x^2 \ 1 & y & y^2 \ 1 & z & z^2 \ \end{matrix} $$

矩阵两端加上括号，把 {matrix} 替换为 {pmatrix}

$$ \begin{pmatrix} 1 & x & x^2 \ 1 & y & y^2 \ 1 & z & z^2 \ \end{pmatrix} $$

$$ \begin{bmatrix} 1 & x & x^2 \ 1 & y & y^2 \ 1 & z & z^2 \ \end{bmatrix} $$ $$ \begin{Bmatrix} 1 & x & x^2 \ 1 & y & y^2 \ 1 & z & z^2 \ \end{Bmatrix} $$

律动-游戏节奏

Sun, 03 Aug 2025 17:27:38 +0800

在游戏中，节奏（Rhythm）虽然是个较为抽象的概念，但可以通过数学方式进行一定的描述和建模。以下是几个常用的数学方式来描述游戏节奏的模型：

1. 事件频率模型

节奏中的行动频率（action frequency）可以用事件发生的频率来描述。假设游戏中的某类事件（如攻击或决策）在时间上的分布是均匀的，可以用事件的发生频率 (f) 来表示：

资源-游戏经济系统

Sun, 03 Aug 2025 17:27:38 +0800

从系统设计的角度来看，多种资源确实是增加了游戏中的变量，而在本质上，它没有改变核心机制的逻辑，只是让玩家在游戏中有了更多的决策和权衡。它相当于为玩家和设计者提供了更多的“操作空间”。

动机是核心吗

Thu, 31 Jul 2025 03:33:51 +0800

动机确实是理解行为和决策的重要因素，但将动机视为一切问题的核心可能存在局限性。在某些情况下，动机并不是最重要的因素，甚至可能不具备决定性作用。以下是一些例子和反驳的逻辑：

谁能从语言模型受益

Thu, 31 Jul 2025 02:06:19 +0800

随着大语言模型（如 GPT）的普及，某些类型的人可以利用其强大的信息检索与处理能力来大幅提升个人效率和创作潜力。尤其是那些灵感丰富但信息处理和发现手段有限的人，受益最大。这类人群往往具有创造力、洞察力和想法，但在获取、分析和整合信息方面可能相对薄弱。

故事图像生成综述

Wed, 30 Jul 2025 18:28:08 +0800

1. 任务定义与研究背景

“故事图像生成”（Story-to-Image Generation）任务指的是：给定一段包含多个句子的自然语言故事，生成一系列连贯的图像来可视化该故事。与传统的单句描述生成单张图像的文本生成图像不同，故事图像生成面临着跨图一致性等独特挑战 ( StoryGAN: A Sequential Conditional GAN for Story Visualization ) ( [2211.13319] Make-A-Story: Visual Memory Conditioned Consistent Story Generation )。具体而言，在一个故事的多张图像中，需要保持主要角色的身份特征、服饰和背景场景的一致，同时根据情节发展进行变化。这与视频生成有所区别：故事可视化强调全局一致的场景和角色，而不是逐帧的连续运动 ( StoryGAN: A Sequential Conditional GAN for Story Visualization )。例如，在故事中人物会反复出现、场景会延续或变化，模型必须解析指代（如代词 he/she 所指的人物）并决定何时在帧间保持角色/背景一致，何时随剧情引入新元素 ( [2211.13319] Make-A-Story: Visual Memory Conditioned Consistent Story Generation )。这要求模型具备对文本剧情的深刻理解和跨图记忆能力。

ClusterBase-万物聚类检索器

Sun, 20 Jul 2025 17:23:51 +0800

产品概述

ClusterBase 是一个面向多模态内容的统一聚类与语义检索引擎。通过将图像、文本、标签、音频等内容嵌入同一向量空间，并进行聚类与相似项索引，支持对用户收藏数据（如画廊、视频、网页、文件等）进行结构化管理与智能发现。

设计原则

Sun, 06 Jul 2025 20:32:30 +0800

经典的设计原则：SOLID、KISS、YAGNI、DRY、LOD。

下面就分别总结一下这几个原则。

SOLID

SOLID 是由 5 个设计原则组成的，它们分别是：单一职责原则、[开闭原则]、里式替换原则、接口隔离原则和依赖反转原则，依次对应 SOLID 中的 S、O、L、I、D 这 5 个英文字母。

局部性原理

Tue, 03 Jun 2025 20:32:22 +0800

学过计算机底层原理、了解过很多架构设计或者是做过优化的同学，应该很熟悉局部性原理。即便是非计算机行业的人，在做各种调优、提效时也不得不考虑到局部性，只不过他们不常用局部性一词。如果抽象程度再高一些，甚至可以说地球、生命、万事万物都是局部性的产物，因为这些都是宇宙中熵分布布局、局部的熵低导致的，如果宇宙中处处熵一致，有的只有一片混沌。

中文字体

Tue, 03 Jun 2025 20:28:28 +0800

方正字体

方正黑体、方正书宋、方正仿宋、方正楷体

https://www.foundertype.com/

思源字体

思源宋体、思源黑体

Google 和 Adobe 合作的开源字体。思源黑体是 Adobe 与 Google 宣布推出的一款开源字体，有七种字体粗细（ExtraLight、Light、Normal、Regular、Medium、Bold 和 Heavy），完全支持日文、韩文、繁体中文和简体中文，还包括来自 Source Sans 字体家族的拉丁文、希腊文和西里尔文字形共 65536 个字形。

CLIP图文对比预训练

Thu, 13 Mar 2025 17:36:20 +0800

CLIP（Contrastive Language-Image Pretraining）

CLIP 由 OpenAI 开发，是一个 多模态（文本 + 图像）预训练模型，可以理解图像和文本之间的关联。它的核心思想是 通过对比学习（Contrastive Learning） 让模型学习 “文本 - 图像” 之间的匹配关系。

交流-语义场

Mon, 03 Mar 2025 20:28:32 +0800

人的“交流”基于语义场而不是单纯的符号，这一观点强调了意义在交流中的核心作用，而不仅仅是语言、文字等符号本身。以下是对这一理论的详细解释：

1. 什么是语义场？

定义：语义场指的是一组意义相互关联、形成特定语境或背景的概念网络。它是超越单个符号、词语或句子的，强调意义的整体性和动态性。
- 举例：在“家庭”这个语义场中，父母、孩子、爱、责任、争吵等概念可能相互关联。讨论“家庭”时，我们并不局限于某个具体的词，而是激活了这一组有关联的意义网络。
本质：语义场是交流时人们共同认知的语义背景，它为符号（语言、文字、手势等）的使用赋予上下文意义。

2. 符号的局限性

符号本身是固定的、有限的，而语义场则是动态且高度依赖情境的：

扩散模型

Tue, 10 Dec 2024 06:12:06 +0800

VAE 原理

似然生成模型：给定一个数据集 $x_D$，训练使得模型最大化似然 $p_\phi(x_D)$。

1. ELBO 的定义和公式

VAE 的目标是对数据 $x$ 的分布 $p(x)$ 进行建模，但直接优化 $p(x)$ 通常不可行。通过引入潜变量 $z$，对对数边际似然 $\log p(x)$ 进行变分下界（ELBO）的近似：

自然语言处理

Sun, 17 Nov 2024 18:36:27 +0800

一、语义表示的基本概念与方法演进

1.1 语义表示的核心定义

语义表示旨在将文本（如单词、句子、文档）的含义编码成机器可存储和处理的形式，例如实值向量或经过良好训练的神经网络参数。这种表示使机器能够 " 理解 " 语言的意义，而不仅仅是处理表面符号。

深度学习理论

Sat, 16 Nov 2024 18:36:28 +0800

一、深度学习的理论支柱：逼近、优化与泛化

深度学习不仅在应用领域取得巨大成功，其背后也有一套逐渐完善的理论体系支撑。该体系主要围绕三个核心问题展开：深度神经网络能够表示哪些函数（逼近理论）、如何有效优化神经网络参数（优化理论），以及训练好的模型为何能在新数据上表现良好（泛化理论）。