论文解读

论文探讨了人工智能领域中数据选择与泛化能力的关系，并提出了核心概念“Epiplexity”（外延复杂度）。作者指出，传统的信息论在面对计算受限的观察者时存在局限性，无法准确衡量数据中可被学习的结构化信息**。通过分析三个信息悖论，研究揭示了数据的排列顺序、计算约束以及涌现现象如何影响模型获取信息。实验证明，Epiplexity 能够比传统的交叉熵（Entropy）更有效地预测模型在分布外任务（OOD）上的表现。该理论为优化预训练数据选择提供了数学工具，强调了在资源有限的情况下，结构信息的提取是提升通用智能的关键。

MIT 递归语言模型（RLM）模型，旨在攻克大语言模型在处理超长文本时的上下文衰减与窗口限制难题。

麻省理工学院（MIT）的一项开创性研究，为我们揭示了这场进化的具体路径。他们推出了一个名为 **SEAL (Self-Adapting Large Language Models，自适应大语言模型)** 的框架。这套框架首次赋予了AI模型一种前所未有的能力：它们可以“自己教自己”，通过生成和应用自己的学习材料，来持续进化其内部的知识体系。

Verbalized Sampling: 言语采样提升模型多样性

这篇由Meta和宾夕法尼亚州立大学的研究者发布的论文提出了一种创新的、无需人工标注数据的提示词优化方法。

这里将收集Context Engineering相关的重要文献，具体解读将在其他博客展开。

该论文介绍了一个名为 ACE(Agentic Context Engineering，代理上下文工程) 的框架，该框架旨在通过演化上下文而非微调模型权重的方式，实现大型语言模型（LLMs）的自我改进。ACE将上下文视为不断累积、提炼和组织策略的 “演化剧本”，从而克服了现有上下文适应方法中存在的简洁性偏差和上下文崩溃等主要限制。通过使用 生成器、反射器和策展器 这三个代理组件，ACE实现了增量更新和“增长与提炼”机制，以保持详细的领域知识并提高可扩展性。实验结果表明，ACE在代理基准测试和金融等领域特定任务中显著优于现有基线方法，同时还能大幅降低适应的延迟和成本。

AI for Research Survey. 这篇综述文章概述了人工智能在科学研究（AI4Research）中的应用，强调了大型语言模型（LLMs）在促进科学发现各个阶段的潜力。它建立了一个系统的分类体系，将AI4Research分解为五个主要任务：科学理解、学术调查、科学发现、学术写作和学术同行评审。文章详细介绍了AI在这些领域中的具体应用，例如辅助思想挖掘、实验设计、数据分析、论文撰写和同行评审。此外，该综述还识别了未来的研究方向，包括跨学科AI模型、伦理考量以及多模态和多语言集成，旨在为研究界提供资源并激发AI驱动的科学创新。

Reflect, Retry, Reward: 大型语言模型的自我进化新范式

本文介绍了深度研究智能体：系统性审查与路线图。