👍 165
07/21 11:26
We present ABot-World-0, an action-conditioned video world model for real-time, long-horizon closed-loop interaction, supported by a multi-source data infrastructure spanning AAA games, simulation engines, and internet videos to learn controllable world dynamics. WorldExplorer performs agent-driven
中文介绍 ABot-World-0 是一种基于动作的实时长时间闭环交互视频世界模型,通过多源数据基础设施学习可控的世界动态。核心技术是使用来自 AAA 游戏、仿真引擎和互联网视频的数据进行训练,WorldExplorer 能够驱动代理进行自我交互。该方法在复杂的交互任务中展现出良好的灵活性和表现,具有重要的实际应用潜力,例如在游戏和虚拟现实中的开发和应用。意义:推动了智能代理与动态环境互动方向的发展。
👍 157
07/18 20:00
Video multimodal large language models (MLLMs) can describe what happens in a video, but rarely identify when the supporting evidence occurs. We study generalist video temporal grounding, in which one model predicts a variable-cardinality set of evidence intervals across video lengths, domains, quer
中文介绍 本文研究了视频多模态大语言模型(MLLM)在时间定位方面的挑战,提出了一种通用的视频时间搭建模型,能够跨视频时长、领域和查询,预测可变基数的证据区间。这种方法有助于更准确地识别视频中支持证据的时间,解决了当前模型往往缺乏时间标注的不足。其贡献在于提高视频理解能力,推进了时间感知模型的发展,可能影响信息检索和多媒体分析应用。意义:提升了时间感知与视频理解的研究进展。
👍 120
07/17 20:00
Large language models (LLMs) are increasingly used to automate data-processing workflows, yet coding agents typically produce scripts that are not automatically materialized as persistent, editable platform artifacts. We call this disconnect the NL2Pipeline gap. To bridge it, we introduce DataFlow-H
中文介绍 为了解决大型语言模型(LLMs)在数据处理工作流自动化中的代码生成与执行之间的差距,本文提出了 DataFlow-Harness 平台。该平台通过构建可编辑的 LLM 数据管道,解决了 NL2Pipeline 差距,提升了模型生成代码的可用性和持久化能力。研究结果表明,DataFlow-Harness 能够有效地将生成的脚本转换为持久化的、可编辑的构件,对数据驱动应用具有重要意义。意义:促进了 LLM 在数据流程自动化领域的应用与发展。
👍 86
07/07 20:00
Training tool-use agents to improve from their own experience remains challenging, as supervised fine-tuning relies on fixed teacher-distilled trajectories, while sparse-reward reinforcement learning provides weak supervision for long-horizon interactions. We present DeepSearch-Evolve, a self-distil
中文介绍 DeepSearch-World 提出了自蒸馏方法,以提升工具使用代理通过自身经验进行学习的能力。该方法解决了传统有监督微调依赖固定教师轨迹的局限性,同时克服稀疏奖励强化学习对长时间交互的弱监督问题。实验结果表明,该方法在复合任务中表现出显著的学习效率与准确性,对复杂决策任务具有重要影响。意义:推动了自学习代理的发展,提高了智能体在复杂环境下的适应能力。
👍 83
07/18 20:00
This paper introduces EvolvingWorld, a framework and benchmark for character and world co-evolution in interactive literary worlds. Existing systems either treat interactive literary simulation as static persona imitation or isolated scene generation, failing to capture how characters and worlds evo
中文介绍 EvolvingWorld 介绍了一种框架与基准,用于互动文学世界中角色与世界的共同进化。该方法能够超越传统的静态模拟,捕捉角色与世界如何动态演变的过程。研究结果显示,通过这种方法,可以更好地模拟复杂情境下的角色行为,具有重要的游戏设计和虚拟世界开发应用价值。意义:为角色扮演与智能互动领域的研究提供了新的视角与方法。
👍 66
07/20 20:00
Text-to-image diffusion transformers (DiTs) jointly process text and image tokens, yet their internal computation during denoising remains poorly understood. We introduce a causal interpretability framework for modern large-scale DiTs that combines attention decomposition with targeted interventions
中文介绍 本文提出了一种因果可解释性框架,用于现代文本到图像的扩散变换器(DiTs),旨在揭示其去噪过程中的内部计算机制。通过注意力分解与精确干预相结合的方法,深入理解文本和图像标记之间的隐式语义关系。研究有助于提升扩散模型的透明度及可解释性,影响跨模态生成和理解的应用。意义:推动了模型透明性与可解释性研究。
👍 64
07/21 00:54
Generative world renderer AlayaRenderer receives structured world states exported from physics engines and synthesizes RGB frames. Unlike models that generate frames from text/control-hints prompts, AlayaRenderer preserves scene structure without altering the underlying world dynamics. This demonstr
中文介绍 AlayaRenderer 是一种能够实时合成 RGB 帧的生成世界渲染器,通过利用物理引擎导出的结构化世界状态,保持场景结构。与其它依赖文本提示的帧生成模型不同,其方法确保了在合成过程中不改变底层世界动态,展示了在生成与渲染任务中的有效性,具有在游戏和虚拟现实应用中的潜力。意义:提升了动态场景生成的效率与质量。
👍 55
07/20 20:00
Large-scale visual generators are increasingly capable but costly to train, fine-tune, and deploy. We introduce Mage-Flow, a compact 4B-scale generative stack for efficient text-to-image generation and instruction-based image editing. The stack is built from two co-designed components: Mage-VAE, a l
中文介绍 Mage-Flow 提出了一个高效的图像生成和编辑基础模型,具备 4B 规模,优化了大规模视觉生成的训练和部署开销。该模型由 Mage-VAE 和一个新颖的变换器组件构成,能够支持文本到图像的生成以及基于指令的图像编辑,有效提高了生成效率。研究结果表明,相较于现有模型,其性能有显著提升,为图像生成领域的研究与应用提供了新的方向。意义:促进了高效图像生成技术的发展。
👍 52
07/19 20:00
Human-object centric video personalization (HOCVP) is a core task within subject-driven video generation. However, existing methods suffer from two key limitations. First, most approaches focusing on inter-subject personalization still struggle to strike a balance between high subject fidelity and a
中文介绍 HOMIE 主要解决人对象中心视频个性化生成中的高保真性与多样性平衡问题,提出了一种多模态智能增强的方法。通过整合不同的个性化目标,该方法在用户驱动的视频生成上表现出显著改善,具有较高的应用潜力。如在广告、影视制作等领域。意义:推动了个性化内容生成与用户体验优化的研究进展。
👍 40
07/16 20:00
Modern video generation models are increasingly hailed as emerging world models with an internalized grasp of physical law. Yet existing benchmarks largely evaluate physical plausibility only at the output level, without verifying whether the model arrives there through a faithful, law-grounded reas
中文介绍 为评估现代视频生成模型的物理智能,Apple-π 提出了基于法律的物理智能基准。该基准不仅关注生成输出的物理合理性,还评估模型在推理过程中遵循物理法则的能力,提升了物理理解模型的评估标准,对智能体在现实世界中的可靠性与适用性有重要影响。意义:加强了物理智能模型评估的系统性与全面性。
👍 32
07/10 20:00
Temporal grounding in long recordings remains challenging for audio-conditioned LLMs. We present a time-aware audio LLM that answers questions with explicit timestamps over up to 120 minutes of input. Our approach interleaves periodic time markers with continuous audio tokens using large-scale synth
中文介绍 GigaChat Audio 提出了一个面向时间感知的大型音频语言模型,能够在长达 120 分钟的录音中针对明确时间戳回答问题。通过将周期性时间标记与连续的音频标记相结合,该模型在音频理解与处理方面具有显著的优势,能够解决长时间录音内容的语义提取与分析问题。意义:推动了音频处理和理解技术的发展与应用。
👍 31
07/19 20:00
In line with the prevailing direction of vision research, we explore the integration of both generation and editing capabilities for video and image modalities within a single model. Current approaches to collecting video editing data typically depend on labour-intensive, time-consuming curated proc
中文介绍 FlowMimic 探索了在视频和图像模态中融合生成与编辑能力的潜力,提出了一种无掩码的视觉编辑与生成方法。该方法通过创建像素对变形流场,简化了视频编辑数据生成的过程,减少了高昂的人力成本,提高了效率,对视频及图像处理领域具有重要应用价值。意义:推动了智能视频编辑与生成技术的发展。
👍 24
07/16 20:00
Mobile graphical user interface (GUI) agents have demonstrated remarkable capabilities in automating complex tasks, yet they introduce critical safety risks where a single erroneous action can lead to irreversible consequences. Existing safety mechanisms are primarily reactive, lacking the ability t
中文介绍 SeerGuard 提出了一个安全框架,旨在提高移动图形用户界面(GUI)代理的安全性,通过世界模型预测来实现。在复杂任务自动化中,该框架能够主动预测并避免潜在错误,提升了现有机制的反应能力和前瞻性,降低了误操作的安全风险,对智能代理在实际应用中的安全性具有深远影响。意义:增强了智能系统安全性研究的重要性。
👍 18
07/20 20:00
LLM agent failures are difficult to debug because the step where an error surfaces is often not the one that caused it. Existing observability tools replay execution traces but provide little support for identifying the root cause or translating diagnosis into recovery. We present AgentDebugX, an op
中文介绍 AgentDebugX 是一个开源工具包,旨在解决大型语言模型(LLM)代理中故障的可观察性与恢复问题。现有工具往往效率低下,难以识别根本原因,AgentDebugX 通过重放执行轨迹并提供细致的故障归属分析,提升了错误恢复的有效性。其对 LLM 的调试与应用具有重要意义。意义:推动了语言模型调试方法的研究。
👍 12
07/19 20:00
Structure-based drug design (SBDD) leverages the 3D structure of protein targets, often complemented by other spatial constraints, to generate candidate binding molecules. While diffusion models have dominated as a leading paradigm for high-quality 3D molecule generation, LLM-based methods are rapid
中文介绍 本文针对基于结构的药物设计(SBDD),评估大型语言模型(LLMs)在生成候选结合分子时的表现。研究表明,尽管扩散模型在高质量三维分子生成中占主导地位,LLM的方法在速度和灵活性方面具有优势。此研究为药物设计过程中的智能应用提供了新的可能性与方法论支持。意义:加强了药物设计与模型智能化的结合研究。
👍 8
07/18 20:00
Large language model (LLM) post-training is essential for improving reasoning, adaptation, and alignment. Existing methods mainly follow two paradigms: reinforcement learning (RL) and on-policy distillation (OPD). However, RL relies on coarse-grained outcome supervision, resulting in difficult credi
中文介绍 为提升大型语言模型(LLM)后续训练的推理与对齐能力,本文提出了一种新的蒸馏强化学习方法,克服了现有方法在粗粒度监督下的局限性。该方法能够更好地引导模型在复杂任务中的学习,实验结果显示具有显著的效果改善,对 LLM 应用中的推理能力有积极影响。意义:推动了强化学习在语言模型训练中的应用研究。
👍 7
07/20 20:00
Efficient teamwork typically combines global coordination with parallel execution, a principle not yet fully reflected in unified Vision-Language Model (VLM)-based document parsers. Existing unified parsers process an entire page jointly but generate its output through a single token-by-token autore
中文介绍 HPD-Parsing 提出了层次化并行的文档解析方法,通过结合全局协调与并行执行提高统一视觉语言模型(VLM)的性能。现有解析器在处理文档时多通过逐个标记生成输出,而该方法实现了更高效的解析效率,为文档理解与处理任务提供了新的思路与解决方案。意义:促进了文档解析技术的进步与应用。
👍 7
07/20 20:00
Scaling executable agent training data for LLM post-training is bottlenecked by substrate-bound methods that tie task generation to predefined tools, repositories, or skill graphs: expanding coverage requires manual substrate engineering, each new domain demands a bespoke pipeline, and the resulting
中文介绍 NexForge 提出了一种需求驱动的任务合成方法,以扩展大型语言模型(LLMs)可执行代理的训练数据,克服了传统生成方法在多领域和工具之间的固有限制。通过动态生成任务,该方法提高了模型在多样化环境下的适应能力,为 LLM 的实用化与灵活应用提供了新思路。意义:加强了可执行代理的通用性与灵活性研究。
👍 6
07/20 20:00
Evaluating the factuality of long-form generations has focused predominantly on precision, measuring whether the claims a model makes are correct. The dominant decompose-search-verify pipeline catches incorrect claims well but says little about whether a response contains all the information it shou
中文介绍 本文提出假设与评价的双层元标准 GAMUT,以评估开放式生成的事实完整性,旨在解决当前主要聚焦于精确性的问题,创造性地引入了生成内容中信息全面性的衡量标准。研究结果显示,GAMUT 为文本生成评估设立了新的基准,对提高生成内容质量具有重要意义。意义:推动了开放式生成评估的发展及完善。
👍 5
07/20 20:00
We present AutoIndex, a framework for learning representation programs: executable transformations that map raw documents into the representations exposed to a retrieval system. Rather than tuning retrievers, rerankers, or a small set of preprocessing hyperparameters, AutoIndex searches over program
中文介绍 AutoIndex 提出了一个学习表示程序的框架,用于将原始文档转化为检索系统可用的表示,而不是简单地优化检索器或预处理超参数。通过搜索程序,AutoIndex 帮助实现文档的自动化处理,提升了信息检索的效率和质量,对文档管理与检索系统具有重要的应用价值。意义:增强了表示学习与信息检索结合的研究。