机器之心报道 机器之心编辑部 不用换模型、不用堆参数，靠 SUGAR 模型性能大增！ 在深度学习领域中，对激活函数的探讨已成为一个独立的研究方向。例如 GELU、SELU 和 SiLU 等函数凭借其平滑梯度与卓越的收敛特性，已成为热门选择。 尽管这一趋势盛行，经典 ReLU 函数仍因其简洁性、固有稀疏性及其他优势拓扑特性而广受青睐。 然而 ReLU 单元易陷入所谓的「死亡 ReLU 问题」， 一旦某个神经元在训练中输出恒为 0，其梯度也为 0，无法再恢复。 这一现象最终制约了其整体效能，也是 ReLU 网络的重大缺陷。 正是死亡 ReLU 问题催生了大量改进的线性单元函数，包括但不限于：LeakyReLU、PReLU、GELU、SELU、SiLU/Swish 以及 ELU。这些函数通过为负预激活值 引入非零激活，提供了不同的权衡。 本文，来自德国吕贝克大学等机构的研究者引入了一种新颖的方法：SUGAR（Surrogate Gradient for ReLU），在不牺牲 ReLU 优势的情况下解决了 ReLU 的局限 性。即前向传播仍使用标准 ReLU（保持其稀疏性和简单性），反向传播时替换 ReLU 的导数为 ...

CORPORATE OVERVIEW May, 2025 ® Forward-looking statements This presentation may contain "forward-looking statements" within the meaning of the Private Securities Litigation Reform Act of 1995 relating to our business, operations, and financial conditions, including but not limited to express or implied statements regarding the current beliefs, expectations and assumptions regarding the future of our business, future plans and strategies, , including statements regarding the estimated market for our product ...

On track for six major study readouts across four programs over the next 12 months Ready to initiate pivotal studies in two developmental and epileptic encephalopathy (DEE) programs in mid-year 2025: EMERALD for broad DEEs with relutrigine and EMBRAVE3 for SCN2A GoF with elsunersen Vormatrigine continues to generate a best-in-class safety profile with new data demonstrating no food effect and higher dosing tolerability Praxis to host a virtual investor event on Friday, May 2, 2025 to discuss its DEE portfol ...

图片来源： a16z Z Highlights 本文为 A16Z 发布的 AI 构建网页应用的相关报告，梳理了开发者们正在使用哪些产品来通过 AI 创建网站和 Web 应用程序？它们的主要用在什么领域，又 吸引了哪些类型的用户？ 在过去的几个月里，成千上万的开发者使用 Bolt 、 Lovable 和 v0 等工具创建了网站和 Web 应用程序。他们在 X 、 Reddit 和 YouTube 上分享的成果堪称 奇迹： 人们无需编码就能构建交互式、动态的产品，甚至还能创造收入。 图片来源： a16z 通过与机器人聊天就能创建功能性产品的能力，吸引了技术和非技术用户的关注，并推动了该领域初创公司的显著增长。 根据公开的指标， Bolt 的收入运 行率达到了 2000 万美元，而 Lovable 在开始商业化仅仅两个月后就增长到了 1000 万美元。 一个全新的、基于 LLM 的应用栈正在兴起。在网站生成解决方案出现之前，如果你问一个技术人员 " 你的技术栈是什么？ " ，他们的回答会是一系列库的 名称。 但这种新的应用创建形式 —— 通过文本引入一个新的抽象层。不经常编写代码的用户会使用一套基于像素的设计生成、 ...