缓存

Search documents
基于PCIe XDMA 的高速数据传输系统
傅里叶的猫· 2025-07-05 11:41
前端时间大概介绍了下喆思的CXP HOST/DEVICE IP 高帧率高分辨率相机的FPGA视频传输方案该如何设计? 既然讲到CXP ,就不能不提PCIe,市面上常见的CXP 采集卡是基于PCIe接口的,为了满足CXP 电口 12.5G 4lane/8lane 或者基于光口的40G/100G 的数据传输带宽,必须上PCIe Gen3x8/16,以便把视频数 据快速传到上位机。 以下是CXP 采集卡的大概框图: image-20250705193210136 如何设计一个CXP HOSTàDDR4àXDMAàPC 的传输系统来满足以下需求: 基于此类的需求,我们在CXP host 输出到DDR4缓存之间加入一个DMA 写模块 (Multi_ch_dma_wr),该模块用来控制多通道分块缓存,这里的多通道指的是XDMA 的1-4通道。 具体的分块缓存如下图示意: image-20250705193323149 在写速率快的情况下,写指针追着读指针,读完一个块,前端fifo里面的数据会写到这个块 写读速率快的情况下(正常也是这种方式),读指针追着写指针,写完一个块,通道0或者通道1 立刻读取。 换成测试数据,可测试 ...
3个中国程序员 vs 3个美国程序员,不得不承认,差距太大了!
猿大侠· 2025-06-27 14:57
Core Insights - The article reflects on the missed opportunity of creating a photo-sharing platform similar to Instagram, highlighting the importance of execution and timing in the tech industry [1][4][47]. Technical Architecture - Instagram's initial architecture was designed to be simple, avoiding reinventing the wheel and utilizing reliable technologies [9][7]. - The application was built on Amazon EC2 and Ubuntu Linux, with a focus on scalability and performance [6][7]. User Session Management - User sessions begin when the Instagram app is opened, sending requests to a load balancer that distributes traffic to application servers [10][14]. - Initially, Instagram used two Nginx servers for load balancing, later upgrading to Amazon's Elastic Load Balancer for better reliability [15]. Data Storage and Management - Instagram utilized PostgreSQL for storing user and photo metadata, implementing sharding to manage the large volume of data generated by user activity [21][23]. - The photo storage solution involved Amazon S3 and CloudFront, enabling efficient distribution of images globally [28]. Caching and Performance Optimization - Redis was initially used for mapping photo IDs to user IDs, with optimizations reducing memory usage significantly [30]. - Memcached was employed for session caching, ensuring quick access to frequently used data [31]. Monitoring and Error Handling - Instagram implemented Sentry for real-time error monitoring and used Munin for tracking system metrics, allowing for proactive issue resolution [39][40]. - External service monitoring was managed through Pingdom, with PagerDuty handling event notifications [41]. Reflection on Market Timing - The article emphasizes that the founders' lack of experience with modern technologies and cloud services at the time hindered their ability to capitalize on the emerging market [43][46]. - It concludes that many opportunities may be missed due to a lack of insider knowledge and market readiness [49].
10% KV Cache实现无损数学推理!这个开源方法解决推理大模型「记忆过载」难题
量子位· 2025-06-16 04:50
R-KV团队 投稿 量子位 | 公众号 QbitAI 推理大模型虽好,但一个简单的算数问题能推理整整三页,还都是重复的"废话",找不到重点…… 链式思考(Chain-of-Thought,CoT)让LLM解题思路清晰可见,却也让推理长度指数级膨胀。 以DeepSeek-R1-Llama-8B为例,一道AIME数学题就能写出 3.2万 个Token:模型权重15.5GB,KV缓存再吃 4.1GB ——显存瞬间见底。 现有KV压缩方法(SnapKV、StreamingLLM、H2O等)主要针对 长输入 设计,可一旦模型在输出端开始"碎碎念",相似句子之间互相打高 分注意力,反而让"按注意力删低分"策略失灵: 造成关键步骤被误删、重复内容却被保留、准确率断崖式下跌等问题。 而R-KV通过以下步骤,在模型解码时实时压缩KV缓存来处理冗余的键/值(KV)标记,仅保留重要且非冗余的标记: 让"长时间推理"不再是奢侈品。 项目详情可见文末链接。 R-KV三步走:冗余识别+重要性评估+动态淘汰 一种可以把大模型的"碎碎念"转化为可控记忆条目的高效压缩方法,出现了! R-KV开源登场: 显存↓90%、吞吐×6.6、准确率=10 ...
10% KV Cache实现无损数学推理!这个开源方法解决推理大模型「记忆过载」难题
量子位· 2025-06-16 04:49
R-KV团队 投稿 量子位 | 公众号 QbitAI 推理大模型虽好,但一个简单的算数问题能推理整整三页,还都是重复的"废话",找不到重点…… 一种可以把大模型的"碎碎念"转化为可控记忆条目的高效压缩方法,出现了! R-KV开源登场: 显存↓90%、吞吐×6.6、准确率=100% 。 它可以通过实时对token进行排序,兼顾重要性和非冗余性,仅保留信息丰富且多样化的token,从而解决大模型推理时的冗余问题。 让"长时间推理"不再是奢侈品。 项目详情可见文末链接。 R-KV三步走:冗余识别+重要性评估+动态淘汰 链式思考(Chain-of-Thought,CoT)让LLM解题思路清晰可见,却也让推理长度指数级膨胀。 以DeepSeek-R1-Llama-8B为例,一道AIME数学题就能写出 3.2万 个Token:模型权重15.5GB,KV缓存再吃 4.1GB ——显存瞬间见底。 可视化:R-KV vs. SnapKV 现有KV压缩方法(SnapKV、StreamingLLM、H2O等)主要针对 长输入 设计,可一旦模型在输出端开始"碎碎念",相似句子之间互相打高 分注意力,反而让"按注意力删低分"策略失灵: ...
【七彩虹教育】架构介绍
Sou Hu Cai Jing· 2025-06-03 19:05
后端项目是基于 SpringCloud+SpringBoot 搭建的微服务框架架构 前端在微信小程序商城上 核心支撑组件 服务网关 Zuul 服务注册发现 Eureka+Ribbon 服务框架 Spring MVC/Boot 2、关于秒杀的场景特点分析 秒杀系统的场景特点 秒杀时大量用户会在同一时间同时进行抢购,网站瞬时访问流量激增; 服务容错 Hystrix 分布式锁 Redis 服务调用 Feign 消息队列 Kafka 文件服务 私有云盘 富文本组件 UEditor 定时任务 xxl-job 配置中心 apollo 秒杀一般是访问请求量远远大于库存数量,只有少部分用户能够秒杀成功; 秒杀业务流程比较简单,一般就是下订单操作; 秒杀架构设计理念 限流:鉴于只有少部分用户能够秒杀成功,所以要限制大部分流量,只允许少部分流量进入服务后端(暂未处理); 削峰:对于秒杀系统瞬时的大量用户涌入,所以在抢购开始会有很高的瞬时峰值。实现削峰的常用方法有利用缓存或者消息中间件等技术; 异步处理:对于高并发系统,采用异步处理模式可以极大地提高系统并发量,异步处理就是削峰的一种实现方式; 内存缓存:秒杀系统最大的瓶颈最终都可 ...
5499的iPhone 16 Pro确实划算,但我劝你别冲动
虎嗅APP· 2025-05-17 10:33
以下文章来源于蓝字计划 ,作者Hayward 蓝字计划 . 记录智能时代的每一次浪潮!前沿科技捕手,AI产品深度洞察。重点关注人工智能、机器人、新能源 车与硬科技。 本文来自微信公众号: 蓝字计划 ,作者:Hayward,题图来自:AI生成 虽然没法盼来提早发工资,但我依然要恭喜你,盼来了再次提前的618。 不过比起 618 提前这件事本身,大家更感兴趣的还是 iPhone 16 Pro 128GB 迎来大降价,叠加国补 之后,某平台的售价低至5499 元;比起 7999 元的官方定价低了足足 2500 元,价格已经和 iPhone 16 坐一桌了。 5 字开头的 iPhone 16 Pro,试问谁看了不迷糊。 不得不说,库克这波清库存的操作确实高明。神价一出,128GB 的缺点仿佛已经不再重要了,全配 色卖断货。截图的时间是 5 月 14 日,下单的预定发货时间已经推迟到了 7 天后的 5 月 21 日了。 能低价买到 iPhone16 Pro 的朋友我当然替你开心。但还有更多的朋友面对这"好价"犹犹豫豫的,毕 竟在这个时代, 128GB 真的够用吗 ? 我能理解这些朋友的担心。毕竟随着第一批入手的人陆续到 ...
5499的 iPhone 16 Pro 确实划算,但我劝你别冲动
3 6 Ke· 2025-05-16 09:12
虽然没法盼来提早发工资,但我依然要恭喜你,盼来了再次提前的618. 不得不说,库克这波清库存的操作确实高明。神价一出,128GB 的缺点仿佛已经不再重要了,全配色卖断货。截图的时间是 5 月 14 日,下单的预定发货 时间已经推迟到了 7 天后的 5 月 21 日了。 能低价买到 iPhone16 Pro 的朋友我当然替你开心。但还有更多的朋友面对这"好价"犹犹豫豫的,毕竟在这个时代,128GB 真的够用吗? 我能理解这些朋友的担心。毕竟随着第一批入手的人陆续到货,小红书、贴吧等社区吐槽 128GB "比预想还不够用"的声音多了起来。 大家觉得苹果手机好用,最大的基本盘是系统流畅不卡顿;而现在这个 128GB 的小容量版本,除了 "容量不够用"外,更麻烦的还在后面。 iPhone 也卡了 最糟心的问题显然是,小容量的 iPhone「更容易卡顿」了。 不过比起 618 提前这件事本身,大家更感兴趣的还是 iPhone 16 Pro 128GB 迎来大降价,叠加国补之后,某东平台的售价低至5499 元;比起 7999 元的官 方定价低了足足 2500 元,价格已经和 iPhone 16 坐一桌了。 5 字开头的 ...
苹果彻底改变了这颗芯片
半导体行业观察· 2025-04-24 00:55
如果您希望可以时常见面,欢迎标星收藏哦~ 来源:内容 编译自 appleinsider ,谢谢。 自蒂姆·库克发布Apple Silicon芯片以来,即将迎来五周年纪念日。其实,关于它的传闻也已持续 了十多年。以下是整个故事的起源、发布过程以及未来的展望。 在多年应对英特尔芯片限制之后,苹果在 2020 年WWDC期间宣布转向 Apple Silicon。放弃常用 架构的努力将使苹果从同年晚些时候开始转向为其Mac和 MacBook 产品线设计新的内部芯片系 列。 从英特尔到 Apple Silicon 的两年过渡开启了公司乃至整个行业的重大变革。除了宣称高效设计和 高性能之外,这款芯片的发布也符合预期。Apple Silicon 还将其iPhone芯片中最具前瞻性的功能 引入了桌面平台。在其 M 系列芯片中添加神经引擎是一项突破性举措,并迫使其他计算行业考虑 在处理器选择上采取类似的举措。 该芯片从根本上遵循了内置 GPU 处理器的基本理念,这在处理领域过去和现在都是一种相当传统 的概念。神经引擎无疑提升了机器学习任务的性能,但另一个与常规做法不同的变化也起到了一定 作用。 苹果决定使用统一内存,而不是为 ...
如何选CPU?一份指南!
半导体行业观察· 2025-04-07 01:04
当您比较两款最佳 CPU时,首先想到的规格是时钟速度。它实际上代表了 CPU 处理时钟周期的速 度,自然而然地,您会认为更高的时钟速度意味着更高的性能。然而,如今时钟速度并不能说明什 么。它仍然可以代表两个 CPU 之间的性能差异,但在为您的设备选择处理器时,您还应该记住其他 几个注意事项。 时钟速度说明了你的 CPU 首先,定义一下。CPU 的时钟速度定义了它每秒可以完成多少个周期。它只是一个频率,与音频频 率没有什么不同,这一点很重要。时钟速度并不说明 CPU 一秒钟可以执行的指令数量。它只涉及一 秒钟可以完成的时钟周期数。 更重要的数字是每时钟指令数 (IPC)。较新的架构可以支持每时钟周期更多指令,或者更高效地执行 指令。一个很好的例子是 Zen 5 CPU 中的分支预测器,例如Ryzen 9 9950X,这是一个双提前分支 预测器,可以通过预取数据来加快执行速度。 但底线是:时钟速度是指一秒钟内完成的周期数,而不是完成的指令数。 如果您希望可以时常见面,欢迎标星收藏哦~ 来源:内容编译自xda-developers,谢谢。 因此,比较不同品牌或不同代 CPU 的时钟速度并不能说明什么。通常,您可以预 ...