标题党一下，顺便蹭一下 OpenAI Sora大模型的热点，主要也是回顾一下扩散模型的原理。 1. 简单理解扩散模型 简单理解，扩散模型如下图所示可以分成两部分，一个是 forward，另一个是 reverse 过程： forward：这是加噪声的过程，表示为\(q(X_{0:T})...[2024/2/23]

Homework3 数据集下载 在本地环境下进行实验总是令人安心，但是又苦于网上找不到数据集，虽然kaggle上有数据集但是下载存在问题 于是有了一个天才的想法，间接从kaggle上下载（利用output文件夹中的文件是可下载这一机制将数据集从input文件夹拷贝到output文件夹），具...[2024/2/23]

概要 开源大型语言模型 (LLMs) 现已达到一种性能水平，使它们适合作为推动智能体工作流的推理引擎: Mixtral 甚至在我们的基准测试中 超过了 GPT-3.5，并且通过微调，其性能可以轻易的得到进一步增强。 引言 针对 因果语言建模 训练的大型语言模型 (LLMs) 可以处理广泛的任务...[2024/2/23]

引言 近年来，随着深度学习技术的不断发展，自然语言处理（NLP）领域取得了长足的进步。ChatGPT（Generative Pre-trained Transformer）作为一种先进的语言生成模型，在各类对话系统和智能助手中得到了广泛应用。 然而，尽管这些模型在生成文本方面表现出色，但如何保...[2024/2/21]

代码 原文地址 摘要 文档级关系抽取（DocRE）旨在从文档中抽取出所有实体对的关系。DocRE 面临的一个主要难题是实体对关系之间的复杂依赖性。与大部分隐式地学习强大表示的现有方法不同，最新的 LogiRE 通过学习逻辑规则来显式地建模这种依赖性。但是，LogiRE 需要在训练好骨干网...[2024/2/19]

回顾 2019年初，在.NET中文社区及包括苏州、广州、深圳等地区社区等大力推动、在众多企业的大力支持下，长沙地区的开发者们发起成立了长沙.NET技术社区，并组织了《2019年长沙开发者技术大会》，当时参会人数超过200多人，会上宣讲的约6个话题，也一度成为长沙地区比较热门的技术话题，在社区激起...[2024/2/18]

春节之前被 Semantic Kernel 所吸引，开始了解它，学习它。 在写这篇博文之前读了一些英文博文，顺便在这里分享一下： Intro to Semantic Kernel – Part One Intro to Semantic Kernel – Part Two Build a c...[2024/2/18]

今年.NET Conf China 2023技术大会，我给大家分享了 .NET应用国际化-AIGC智能翻译+代码生成的议题 .NET Conf China 2023分享-.NET应用国际化-AIGC智能翻译+代码生成 今天将详细的代码实现和大家分享一下。 一、前提准备 1. 新建一个Co...[2024/2/18]

在后面学习 Flink 相关知识时，会深入源码探究其实现机制。因此，需要现在本地配置好源码阅读环境。 本文搭建环境： Mac M1（Apple Silicon） Java 8 IDEA Flink 官方源码 一、 下载 Flink 源码 github 地址：https: github.c...[2024/2/7]

这个系列目的是揭开嵌入的神秘面纱，并展示如何在你的项目中使用它们。第一篇博客 介绍了如何使用和扩展开源嵌入模型，选择现有的模型，当前的评价方法，以及生态系统的发展状态。第二篇博客将会更一步深入嵌入并解释双向编码和交叉编码的区别。进一步我们将了解 检索和重排序 的理论。我们会构建一个工具，它可以来...[2024/2/7]

POS软件是什么？你好意思吗，还在用老掉牙的Winform。       门店被淘汰的POS机 销售终端——POS（point of sale）是一种多功能终端，把它安装在信用卡的特约商户和受理网点中与计算机联成网络，就能实现电子资金自动转账，它...[2024/2/5]

如何训练一个 Softmax 分类器 回忆一下之前举的的例子，输出层计算出的\(z^{[l]}\)如下，\(z^{[l]} = \begin{bmatrix} 5 \\ 2 \\ - 1 \\ 3 \\ \end{bmatrix}\)有四个分类\(C=4\)，\(z^{[l]}\)可以是4...[2024/2/5]

人工智能中最引人入胜的话题莫过于深度强化学习 (Deep Reinforcement Learning) 了，我们在 2022 年 12 月 5 日开启了《深度强化学习课程 v2.0》的课程学习，有来自全球众多学员们的参加。课程已经完成更新，并且发布在 Hugging Face 官网 https...[2024/1/29]

当视频检索叠上大模型Buff。 万乐乐｜技术作者 视频检索，俗称“找片儿”，即通过输入一段文本，找出最符合该文本描述的视频。 随着视频社会化趋势以及各类视频平台的快速兴起与发展，「视频检索」越来越成为用户和视频平台实现高效查找视频、定位目标内容的新需求。 对于个人用户而言，面对海量的在线视...[2024/1/26]

本文是基于 LLama 2是由Meta 开源的大语言模型，通过LocalAI 来集成LLama2 来演示Semantic kernel（简称SK） 和 本地大模型的集成示例。SK 可以支持各种大模型，在官方示例中多是OpenAI 和 Azure OpenAI service 的GPT 3.5+。今...[2024/1/26]

超参数调试的实践 如今的深度学习已经应用到许多不同的领域，某个应用领域的超参数设定，有可能通用于另一领域，不同的应用领域出现相互交融。比如，曾经看到过计算机视觉领域中涌现的巧妙方法，比如说Confonets或ResNets。它还成功应用于语音识别，还看到过最初起源于语音识别的想法成功应用于N...[2024/1/26]

调试处理 关于训练深度最难的事情之一是要处理的参数的数量，从学习速率\(a\)到Momentum（动量梯度下降法）的参数\(\beta\)。如果使用Momentum或Adam优化算法的参数，\(\beta_{1}\)，\({\beta}_{2}\)和\(\varepsilon\)，也许还得选...[2024/1/24]

背景 在过去的一年，ChatGPT的崛起彻底改变了我们与AI的交互方式。它不再是被动的信息提供者，而是成为了一个可以与我们自由交流、分享知识的伙伴。无论是生活中的琐事，还是工作中的难题，ChatGPT都能给出有价值的建议和信息。 同时，ChatGPT也在各个领域引发了深远的变革。在教育领域，C...[2024/1/24]

标签：Zookeeper3.8 ，Curator5.5； 一、简介 ZooKeeper是一个集中的服务，用于维护配置信息、命名、提供分布式同步、提供组服务。分布式应用程序以某种形式使用所有这些类型的服务。 二、环境搭建 1、修改配置文件 # 1、拷贝一份样本配置文件 cp zookee...[2024/1/24]

原文地址：https: cwiki.apache.org/confluence/display/KAFKA/KIP-382%3A+MirrorMaker+2.0#KIP382:MirrorMaker2.0-Walkthrough:RunningMirrorMaker2.0 译者：对于Ka...[2024/1/24]

七、用go语言，假设用 RB-INSERT 将一个结点 x 插入一棵红黑树，紧接着又用 RB-DELETE 将它从树中删除。结果的红黑树与初始的红黑树是否一样？证明你的答案。 文心一言： 首先，我们需要明确RB-INSERT和RB-DELETE的基本操作。 RB-INSERT的基本步骤如下： ...[2024/1/22]

本文将讲述如何在本地部署大模型服务，并使用Embeeding、向量数据库和LangChain构建本地知识库 本地部署LLM 通常使用LangChain会去调用OpenAI的服务，但是我们在使用OpenAI服务时，但经常会遇到很多阻力，比如付费、网络不稳定等。因此我们可以在下载一个较小的大模型到...[2024/1/22]

ZooKeeperServer 实现了单机版zookeeper服务端功能，子类实现了更加丰富的分布式集群功能： ZooKeeperServer |-- QuorumZooKeeperServer |-- LeaderZooKeeperServer |-- LearnerZo...[2024/1/22]

1. 背景 本qiang~这段时间调研了LLM上下文扩展的问题，并且实打实的运行了几个开源的项目，所谓实践与理论相结合嘛！ 此文是本qiang~针对上下文扩展问题的总结，包括解决方案的整理概括，文中参考了多篇有意义的文章，他山之石可以攻玉。 大语言模型的扩展有诸多意义，如进行更长的会话、总结...[2024/1/22]

Transformer 写在前面 本学期学习了NLP的课程，本小菜鸡结合做的课设（基于Transformer的英文文档摘要系统的设计与实现），来写一下有关于Transformer的相关内容吧，有问题之处还请各位大佬批评指正 系统的背景 抽象文本摘要是自然语言处理中最具挑战性的任务之一，涉及理解...[2024/1/22]

Adam 优化算法 在深度学习的历史上，包括许多知名研究者在内，提出了优化算法，并很好地解决了一些问题，但随后这些优化算法被指出并不能一般化，并不适用于多种神经网络，时间久了，深度学习圈子里的人开始多少有些质疑全新的优化算法，很多人都觉得动量（Momentum）梯度下降法很好用，很难再想出更好的...[2024/1/19]

2023 是 AI 大爆发的一年，这一年我在我的生产力工具中（一个叫 lowcode 的 vscode 插件）接入了 ChatGPT API，插件也进行了重构，日常搬砖也因为 ChatGPT 的引入发生了很大的变化。 在介绍 ChatGPT 是如何与 lowcode 插件结合之前，先说说 lo...[2024/1/19]

SetFitABSA 是一种可以有效从文本中检测方面级情感的技术。 方面级情感分析 (Aspect-Based Sentiment Analysis，ABSA) 是一种检测文本中特定方面的情感的任务。例如，在“这款手机的屏幕很棒，但电池太小”一句中，分别有“屏幕”和“电池”两个方面，它们的...[2024/1/19]

前言 近年来，人工智能（AI）和低代码开发技术逐渐成为数字化转型的重要推动力。AI作为一项具有革命性潜力的技术，正在改变我们生活的方方面面。而低代码开发则提供了一种快速构建应用程序的方法，使得开发者无需深入编写大量繁琐的代码。这两种技术的结合，正为企业、开发者和用户带来前所未有的无限可能，下面...[2024/1/10]

四、用go语言，Teach 教授担心 RB-INSERT-FIXUP可能将 T.nil.color 设为 RED，这时，当 z 为根时第1行的测试就不会让循环终止。通过讨论 RB-INSERT-FIXUP永远不会将 T.nil.color 设置为 RED，来说明这位教授的担心是没有必要的。 文心一...[2024/1/10]

机器学习作为人工智能的一种最重要的实现方式，其历史可以追溯到20世纪50年代。 只不过，早期受制于计算机的算力，基本没有什么能够落地的实际应用，更多的是各类算法的研究和发展。 之后，随着硬件的飞速发展，终于迎来了人工智能的春天，各种机器学习的算法在我们的日常生活中得到了广泛应用（很多情况甚至我...[2024/1/10]

贝叶斯分类是一种统计学分类方法，基于贝叶斯定理，对给定的数据集进行分类。 它的历史可以追溯到18世纪，当时英国统计学家托马斯·贝叶斯发展了贝叶斯定理，这个定理为统计决策提供了理论基础。 不过，贝叶斯分类在实际应用中的广泛使用是在20世纪80年代，当时计算机技术的进步使得大规模数据处理成为可能。...[2024/1/8]

大家好，我是老章 最近在折腾之前搞的R-bookdown网站、Jekyll博客，还有刚上了Astro做的周刊、Astro Starlight做的文档站 R2ML：https: r2ml.zhanglearning.com/ 博客：https: blog.zhanglearning.com/ ...[2024/1/8]

原创/朱季谦 最近在阅读Kafka的源码，想可以在阅读过程当中，在代码写一些注释，便决定将源码部署到本地运行。 日常开发过程中，用得比较多一个版本是Kafka2.7版本，故而在MacBook Pro笔记本上用这个版本的源码进行搭建，进行Kafka源码的阅读学习。在搭建的过程当中，遇到不少...[2024/1/8]

虽然f-VAEGAN-D2在题目中说“适用任意样本”，但对比的Few-shot相关的实验较少，这里仅讨论零样本学习的情况。 1. 背景介绍 由于为每个对象收集足够数量的高质量带标签样本难以实现，使用有限的标签进行训练学习一直是一个重要的研究方向。零样本学习（Zero-Shot Learni...[2024/1/8]

        在人工智能的海洋里，大型语言模型（LLM AI）是高速发展的一艘巨轮，而有效地与其沟通和指导其行为的锚，正是提示语（prompts）。提示语是我们提供给模型的输入或查询，以期获取特定的响应。当今，提示语工程（prompt engineeri...[2024/1/8]

相关概念 sa Sa 是一种预处理器脚本语言，可以解释或编译成层叠样式表（CSS）。 Sa 包含两种语法：较旧的语法使用缩进将代码块和换行符分隔为单独的规则；较新的语法SCSS使用像CSS这样的块格式。它使用大括号来表示代码块和分号来分隔块中的行。 缩进语法和SCSS文件传统上分别给出扩展...[2024/1/5]

太长不看版: Hub 上有不少数据集没有语言元数据，我们用机器学习来检测其语言，并使用 librarian-bots 自动向这些数据集提 PR 以添加其语言元数据。 Hugging Face Hub 已成为社区共享机器学习模型、数据集以及应用的存储库。随着 Hub 上的数据集越来越多，元数据，...[2024/1/5]

一、背景 周所周知，Kafka是一个非常成熟的消息产品，开源社区也已经经历了多年的不断迭代，特性列表更是能装下好几马车，比如：幂等消息、事务支持、多副本高可用、ACL、Auto Rebalance、HW、Leader Epoch、Time Index、Producer Snapshot、Str...[2024/1/3]

代码   原文地址   文档级关系抽取（DocRE）的目的是从文档中提取实体之间的关系，这对于知识图谱构建等应用非常重要。然而，现有的方法通常需要预先识别出文档中的实体及其提及，这与实际应用场景不一致。为了解决这个问题，本文提出了一种新颖的表格到图生成模型（TAG），它能够...[2024/1/3]

微软真是活菩萨，面向初学者的机器学习、数据科学、AI、LLM课程统统免费 大家好，我是老章 推荐几个质量上乘且完全免费的微软开源课程 面向初学者的机器学习课程 地址：https: microsoft.github.io/ML-For-Beginner #/ 学习经典机器学习，主要使用...[2024/1/3]

决策树算法是一种既可以用于分类，也可以用于回归的算法。 决策树回归是通过对输入特征的不断划分来建立一棵决策树，每一步划分都基于当前数据集的最优划分特征。 它的目标是最小化总体误差或最大化预测精度，其构建通常采用自上而下的贪心搜索方式，通过比较不同划分标准来选择最优划分。 决策树回归广泛应用于...[2024/1/2]

一、本次测试目的 　　基于QT环境下STM32人体红外检测，实现客户端红外采集到信息向服务端通信。 二、功能 　　(1)、传入音乐，当服务端接收到信息时，打开音乐 　   (2)、在服务端上面显示图片，当接收到打开或者关闭信息时，切换图片 三、代码展示 &nbs...[2023/12/29]

本文已收录至我的Github仓库https: github.com/CNFeffery/DataScienceStudyNotes 1 简介 　　大家好我是费老师，地图可视化神器kepler.gl终于带来了其3.0大版本的更新??，距离其上一个正式版本2.5.5的发布已经过去了两年多的时间...[2023/12/29]

在音视频领域，把已经发布的混音歌曲或者音频文件逆向分离一直是世界性的课题。音波混合的物理特性导致在没有原始工程文件的情况下，将其还原和分离是一件很有难度的事情。 言及背景音人声分离技术，就不能不提Spleeter，它是一种用于音频源分离（音乐分离）的开源深度学习算法，由Deezer研究团队...[2023/12/29]

NAVER 是一家多元化的互联网公司，拥有韩国最大的搜索引擎并在人工智能、自动驾驶等高科技领域积极投入。 在搭建 AI 平台时，NAVER 评估了公有云平台的存储产品、Alluxio 以及高性能专用存储产品等多种选项后，最终决定采用 JuiceFS。通过使用JuiceFS，NAVER 成功地...[2023/12/27]

本文全面探讨了人脸识别技术的发展历程、关键方法及其应用任务目标，深入分析了从几何特征到深度学习的技术演进。 关注TechLead，分享AI全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理经验，同济本复旦硕，复旦机器人智能实验室成员，阿里云认证的资深架构师，项目管理专...[2023/12/27]

对于深度学习初学者来说，JupyterNoteBook的脚本运行形式显然更加友好，依托Python语言的跨平台特性，JupyterNoteBook既可以在本地线下环境运行，也可以在线上服务器上运行。GoogleColab作为免费GPU算力平台的执牛耳者，更是让JupyterNoteBook的...[2023/12/27]

其他正则化方法 除了\(L2\)正则化和随机失活（dropout）正则化，还有几种方法可以减少神经网络中的过拟合: 一.数据扩增 假设正在拟合猫咪图片分类器，如果想通过扩增训练数据来解决过拟合，但扩增数据代价高，而且有时候无法扩增数据，但可以通过添加这类图片来增加训练集。例如，水平翻转图...[2023/12/27]

理解 dropout Dropout可以随机删除网络中的神经单元，为什么可以通过正则化发挥如此大的作用呢？ 直观上理解：不要依赖于任何一个特征，因为该单元的输入可能随时被清除，因此该单元通过这种方式传播下去，并为单元的四个输入增加一点权重，通过传播所有权重，dropout将产生收缩权重的平方范...[2023/12/26]