阿里巴巴最近开源了一个320亿参数的大语言模型Qwen1.5-32B，网上都说很强很强，那么它到底强在哪里呢？ 更高的性价比 Qwen1.5-32B中的B是billion的意思，也就是10亿，32B就代表320亿参数量。 阿里之前还开源过一个大模型Qwen-1.5-72B，72B就代表72...[2024/4/10]

引言 OpenTenBase 企业级分布式HTAP开源数据库，具备高扩展性、商业数据库语法兼容、分布式HTAP引擎、多级容灾和多维度资源隔离等能力，成功应用在金融、医疗、航天等行业的核心业务系统。 这是我第一次参与开源项目，所以感到有些摸不着头脑。我看了一下源代码，发现它是用C语言开发的，...[2024/4/10]

PrimiHub一款由密码学专家团队打造的开源隐私计算平台，专注于分享数据安全、密码学、联邦学习、同态加密等隐私计算领域的技术和内容。 联邦学习中的差分隐私与同态加密 随着数据的爆炸式增长和对个人隐私保护意识的提高，隐私保护在机器学习领域中变得愈发重要。联邦学习作为一种分散式机器学习框架，...[2024/4/10]

构建一个优秀的Prompt 在使用Stable Diffusion AI时，构建一个有效的提示（Prompt）是至关重要的第一步。这个过程涉及到创造性的尝试和对AI行为的理解。这里我会对如何构建一个好的Prompt进行一个总结。 什么是一个好的提示词 构建有效的提示是使用Stable Diff...[2024/4/10]

一、背景 Kafka的位点提交一直是Consumer端非常重要的一部分，业务上我们经常遇到的消息丢失、消息重复也与其息息相关。位点提交说简单也简单，说复杂也确实复杂，没有人能用一段简短的话将其说清楚，最近团队生产环境便遇到一个小概率的报错 “Offset commit failed with...[2024/4/8]

1.综述 Hive的聚合函数衍生的窗口函数在我们进行数据处理和数据分析过程中起到了很大的作用 在Hive中，窗口函数允许你在结果集的行上进行计算，这些计算不会影响你查询的结果集的行数。 Hive提供的窗口和分析函数可以分为聚合函数类窗口函数，分组排序类窗口函数，偏移量计算类窗口函数。 本节...[2024/4/8]

我构建的预测模型 在过去的一段时间里我抓去了小宇宙内上万条播客节目的首日播放量的数据，并利用这些数据构建了一个用于预测播客节目播放量的模型。包含以下六个输入参数： 节目发布于一周中的哪一天 节目发布于一天中的哪个时段 节目所属播客的订阅数 节目所属播客的听众女性占比 节目所属播客的听众占比最高...[2024/4/3]

1. 前言 自从和员外上家公司离职后，我们就自己搞公司投入到了RAG大模型的AI产品应用的开发中，这中间有一个春节，前后的总时间大概是三个月左右，在这三个月期间，基本是昼夜兼程啊，到今天3月底结束，产品目前看是有了一个基础的雏形。 在这期间，员外负责整个产品的营销、商业客户的洽谈等方面的内容，...[2024/4/3]

完整代码及其数据，请移步小编的GitHub地址 　　传送门：请点击我 　　如果点击有误：https: github.com/LeBron-Jian/DeepLearningNote 　　这个网络应该是CNN的鼻祖，早就出来了，这篇笔记也早就写完了，但是一直是未发布状态，估计是忘了。虽然说现在...[2024/4/1]

通过部署llama2系列，可以构建本地私有的知识小助手 用来输出一写周报、月报，甚至辅助数据分析都可以（想想都很轻松） 想要大模型支持特定的数据集，就需要进行专业的fine-turing 但是fine-turing工作，是需要一系列的数据工程，向量化等工作，不太便捷 PromtEngin...[2024/4/1]

?论文提出新颖的混合网络用于解决长尾图片分类问题，该网络由用于图像特征学习的对比学习分支和用于分类器学习的交叉熵分支组成，在训练过程逐步将训练权重调整至分类器学习，达到更好的特征得出更好的分类器的思想。另外，为了节省内存消耗，论文提出原型有监督对比学习。从实验结果来看，论文提出的方法效果还是很...[2024/3/29]

今天和大家分享一下：大模型提示工程之Prompt框架和示例： TAG框架 任务（Task）: 开发一个新的手机应用，旨在帮助用户更好地管理他们的日常健康。 行动（Action）: 进行市场调研，设计用户友好的界面，开发核心健康跟踪功能，测试应用并收集用户反馈。 目标（Goal...[2024/3/29]

?论文通过实验证明，ImageNet上的模型并不总能泛化到其他数据集中，甚至可能是相反的，而模型的深度和宽度也会影响迁移的效果。 ?如果需要参考，可选择类别数与当前任务相似的数据集上的模型性能。论文通过大量的实验来验证猜想，虽然没有研究出如通过数据集间的某些特性来直接判断模型迁移效果这样的成...[2024/3/29]

本次分享一下如何将GPT-SoVITS接入SillyTavern-1.11.5项目，让让AI女友声若幽兰，首先明确一下，SillyTavern-1.11.5只是一个前端项目，它没有任何大模型文本生成能力，所以后端必须有一个api服务来流式生成对话文本，这里选择koboldcpp。 首先看一...[2024/3/27]

转载请注明住处：https: www.cnblogs.com/zhiyong-ITNote 概述 ShareGPT格式的数据集中，一般是如下格式： [ { "conversations": [ { "from": "human", ...[2024/3/25]

系统功能文档是一种描述软件系统功能和操作方式的文档。它让开发团队、测试人员、项目管理者、客户和最终用户对系统行为有清晰、全面的了解。 通过ChatGPT，我们能让编写系统功能文档的效率提升10倍以上。 用ChatGPT生成系统功能文档 我们以线上商城系统为例，介绍如何使用ChatGPT帮我们...[2024/3/25]

        大家好，今天和大家分享 AntSK 知识库/智能体项目的最新进展。         AntSK 是一个基于 .Net 8、Blazor 及...[2024/3/25]

去年（2023年）是大模型爆发元年。但是大模型具有两个缺点：缺失私有领域知识和幻觉。缺失私有领域知识是指大模型训练时并没有企业私有数据/知识，所以无法正确回答相关问题。并且在这种情况下，大模型会一本正经地胡说八道（即幻觉），给出错误的回答。 那么如何解决这两个缺点？目前主要有两种方法，微调和R...[2024/3/25]

上一章我们主要唠了RLHF训练相关的方案，这一章我们主要针对RLHF的样本构建阶段，引入机器标注来降低人工标注的成本。主要介绍两个方案：RLAIF,和IBM的SALMON。 RLAIF RLAIF: Scaling Reinforcement Learning from Human Feed...[2024/3/25]

部署一个自己的大模型，没事的时候玩两下，这可能是很多技术同学想做但又迟迟没下手的事情，没下手的原因很可能是成本太高，近万元的RTX3090显卡，想想都肉疼，又或者官方的部署说明过于简单，安装的时候总是遇到各种奇奇怪怪的问题，难以解决。本文就来分享下我的安装部署经验，包括本地和租用云服务器的方式...[2024/3/22]

去听了 hzxu 老师的 DRL 课，感觉终于听懂了，记录一下… 目录0 我们想做什么1 三个数学 trick2 对单个 transition 的 policy gradient3 对整个 trajectory 的 policy gradient4 REINFORCE 算法 相关链接：...[2024/3/22]

2021年时出现了 openAI 的 DALL，但是不开源。2022年一开年，DALL-E 2发布，依然不开源。同年7月，Google 公布其 Text-to-Image 模型 Imagen，并且几乎在同一时间段AI图像生成平台 Midjourney 也进行公测。同年8月，Stable Dif...[2024/3/22]

最近很多人都在讨论AI能否替代人类工作的话题，最近笔者正好遇到一个AI帮自己快速定位问题的实例，分享给大家，一起来切身感受下AI对于解决数据库问题的价值吧。 事情的经过是这样，有个朋友咨询我，说他最近遇到一个客户的数据库问题现象非常诡异。 就是有一套Oracle数据库实例不知何时变成了mou...[2024/3/19]

　　继去年上半年一鼓作气研究了几种不同的模版匹配算法后，这个方面的工作基本停滞了有七八个月没有去碰了，因为感觉已经遇到了瓶颈，无论是速度还是效率方面，以当时的理解感觉都到了顶了。年初，公司业务惨淡，也无心向佛，总要找点事情做一做，充实下自己，这里选择了前期一直想继续研究的基于离散夹角余弦相似度指...[2024/3/19]

近年来，深度学习技术的快速发展带动了大语言模型在自然语言处理领域的广泛应用。在这个激动人心的领域里，我们常常会遇到一些行业黑话和专业术语。为了帮助大家更好地入门，让我们深入探讨一些关键概念，以及它们在大型语言模型开发中的作用。掌握这些术语可以帮助我们更好地理解、开发和应用人工智能模型，提高我们在...[2024/3/18]

Supervision库是一款出色的Python计算机视觉低代码工具，其设计初衷在于为用户提供一个便捷且高效的接口，用以处理数据集以及直观地展示检测结果。Supervision库的官方开源仓库地址为：supervision，官方文档地址为：supervision-doc。 Supervisio...[2024/3/18]

艺术与科技的交汇点一直是令人着迷的领域，而人工智能绘画软件的出现正是这一交汇的典范。随着科技的发展，越来越多的人工智能绘画软件涌现出来，它们不仅令艺术创作变得更加便捷，也在某种程度上挑战了传统艺术的定义。在本文中，我们将探讨几款主流的人工智能绘画软件，以及它们对艺术创作和社会文化的影响。 1....[2024/3/15]

FastWiki 发布 v0.1.0 https: github.com/239573049/fast-wiki/release tag/v0.1.0 更新日志 兼容OpenAI接口格式 删除Blazor版本UI 删除useEffect, 解决可能存在问题的bug 修复对话可以看到所有对话 ...[2024/3/15]

上周我们发布了与AI应用开发相关的第1个开源小项目 —— DashScope SDK for .NET，今天我们再发布一个开源小项目 —— SemanticKernel.DashScope，今天这个项目才是主角，因为我们想基于 Semantic Kernel 开发大模型应用。 首先分享几个与 ...[2024/3/15]

一、前言 继2014年的R-CNN、2015年的Fast R-CNN后，2016年目标检测领域再次迎来Ro Girshick大佬的神作Faster R-CNN，一举解决了目标检测的实时性问题。相较于Fast R-CNN而言，Faster R-CNN主要改进措施包括： 区域建议网络（RPN）：...[2024/3/15]

实现自定义QGraphicsItem缩放和旋转时，遇到了这样一个问题：将item旋转一个角度，然后拖拽放大，再次进行旋转时图像会发生漂移。原本以为是放大后中心点位置没有改变，导致旋转时以原中心的旋转出现了偏移，但是重新设置旋转中心 setTransformOriginPoint(rect.cen...[2024/3/15]

近来，LLM 已深入人心，大有燎原之势。但在我们将其应用于千行百业之前，理解其在不同场景下的安全性和潜在风险显得尤为重要。为此，美国白宫发布了关于安全、可靠、可信的人工智能的行政命令; 欧盟人工智能法案也对高风险人工智能系统的设立了专门的强制性要求。在这样的大背景下，我们首先需要确立一个用于定量...[2024/3/13]

一、前言 　　通过上一篇文章，我们大概了解了卷积是什么，并且分析了为什么卷积能在图像识别上起到巨大的作用。接下来，废话不多话，我们自己尝试动手搭建一个简易的CNN网络。   二、准备工作 　　在开始的时候，我们首先概括一下卷积所需要进行的工作： 定义一个卷积核：卷积核是一个小...[2024/3/11]

最近Mac系统在运行大语言模型（LLMs）方面的性能已经得到了显著提升，尤其是随着苹果M系列芯片的不断迭代，本次我们在最新的MacOs系统Sonoma中本地部署无内容审查大语言量化模型Causallm。 这里推荐使用koboldcpp项目，它是由c++编写的kobold项目，而MacOS又...[2024/3/11]

在Chain of Thought出来后，出现过许多的优化方案例如Tree of thought, Graph of Thought, Algorithm of Thought等等，不过这些优化的出发点都更加"Machine Like",而非"Human Like", 哈哈不是说机器化不好，仅仅...[2024/3/11]

　　Kafka作为一款高性能、分布式的消息队列系统，在大数据领域被广泛应用。然而，在使用Kafka时，重复消费问题是一个常见的挑战，可能会对系统的数据一致性和业务逻辑造成影响。我知道Kafka这个名词时还是在2019年刚工作的时候，但那时候公司使用的消息队列体量很小，所以只用了activeMq,...[2024/3/11]

介绍FastWiki FastWiki是一个高性能、基于最新技术栈的知识库系统，旨在为大规模信息检索和智能搜索提供解决方案。它采用微软Semantic Kernel进行深度学习和自然语言处理，在后端使用MasaFramework，前端采用MasaBlazor框架，实现了一个高效、易用、可扩展的智...[2024/3/7]

近日，开发 ChatGPT 的 OpenAI 公司又放出王炸 Sora，一个可以根据文本生成视频的 AI 模型。 上图就是 OpenAI 公布的 Sora 生成的视频片段，可以毫不夸张地说 Sora 直接将视频生成技术推向了新的高度，这也标志着人工智能视频生成技术迈入了新的时代。此项技术，...[2024/3/7]

不用AI的程序员，失业潮真的快来临了。 一张订单履约的流程图，我花了10分钟才完成，而ChatGPT绘图过程只用了10秒钟，基本可以达到同样的水平，通过ChatGPT可以显著提高画流程图的效率。 订单履约流程是一系列精细协作的流程，从客户在销售平台下单开始，至商品交付用户手中结束。此过程跨越...[2024/3/7]

什么是状态？状态有什么作用？ 如果你来设计，对于一个流式服务，如何根据不断输入的数据计算呢？ 又如何做故障恢复呢？ 一、为什么要管理状态 流计算不像批计算，数据是持续流入的，而不是一个确定的数据集。在进行计算的时候，不可能把之前已经输入的数据全都保存下来，然后再和新数据合并计算。效率低下不说...[2024/3/7]

在这篇博客中，我们将向你介绍俄罗斯套娃嵌入的概念，并解释为什么它们很有用。我们将讨论这些模型在理论上是如何训练的，以及你如何使用 Sentence Transformers 来训练它们。 除此之外，我们还会告诉你怎么用这种像套娃一样的俄罗斯套娃嵌入模型，并且我们会比较一下这种模型和普通嵌入模型...[2024/3/7]

LLAMA介绍 LLaMA是由Facebook的母公司Meta AI设计的一个新的大型语言模型。LLaMA拥有70亿到650亿个参数的模型集合，是目前最全面的语言模型之一。 Llama是目前唯一一个可以进行本地部署和本地训练的大型模型，对各种提问有非常好的处理能力。非常适合个人和中小型企业，构...[2024/3/7]

三、设计 LCS-LENGTH的带备忘的版本，运行时间为O(mn)。需要写代码的时候，请用go语言。 文心一言，代码正常运行： LCS-LENGTH（Longest Common Subsequence Length）问题的带备忘的版本通常指的是使用动态规划（Dynamic Programmin...[2024/3/4]

万字长文学会对接 AI 模型：Semantic Kernel 和 Kernel Memory，工良出品，超简单的教程 目录万字长文学会对接 AI 模型：Semantic Kernel 和 Kernel Memory，工良出品，超简单的教程配置环境部署 one-api配置项目环境模型划分和应用场景...[2024/3/1]

目前流行的开源大语言模型大抵都会有内容审查机制，这并非是新鲜事，因为之前chat-gpt就曾经被“玩”坏过，如果没有内容审查，恶意用户可能通过精心设计的输入（prompt）来操纵LLM执行不当行为。内容审查可以帮助识别和过滤这些潜在的攻击，确保LLM按照既定的安全策略和道德标准运行。 但我...[2024/3/1]

大模型如火如荼的今天，不学点语言模型（LM）相关的技术实在是说不过去了。只不过由于过往项目用到LM较少，所以学习也主要停留在直面——动眼不动手的水平。Huggingface（HF）也是现在搞LM离不开的工具了。 出于项目需要，以及实践出真知的想法，在此记录一下第一次使用HF和微调ERNIE-g...[2024/3/1]

论文标题：Decision Transformer: Reinforcement Learning via Sequence Modeling，NeurIPS 2021，6 6 7 9 poster（怎么才 poster）。 pdf：https: arxiv.org/pdf/2106.013...[2024/2/28]

1.概述 AI数字人在营销和品牌推广中扮演着至关重要的角色，许多企业和个人正积极利用数字技术来打造属于自己的财富。有没有一种简单而免费的方式来创建自己的数字人呢？本篇博客笔者将为大家介绍如何搭建属于自己的AI数字人。 2.内容 2.1 什么是SadTalker？ 生成头部说话视频通过人脸图像和...[2024/2/26]

在zookeeper中，follower也可以接收客户端连接，处理客户端请求，本文将分析follower处理客户端请求的流程： 读请求处理 写请求转发与响应 follower接收转发客户端请求 网络层接收客户端数据包 leader、follower都会启动ServerCnxnFactory...[2024/2/26]

得益于IT产业近几年的繁荣，老杨所在公司的业务也出奇的兴隆，每天干不完的工作背后，也意味着健康的消耗和体重的不断增加。 曾记否，刚毕业的老杨体重刚刚堪堪破百，同事们经常调侃他说是一阵风就能吹走，经过了十年的拼搏，他的体重终于达到了130斤。而自从来到这家公司之后，短短两年时间，他的体重暴涨了2...[2024/2/23]