背景 大家好，我是努力的小雨。今天我想分享一下搭建待办助手的经历。起初，我并没有什么特别的创意点子。但在4月16日的百度Create大会上，我看到了小度的大模型加持使得其变得更加智能。我被一场示例所震撼，小度竟然演示了如何安排日程，这不就是一个完美的待办助手吗？我一度认为待办应用是独立开发者的入...[2024/5/6]

技术背景 在前面的几篇博客中，我们分别介绍过Histogram算法的使用、Plumed安装与简单使用。Plumed一般就是两种用法：要么在运行分子动力学模拟的过程中实时的对接，要么就是把分子模拟的相关轨迹保存下来，然后再使用Plumed进行后分析，本文介绍的是后面这种使用方法。 轨迹准备 做后...[2024/5/6]

你是不是苦于没法使用ChatGPT？或者访问了ChatGPT却没法使用GPT4？现在一切问题都可以解决了！ 4月18日，Meta发布两款开源Llama 3 8B与Llama 3 70B模型，供外部开发者免费使用。这个消息轰动了全球开发者。按照Meta的说法，Llama 3 8B和Llama 3...[2024/4/29]

简介 在人工智能技术飞速发展的今天，我们经常面临一个挑战：如何快速、简便地部署和使用AI技术？AntSK项目，一个开源的AI知识库和智能体，就是为了解决这一问题而诞生的。现在，我们自豪地宣布，AntSK已经实现了无需复杂部署的一键启动功能，让每个人都能轻松拥抱AI的便利。 为什么选择AntSK？...[2024/4/29]

1. 背景 本qiang~这两天接了一个任务，部署几个开源的模型，并且将本地经过全量微调的模型与开源模型做一个效果对比。 部署的开源模型包括：星火13B，Baichuan2-13B, ChatGLM6B等 其他两个模型基于transformers架构封装，因此推理服务启动还是十分丝滑，但星火...[2024/4/29]

本文分享自华为云社区《MindSpore强化学习：使用PPO配合环境HalfCheetah-v2进行训练》，作者： irrational。 半猎豹（Half Cheetah）是一个基于MuJoCo的强化学习环境，由P. Wawrzyński在“A Cat-Like Robot Real-Tim...[2024/4/29]

\(CF1535F\ \ String\ Distance\) 题意 给 \(n\) 个长度均为 \(len\) 的字符串 \(T_1,T_2,\dots T_n\)，定义 \(f(a,b)\) 为将 \(a,b\) 排序后相等的最小排序次数，若无解则为 \(1337\)(这好像是个黑客用语)。...[2024/4/23]

介绍 Meta 公司的 Llama 3 是开放获取的 Llama 系列的最新版本，现已在 Hugging Face 平台发布。看到 Meta 持续致力于开放 AI 领域的发展令人振奋，我们也非常高兴地全力支持此次发布，并实现了与 Hugging Face 生态系统的深度集成。 Llama 3 ...[2024/4/23]

Based on Deep Learning (2017, MIT) book. 本文基于Deep Learning (2017, MIT)，推导过程补全了所涉及的知识及书中推导过程中跳跃和省略的部分。 blog 1 概述 现代数据集，如网络索引、高分辨率图像、气象学、实验测量等，通...[2024/4/23]

论文设计了新的CNN-ViT混合神经网络FasterViT，重点关注计算机视觉应用的图像吞吐能力。FasterViT结合CNN的局部特征学习的特性和ViT的全局建模特性，引入分层注意力（HAT）方法在降低计算成本的同时增加窗口间的交互。在包括分类、对象检测和分割各种CV任务上，FasterVi...[2024/4/23]

前几天Meta开源发布了新的Llama大语言模型：Llama-3系列，本次一共发布了两个版本：Llama-3-8B和Llama-3-70B，根据Meta发布的测评报告，Llama-3-8B的性能吊打之前的Llama-2-70B，也就是说80亿参数的模型干掉了700亿参数的模型，这个还真挺让人震...[2024/4/23]

Stable Diffusion中的常用术语解析 对于很多初学者来说，会对Stable Diffusion中的很多术语感到困惑，当然你不是唯一的那个。 在这篇文章中，我将会讲解几乎所有你在Stable Diffusion中需要了解的关键术语。搞懂了这些术语，使用stable diffusion...[2024/4/23]

轻松复现一张AI图片 现在有一个非常漂亮的AI图片，你是不是想知道他是怎么生成的？ 今天我会交给大家三种方法，学会了，什么图都可以手到擒来了。 需要的软件 在本教程中，我们将使用AUTOMATIC1111 stable diffusion WebUI。这是一款流行且免费的软件。您可以在Win...[2024/4/23]

1、ollama到底是个什么玩意 一句话来说， Ollama 是一个基于 Go 语言开发的简单易用的本地大模型运行框架。可以将其类比为 docker（有类似docker中的一些常规命令list,pull,push,run 等等），事实上确实也制定了类似 docker 的一种模型应用标准，在后边的...[2024/4/23]

QTransform 用于图形绘制，它定义了如何平移（translate）、缩放（scale）、切变（shear）、旋转（rotate）或投射（project）坐标系。注意：QTransform 是作用于坐标系，不是直接作用于图形。实际运用中我们可以通过 QPainter 、 QGraphics...[2024/4/23]

使用ollama + AnythingLLM快速且简单的在本地部署llm3 不多说，直接开始 一、安装ollama ollama官网：https: ollama.com/ 下载地址：https: ollama.com/download 打开以后注册并下载即可 安装没有什么好说的，找到...[2024/4/23]

1f45bd1e8577af66a05f5e3fadb0b29 通过ORPO对llama进行微调 前言 ORPO是一种新颖的微调技术，它将传统的监督微调和偏好对齐阶段整合到一个过程中。这减少了训练所需的计算资源和时间。此外，经验结果表明，ORPO在各种模型大小和基准测试中都超过了其他对齐方法。 ...[2024/4/23]

FastWiki一分钟本地离线部署本地企业级人工智能客服 介绍 FastWiki是一个开源的企业级人工智能客服系统，它使用了一系列先进的技术和框架来支持其功能。 技术栈 前端框架：React + LobeUI + TypeScript 后端框架：MasaFramework 基于 .NET 8...[2024/4/23]

特征融合与特征交互的区别 目录特征融合与特征交互的区别前言三者关系三者定义特性融合(Feature Fusion):特征拼接(Feature Concatenation):特征交互(Feature Interaction):特征融合和特征交互关键的不同点数据处理目的应用简单总结 前言 遥...[2024/4/19]

前言 文档分割是一项具有挑战性的任务，它是任何知识库问答系统的基础。高质量的文档分割结果对于显著提升问答效果至关重要，但是目前大多数开源库的处理能力有限。 这些开源的库或者方法缺点大致可以罗列如下： 只能处理文本，无法提取表格中的内容 缺乏有效的分割策略，要么是一整个文档全部提取，要么是词粒...[2024/4/19]

  最近在搞分布式训练大模型，踩了两个晚上的坑今天终于爬出来了 我们使用 2台 8*H100 遇到过 错误1 10.255.19.85: ncclSystemError: System call (e.g. socket, malloc) or external librar...[2024/4/19]

广义随机森林 了解causal forest之前，需要先了解其forest实现的载体：GENERALIZED RANDOM FORESTS[6]（GRF) 其是随机森林的一种推广， 经典的随机森林只能去估计label Y，不能用于估计复杂的目标，比如causal effect，Causal T...[2024/4/19]

在之前的文章中，我分享了一些使用大语言模型开发应用的方法，也介绍了几个开源大语言模型的部署方式，文章参见：大模型应用开发- - 萤火架构 - 博客园 (cnblogs.com) 有同学给我留言说想知道怎么训练自己的大语言模型，让它更贴合自己的业务场景。完整的大语言模型训练成本比较高昂，不是我...[2024/4/19]

试用阿里云GPU服务器进行深度学习模型训练 最近在用PyTorch时发现在本地训练模型速度一言难尽，然后发现阿里云可以白嫖gpu服务器，只要没有申请过PAI-DSW资源的新老用户都可以申请5000CU*H的免费额度，三个月内有效。 阿里云免费试用活动页面 一、申请试用并创建实例 点击...[2024/4/17]

随着科技的飞速进步和人工智能技术的日益成熟，智能制造正在成为推动制造业转型升级的核心力量。 互动数字人具有强大的情感分析能力，可以根据观众的表情、语气等实时反馈，作出恰当而富有情感的回应。这不仅让每一次的交流变得更为生动和深入，也为观众提供了个性化、定制化的服务体验。例如，互动数字人可以为企业...[2024/4/15]

在Keycloak中实现授权，首先需要了解与授权相关的一些概念。授权，简单地说就是某个（些）用户或者某个（些）用户组（Policy），是否具有对某个资源（Resource）具有某种操作（Scope）的权限（Permi ion）。所以，授权是一种权限管理，它建立在认证的基础上：用户首先要完成认证（...[2024/4/15]

Kalman滤波器的原理与实现 卡尔曼滤波器(Kalman Filter)是一个十分强大滤波器,虽然叫做滤波器，卡尔曼滤波器其实可以起到到两个作用，即预测与更新，这与我们在其运行时所关注的环节有关。当我们关注预测状态量这一步时，我们可以通过卡尔曼滤波器获取状态量的超前预测值，预测的值取决于滤波...[2024/4/15]

Tree-Based Algorithms Tree-based这类方法，和之前meta-learning 类的方法最明显的区别是: 这类方法把causal effect 的计算显示的加入了到了树模型节点分裂的标准中 从 response时代过渡到了effect时代。 大量的这类算法基本围绕...[2024/4/15]

前言 这个项目是我很早之前就star,只是当时觉得有点天真，怎么会有那么多免费的好事情呢？然后就在清明节前夕，OpenAI 开放了免登录即可使用GPT-3.5的模型，那么势必很快就有了免费使用GPT-3.5接口的开源项目，这里也提供一下我前几天写的文章 有兴趣的可以看看**# 开源免费、无需注册...[2024/4/11]

三、假定我们对一个数据结构执行一个由 n 个操作组成的操作序列，当 i 严格为 2 的幂时第 i 个操作的代价为 i ，否则代价为1。使用聚合分析确定每个操作的摊还代价。 文心一言： 为了进行聚合分析并确定每个操作的摊还代价，我们需要理解操作序列的性质，特别是代价的变化规律。根据题目描述，当操作...[2024/4/10]

简单的采样策略 首先介绍三种简单采样策略： Instance-balanced sampling, 实例平衡采样。 Cla -balanced sampling, 类平衡采样。 Square-root sampling, 平方根采样。 它们可抽象为： \[p_j=\frac{n_j^q}...[2024/4/10]

原理分析： BiLSTM（双向长短期记忆网络） 是一种循环神经网络（RNN）的变体，它在自然语言处理任务中非常有效，其中包括给定一个长句子预测下一个单词。 这种效果的主要原因包括以下几点： 长短期记忆网络（LSTM）结构：LSTM 是一种特殊的 RNN，专门设计用于解决长序列依赖问题。相比于...[2024/4/10]

量化技术通过用低精度数据类型 (如 8 位整型 (int8)) 来表示深度学习模型的权重和激活，以减少传统深度学习模型使用 32 位浮点 (float32) 表示权重和激活所带来的计算和内存开销。 减少位宽意味着模型的内存占用更低，这对在消费设备上部署大语言模型至关重要。量化技术也使得我们可以...[2024/4/10]

阿里巴巴最近开源了一个320亿参数的大语言模型Qwen1.5-32B，网上都说很强很强，那么它到底强在哪里呢？ 更高的性价比 Qwen1.5-32B中的B是billion的意思，也就是10亿，32B就代表320亿参数量。 阿里之前还开源过一个大模型Qwen-1.5-72B，72B就代表72...[2024/4/10]

PrimiHub一款由密码学专家团队打造的开源隐私计算平台，专注于分享数据安全、密码学、联邦学习、同态加密等隐私计算领域的技术和内容。 联邦学习中的差分隐私与同态加密 随着数据的爆炸式增长和对个人隐私保护意识的提高，隐私保护在机器学习领域中变得愈发重要。联邦学习作为一种分散式机器学习框架，...[2024/4/10]

构建一个优秀的Prompt 在使用Stable Diffusion AI时，构建一个有效的提示（Prompt）是至关重要的第一步。这个过程涉及到创造性的尝试和对AI行为的理解。这里我会对如何构建一个好的Prompt进行一个总结。 什么是一个好的提示词 构建有效的提示是使用Stable Diff...[2024/4/10]

1. 前言 自从和员外上家公司离职后，我们就自己搞公司投入到了RAG大模型的AI产品应用的开发中，这中间有一个春节，前后的总时间大概是三个月左右，在这三个月期间，基本是昼夜兼程啊，到今天3月底结束，产品目前看是有了一个基础的雏形。 在这期间，员外负责整个产品的营销、商业客户的洽谈等方面的内容，...[2024/4/3]

通过部署llama2系列，可以构建本地私有的知识小助手 用来输出一写周报、月报，甚至辅助数据分析都可以（想想都很轻松） 想要大模型支持特定的数据集，就需要进行专业的fine-turing 但是fine-turing工作，是需要一系列的数据工程，向量化等工作，不太便捷 PromtEngin...[2024/4/1]

?论文提出新颖的混合网络用于解决长尾图片分类问题，该网络由用于图像特征学习的对比学习分支和用于分类器学习的交叉熵分支组成，在训练过程逐步将训练权重调整至分类器学习，达到更好的特征得出更好的分类器的思想。另外，为了节省内存消耗，论文提出原型有监督对比学习。从实验结果来看，论文提出的方法效果还是很...[2024/3/29]

今天和大家分享一下：大模型提示工程之Prompt框架和示例： TAG框架 任务（Task）: 开发一个新的手机应用，旨在帮助用户更好地管理他们的日常健康。 行动（Action）: 进行市场调研，设计用户友好的界面，开发核心健康跟踪功能，测试应用并收集用户反馈。 目标（Goal...[2024/3/29]

?论文通过实验证明，ImageNet上的模型并不总能泛化到其他数据集中，甚至可能是相反的，而模型的深度和宽度也会影响迁移的效果。 ?如果需要参考，可选择类别数与当前任务相似的数据集上的模型性能。论文通过大量的实验来验证猜想，虽然没有研究出如通过数据集间的某些特性来直接判断模型迁移效果这样的成...[2024/3/29]

本次分享一下如何将GPT-SoVITS接入SillyTavern-1.11.5项目，让让AI女友声若幽兰，首先明确一下，SillyTavern-1.11.5只是一个前端项目，它没有任何大模型文本生成能力，所以后端必须有一个api服务来流式生成对话文本，这里选择koboldcpp。 首先看一...[2024/3/27]

转载请注明住处：https: www.cnblogs.com/zhiyong-ITNote 概述 ShareGPT格式的数据集中，一般是如下格式： [ { "conversations": [ { "from": "human", ...[2024/3/25]

系统功能文档是一种描述软件系统功能和操作方式的文档。它让开发团队、测试人员、项目管理者、客户和最终用户对系统行为有清晰、全面的了解。 通过ChatGPT，我们能让编写系统功能文档的效率提升10倍以上。 用ChatGPT生成系统功能文档 我们以线上商城系统为例，介绍如何使用ChatGPT帮我们...[2024/3/25]

        大家好，今天和大家分享 AntSK 知识库/智能体项目的最新进展。         AntSK 是一个基于 .Net 8、Blazor 及...[2024/3/25]

去年（2023年）是大模型爆发元年。但是大模型具有两个缺点：缺失私有领域知识和幻觉。缺失私有领域知识是指大模型训练时并没有企业私有数据/知识，所以无法正确回答相关问题。并且在这种情况下，大模型会一本正经地胡说八道（即幻觉），给出错误的回答。 那么如何解决这两个缺点？目前主要有两种方法，微调和R...[2024/3/25]

上一章我们主要唠了RLHF训练相关的方案，这一章我们主要针对RLHF的样本构建阶段，引入机器标注来降低人工标注的成本。主要介绍两个方案：RLAIF,和IBM的SALMON。 RLAIF RLAIF: Scaling Reinforcement Learning from Human Feed...[2024/3/25]

部署一个自己的大模型，没事的时候玩两下，这可能是很多技术同学想做但又迟迟没下手的事情，没下手的原因很可能是成本太高，近万元的RTX3090显卡，想想都肉疼，又或者官方的部署说明过于简单，安装的时候总是遇到各种奇奇怪怪的问题，难以解决。本文就来分享下我的安装部署经验，包括本地和租用云服务器的方式...[2024/3/22]

去听了 hzxu 老师的 DRL 课，感觉终于听懂了，记录一下… 目录0 我们想做什么1 三个数学 trick2 对单个 transition 的 policy gradient3 对整个 trajectory 的 policy gradient4 REINFORCE 算法 相关链接：...[2024/3/22]

2021年时出现了 openAI 的 DALL，但是不开源。2022年一开年，DALL-E 2发布，依然不开源。同年7月，Google 公布其 Text-to-Image 模型 Imagen，并且几乎在同一时间段AI图像生成平台 Midjourney 也进行公测。同年8月，Stable Dif...[2024/3/22]