1. 背景 最近本qiang~关注了一个开源项目Scrapegraph-ai，是关于网页爬虫结合LLM的项目，所以想一探究竟，毕竟当下及未来，LLM终将替代以往的方方面面。 这篇文章主要介绍下该项目，并基于此项目实现一个demo页面，页面功能是输入一个待爬取的网页地址以及想要从网页中抽取的内容...[2024/5/21]

前言 最近对一些小细节做了很多处理，但是其实还是有非常多的问题，没办法时间毕竟时间有限。为什么在这个时候开源，因为主要功能可以全部跑通了，分支暂时没开发的功能也可以通过其他的工具来替代。 这个工具开发初衷（想法来源），我之前有一篇文章有详细的说明，有兴趣的可以看一下https: mp.weix...[2024/5/21]

1. 背景 ZooKeeper（ZK）是一个诞生于 2007 年的分布式应用程序协调服务。尽管出于一些特殊的历史原因，许多业务场景仍然不得不依赖它。比如，Kafka、任务调度等。特别是在 Flink 混合部署 ETCD 解耦 时，业务方曾要求绝对的稳定性，并强烈建议不要使用自建的 ZooKeep...[2024/5/13]

数据类型要求 BatchPhysicalHashAggRule match 条件会判断 isAggBufferFixedLength(agg) 为什么要求 aggCall 的类型是 Fixed Length 的才可以使用 HashAggregate ? 因为在 HashAggregate 中...[2024/5/13]

指令微调 是一种技术，它能让大语言模型 (LLMs) 更好地理解和遵循人类的指令。但是，在编程任务中，大多数模型的微调都是基于人类编写的指令 (这需要很高的成本) 或者是由大型专有 LLMs 生成的指令 (可能不允许使用)。 我们推出了一个叫做 StarCoder2-15B-Instruct...[2024/5/11]

具体的软硬件实现点击 http: mcu-ai.com/ MCU-AI技术网页_MCU-AI人工智能 血压的测量和预测是心脏病患者和有心脏问题的人的一个重要条件，应该保持持续的控制。在这项研究中，基于从使用袖带的个体获得的振荡波形，振荡波形分为三个周期。第一个周期是从起点到收缩压(SBP)，第...[2024/5/11]

最近出现一批与LLM有关的新的爬虫框架，一类是为LLM提供内容抓取解析的，比如 Jina Reader 和 FireCrawl ，可以将抓取的网页解析为markdown这样的对LLM友好的内容，例如markdown，这类本质上还是传统的爬虫解决方案。还有一类是通过LLM+agent工作流方式来构...[2024/5/11]

神经网络是深度学习的基础，正是深度学习的兴起，让停滞不前的人工智能再一次的取得飞速的发展。 其实神经网络的理论由来已久，灵感来自仿生智能计算，只是以前限于硬件的计算能力，没有突出的表现， 直至谷歌的AlphaGO的出现，才让大家再次看到神经网络相较于传统机器学习的优异表现。 本文主要介绍神经...[2024/5/8]

具体的软硬件实现点击 http: mcu-ai.com/ MCU-AI技术网页_MCU-AI人工智能 此示例说明如何使用连续小波变换 (CWT) 和深度卷积神经网络 (CNN) 对人体心电图 (ECG) 信号进行分类。 从头开始训练深度 CNN 的计算成本很高，并且需要大量的训练数据。在很多...[2024/5/8]

本来不是很想写这一篇，因为网上的文章真的烂大街了，我写的真的很有可能没别人写得好。但是想了想，创建这个博客就是想通过对外输出知识的方式来提高自身水平，而不是说我每篇都能写得有多好多好然后吸引别人来看。那作为对整个合集内容的完善，这篇博客会解析现在最火的LLaMA3的模型架构，搞清楚现在的LLM都...[2024/5/8]

博客园 我的博客 快速沃尔什变换解决的卷积问题 快速沃尔什变换（FWT）是解决这样一类卷积问题： \[c_i=\sum_{i=j\odot k}a_jb_k \] 其中，\(\odot\) 是位运算的一种。举个例子，给定数列 \(a,b\)，求： \[c_i=\sum_{j\opl...[2024/5/8]

本文是 Ryght 团队的客座博文。 Ryght 是何方神圣？ Ryght 的使命是构建一个专为医疗保健和生命科学领域量身定制的企业级生成式人工智能平台。最近，公司正式公开了 Ryght 预览版 平台。 当前，生命科学公司不断地从各种不同来源 (实验室数据、电子病历、基因组学、保险索赔、...[2024/5/8]

引言 从这一章节开始正式进入我们的 Semantic Kernel 的学习之旅了。 什么是Semantic Kernel？ Semantic Kernel是一个轻量级的开源框架，通过 Semantic Kernel 可以快速使用不同编程语言(C#/Python/Java)结合 LLMs(Op...[2024/5/8]

1. 什么是XYZ瓦片 XYZ瓦片是一种在线地图数据格式，常见的地图底图如Google、OpenStreetMap 等互联网的瓦片地图服务，都是XYZ瓦片，严格来说是ZXY规范的地图瓦片 ZXY规范的地图瓦片规则如下：将地图全幅显示时的图片从左上角开始，往下和往右进行切割，切割的大小默认为 2...[2024/5/6]

前言 首先它是为了解决我自己的个人问题。不管能不能帮到你，或者对于看到的你是否有点利用价值，也没太大的关系，最起码你可以来看看我开发小产品的整个过程。 一段时间以来，我开始通过youtube平台来获取一些知识，或者打发早晚上下班坐地铁的时间。主要是我早晚通勤时间过长，差不多都是一个小时吧，单纯...[2024/5/6]

背景 大家好，我是努力的小雨。今天我想分享一下搭建待办助手的经历。起初，我并没有什么特别的创意点子。但在4月16日的百度Create大会上，我看到了小度的大模型加持使得其变得更加智能。我被一场示例所震撼，小度竟然演示了如何安排日程，这不就是一个完美的待办助手吗？我一度认为待办应用是独立开发者的入...[2024/5/6]

技术背景 在前面的几篇博客中，我们分别介绍过Histogram算法的使用、Plumed安装与简单使用。Plumed一般就是两种用法：要么在运行分子动力学模拟的过程中实时的对接，要么就是把分子模拟的相关轨迹保存下来，然后再使用Plumed进行后分析，本文介绍的是后面这种使用方法。 轨迹准备 做后...[2024/5/6]

你是不是苦于没法使用ChatGPT？或者访问了ChatGPT却没法使用GPT4？现在一切问题都可以解决了！ 4月18日，Meta发布两款开源Llama 3 8B与Llama 3 70B模型，供外部开发者免费使用。这个消息轰动了全球开发者。按照Meta的说法，Llama 3 8B和Llama 3...[2024/4/29]

简介 在人工智能技术飞速发展的今天，我们经常面临一个挑战：如何快速、简便地部署和使用AI技术？AntSK项目，一个开源的AI知识库和智能体，就是为了解决这一问题而诞生的。现在，我们自豪地宣布，AntSK已经实现了无需复杂部署的一键启动功能，让每个人都能轻松拥抱AI的便利。 为什么选择AntSK？...[2024/4/29]

1. 背景 本qiang~这两天接了一个任务，部署几个开源的模型，并且将本地经过全量微调的模型与开源模型做一个效果对比。 部署的开源模型包括：星火13B，Baichuan2-13B, ChatGLM6B等 其他两个模型基于transformers架构封装，因此推理服务启动还是十分丝滑，但星火...[2024/4/29]

本文分享自华为云社区《MindSpore强化学习：使用PPO配合环境HalfCheetah-v2进行训练》，作者： irrational。 半猎豹（Half Cheetah）是一个基于MuJoCo的强化学习环境，由P. Wawrzyński在“A Cat-Like Robot Real-Tim...[2024/4/29]

\(CF1535F\ \ String\ Distance\) 题意 给 \(n\) 个长度均为 \(len\) 的字符串 \(T_1,T_2,\dots T_n\)，定义 \(f(a,b)\) 为将 \(a,b\) 排序后相等的最小排序次数，若无解则为 \(1337\)(这好像是个黑客用语)。...[2024/4/23]

介绍 Meta 公司的 Llama 3 是开放获取的 Llama 系列的最新版本，现已在 Hugging Face 平台发布。看到 Meta 持续致力于开放 AI 领域的发展令人振奋，我们也非常高兴地全力支持此次发布，并实现了与 Hugging Face 生态系统的深度集成。 Llama 3 ...[2024/4/23]

Based on Deep Learning (2017, MIT) book. 本文基于Deep Learning (2017, MIT)，推导过程补全了所涉及的知识及书中推导过程中跳跃和省略的部分。 blog 1 概述 现代数据集，如网络索引、高分辨率图像、气象学、实验测量等，通...[2024/4/23]

论文设计了新的CNN-ViT混合神经网络FasterViT，重点关注计算机视觉应用的图像吞吐能力。FasterViT结合CNN的局部特征学习的特性和ViT的全局建模特性，引入分层注意力（HAT）方法在降低计算成本的同时增加窗口间的交互。在包括分类、对象检测和分割各种CV任务上，FasterVi...[2024/4/23]

前几天Meta开源发布了新的Llama大语言模型：Llama-3系列，本次一共发布了两个版本：Llama-3-8B和Llama-3-70B，根据Meta发布的测评报告，Llama-3-8B的性能吊打之前的Llama-2-70B，也就是说80亿参数的模型干掉了700亿参数的模型，这个还真挺让人震...[2024/4/23]

Stable Diffusion中的常用术语解析 对于很多初学者来说，会对Stable Diffusion中的很多术语感到困惑，当然你不是唯一的那个。 在这篇文章中，我将会讲解几乎所有你在Stable Diffusion中需要了解的关键术语。搞懂了这些术语，使用stable diffusion...[2024/4/23]

轻松复现一张AI图片 现在有一个非常漂亮的AI图片，你是不是想知道他是怎么生成的？ 今天我会交给大家三种方法，学会了，什么图都可以手到擒来了。 需要的软件 在本教程中，我们将使用AUTOMATIC1111 stable diffusion WebUI。这是一款流行且免费的软件。您可以在Win...[2024/4/23]

1、ollama到底是个什么玩意 一句话来说， Ollama 是一个基于 Go 语言开发的简单易用的本地大模型运行框架。可以将其类比为 docker（有类似docker中的一些常规命令list,pull,push,run 等等），事实上确实也制定了类似 docker 的一种模型应用标准，在后边的...[2024/4/23]

QTransform 用于图形绘制，它定义了如何平移（translate）、缩放（scale）、切变（shear）、旋转（rotate）或投射（project）坐标系。注意：QTransform 是作用于坐标系，不是直接作用于图形。实际运用中我们可以通过 QPainter 、 QGraphics...[2024/4/23]

使用ollama + AnythingLLM快速且简单的在本地部署llm3 不多说，直接开始 一、安装ollama ollama官网：https: ollama.com/ 下载地址：https: ollama.com/download 打开以后注册并下载即可 安装没有什么好说的，找到...[2024/4/23]

1f45bd1e8577af66a05f5e3fadb0b29 通过ORPO对llama进行微调 前言 ORPO是一种新颖的微调技术，它将传统的监督微调和偏好对齐阶段整合到一个过程中。这减少了训练所需的计算资源和时间。此外，经验结果表明，ORPO在各种模型大小和基准测试中都超过了其他对齐方法。 ...[2024/4/23]

FastWiki一分钟本地离线部署本地企业级人工智能客服 介绍 FastWiki是一个开源的企业级人工智能客服系统，它使用了一系列先进的技术和框架来支持其功能。 技术栈 前端框架：React + LobeUI + TypeScript 后端框架：MasaFramework 基于 .NET 8...[2024/4/23]

特征融合与特征交互的区别 目录特征融合与特征交互的区别前言三者关系三者定义特性融合(Feature Fusion):特征拼接(Feature Concatenation):特征交互(Feature Interaction):特征融合和特征交互关键的不同点数据处理目的应用简单总结 前言 遥...[2024/4/19]

前言 文档分割是一项具有挑战性的任务，它是任何知识库问答系统的基础。高质量的文档分割结果对于显著提升问答效果至关重要，但是目前大多数开源库的处理能力有限。 这些开源的库或者方法缺点大致可以罗列如下： 只能处理文本，无法提取表格中的内容 缺乏有效的分割策略，要么是一整个文档全部提取，要么是词粒...[2024/4/19]

  最近在搞分布式训练大模型，踩了两个晚上的坑今天终于爬出来了 我们使用 2台 8*H100 遇到过 错误1 10.255.19.85: ncclSystemError: System call (e.g. socket, malloc) or external librar...[2024/4/19]

Kafka 线上性能调优是一项综合工程，不仅仅是 Kafka 本身，还应该从硬件（存储、网络、CPU）以及操作系统方面来整体考量，首先我们要有一套生产部署方案，基于这套方案再进行调优，这样就有了可靠的底层保证，才能保证 Kafka 集群整体的稳定性。 1. 线上部署方案 1.1 操作系统 我们...[2024/4/19]

广义随机森林 了解causal forest之前，需要先了解其forest实现的载体：GENERALIZED RANDOM FORESTS[6]（GRF) 其是随机森林的一种推广， 经典的随机森林只能去估计label Y，不能用于估计复杂的目标，比如causal effect，Causal T...[2024/4/19]

在之前的文章中，我分享了一些使用大语言模型开发应用的方法，也介绍了几个开源大语言模型的部署方式，文章参见：大模型应用开发- - 萤火架构 - 博客园 (cnblogs.com) 有同学给我留言说想知道怎么训练自己的大语言模型，让它更贴合自己的业务场景。完整的大语言模型训练成本比较高昂，不是我...[2024/4/19]

试用阿里云GPU服务器进行深度学习模型训练 最近在用PyTorch时发现在本地训练模型速度一言难尽，然后发现阿里云可以白嫖gpu服务器，只要没有申请过PAI-DSW资源的新老用户都可以申请5000CU*H的免费额度，三个月内有效。 阿里云免费试用活动页面 一、申请试用并创建实例 点击...[2024/4/17]

随着科技的飞速进步和人工智能技术的日益成熟，智能制造正在成为推动制造业转型升级的核心力量。 互动数字人具有强大的情感分析能力，可以根据观众的表情、语气等实时反馈，作出恰当而富有情感的回应。这不仅让每一次的交流变得更为生动和深入，也为观众提供了个性化、定制化的服务体验。例如，互动数字人可以为企业...[2024/4/15]

在Keycloak中实现授权，首先需要了解与授权相关的一些概念。授权，简单地说就是某个（些）用户或者某个（些）用户组（Policy），是否具有对某个资源（Resource）具有某种操作（Scope）的权限（Permi ion）。所以，授权是一种权限管理，它建立在认证的基础上：用户首先要完成认证（...[2024/4/15]

Kalman滤波器的原理与实现 卡尔曼滤波器(Kalman Filter)是一个十分强大滤波器,虽然叫做滤波器，卡尔曼滤波器其实可以起到到两个作用，即预测与更新，这与我们在其运行时所关注的环节有关。当我们关注预测状态量这一步时，我们可以通过卡尔曼滤波器获取状态量的超前预测值，预测的值取决于滤波...[2024/4/15]

Tree-Based Algorithms Tree-based这类方法，和之前meta-learning 类的方法最明显的区别是: 这类方法把causal effect 的计算显示的加入了到了树模型节点分裂的标准中 从 response时代过渡到了effect时代。 大量的这类算法基本围绕...[2024/4/15]

前言 这个项目是我很早之前就star,只是当时觉得有点天真，怎么会有那么多免费的好事情呢？然后就在清明节前夕，OpenAI 开放了免登录即可使用GPT-3.5的模型，那么势必很快就有了免费使用GPT-3.5接口的开源项目，这里也提供一下我前几天写的文章 有兴趣的可以看看**# 开源免费、无需注册...[2024/4/11]

2020年笔者在做微服务部件升级时，Dubbo的注册中心从Zookeeper切换到Nacos碰到个问题，最近刷Github又有网友提到类似的问题，就在这篇文章里做个梳理和总结。 1、问题描述 前几年我在做微服务部件升级时，将Dubbo的注册中心从Zookeeper切换到Nacos。切换的原...[2024/4/10]

三、假定我们对一个数据结构执行一个由 n 个操作组成的操作序列，当 i 严格为 2 的幂时第 i 个操作的代价为 i ，否则代价为1。使用聚合分析确定每个操作的摊还代价。 文心一言： 为了进行聚合分析并确定每个操作的摊还代价，我们需要理解操作序列的性质，特别是代价的变化规律。根据题目描述，当操作...[2024/4/10]

简单的采样策略 首先介绍三种简单采样策略： Instance-balanced sampling, 实例平衡采样。 Cla -balanced sampling, 类平衡采样。 Square-root sampling, 平方根采样。 它们可抽象为： \[p_j=\frac{n_j^q}...[2024/4/10]

原理分析： BiLSTM（双向长短期记忆网络） 是一种循环神经网络（RNN）的变体，它在自然语言处理任务中非常有效，其中包括给定一个长句子预测下一个单词。 这种效果的主要原因包括以下几点： 长短期记忆网络（LSTM）结构：LSTM 是一种特殊的 RNN，专门设计用于解决长序列依赖问题。相比于...[2024/4/10]

量化技术通过用低精度数据类型 (如 8 位整型 (int8)) 来表示深度学习模型的权重和激活，以减少传统深度学习模型使用 32 位浮点 (float32) 表示权重和激活所带来的计算和内存开销。 减少位宽意味着模型的内存占用更低，这对在消费设备上部署大语言模型至关重要。量化技术也使得我们可以...[2024/4/10]