PyTorch中实现Transformer模型 - zh-jp
前言
关于Transformer原理与论文的介绍:详细了解Transformer:Attention Is All You Need
对于论文给出的模型架构,使用 PyTorch 分别实现各个部分。
引入的相关库函数:
import copy
import torch
import...[2024/2/2]
开发QQ官方机器人
QQ 频道机器人开发简明教程
1. 简介
QQ 频道机器人是一种可以在 QQ 频道中与用户进行互动的服务。这个教程旨在帮助新手学习如何使用 Python 的官方SDK,快速实现一些基本的机器人功能。
2. 准备工作
机器人注册和添加: 在 QQ 开放平台 注册开发者账号,并创建一个机器人应用。...[2024/1/29]
pandas高效读取大文件的探索之路pandas高效读取大文件的探索之路
使用 pandas 进行数据分析时,第一步就是读取文件。 在平时学习和练习的过程中,用到的数据量不会太大,所以读取文件的步骤往往会被我们忽视。
然而,在实际场景中,面对十万,百万级别的数据量是家常便饭,即使千万,上亿级别的数据,单机处理也问题不大。 不过,当数据量和数据属性多了之后,读取文件的...[2024/1/29]
PySimpleGUI 使用浅谈
1. 背景
PySimpleGUI是一个简单易用的Python GUI库,它提供了一种直观且快速创建图形用户界面的方式。
2. 安装
pip install PySimpleGUI
3. PySimpleGUI 的基本结构
一个基本的 PySimpleGUI 程序主要包括...[2024/1/8]
【scikit-learn基础】--『预处理』之 缺失值处理
数据的预处理是数据分析,或者机器学习训练前的重要步骤。 通过数据预处理,可以
提高数据质量,处理数据的缺失值、异常值和重复值等问题,增加数据的准确性和可靠性
整合不同数据,数据的来源和结构可能多种多样,分析和训练前要整合成一个数据集
提高数据性能,对数据的值进行变换,规约等(比如无量纲化),让...[2023/12/22]
Bert-vits2-2.3-Final,Bert-vits2最终版一键整合包(复刻生化危机艾达王)
近日,Bert-vits2发布了最新的版本2.3-final,意为最终版,修复了一些已知的bug,添加基于 WavLM 的 Discriminator(来源于 StyleTTS2),令人意外的是,因情感控制效果不佳,去除了 CLAP情感模型,换成了相对简单的 BERT 融合语义方式。
事实...[2023/12/22]
Flask 运用Xterm实现交互终端
Xterm是一个基于X Window System的终端仿真器(Terminal Emulator)。Xterm最初由MIT开发,它允许用户在X Window环境下运行文本终端程序。Xterm提供了一个图形界面终端,使用户能够在图形桌面环境中运行命令行程序。而xterm.js是一个用于在浏览器中...[2023/11/29]
义无反顾马督工,Bert-vits2V210复刻马督工实践(Python3.10)义无反顾马督工,Bert-vits2V210复刻马督工实践(Python3.10)
Bert-vits2更新了版本V210,修正了日/英的bert对齐问题,效果进一步优化;对底模使用的数据进行优化和加量,减少finetune失败以及电音的可能性;日语bert更换了模型,完善了多语言推理。
更多情报请参考Bert-vits2官网:
https: github.com/fi...[2023/11/29]
教你如何使用PyTorch解决多分类问题教你如何使用PyTorch解决多分类问题
本文分享自华为云社区《使用PyTorch解决多分类问题:构建、训练和评估深度学习模型》,作者: 小馒头学Python。
引言
当处理多分类问题时,PyTorch是一种非常有用的深度学习框架。在这篇博客中,我们将讨论如何使用PyTorch来解决多分类问题。我们将介绍多分类问题的基本概念,构建一个...[2023/11/22]
定量数据和定性数据
定量数据本质上是数值,应该是衡量某样东西的数量。
定性数据本质上是类别,应该是描述某样东西的性质。
全部的数据列如下,其中既有定性列也有定量列;
import pandas as pd
pd.options.display.max_columns = None
pd.set_option...[2023/11/20]
不懂乐理,也能扒谱,基于openvpi将mp3转换为midi乐谱(Python3.10)
所谓"扒谱"是指通过听歌或观看演奏视频等方式,逐步分析和还原音乐作品的曲谱或乐谱的过程。它是音乐学习和演奏的一种常见方法,通常由音乐爱好者、乐手或学生使用。
在扒谱的过程中,人们会仔细聆听音乐作品,辨别和记录出各个音符、和弦、节奏等元素,并通过试错和反复推敲来逐渐还原出准确的曲谱或乐谱。这对于...[2023/11/17]
一键整合,万用万灵,Python3.10项目嵌入式一键整合包的制作(Embed)一键整合,万用万灵,Python3.10项目嵌入式一键整合包的制作(Embed)
我们知道Python是一门解释型语言,项目运行时需要依赖Python解释器,并且有时候需要安装项目中对应的三方依赖库。对于专业的Python开发者来说,可以直接通过pip命令进行安装即可。但是如果是分发给其他的Windows用户,特别是不熟悉Python的人来说,这样过于繁琐。因此最好的办法是连...[2023/11/17]
AI歌姬,C位出道,基于PaddleHub/Diffsinger实现音频歌声合成操作(Python3.10)
懂乐理的音乐专业人士可以通过写乐谱并通过乐器演奏来展示他们的音乐创意和构思,但不识谱的素人如果也想跨界玩儿音乐,那么门槛儿就有点高了。但随着人工智能技术的快速迭代,现在任何一个人都可以成为“创作型歌手”,即自主创作并且让AI进行演唱,极大地降低了音乐制作的门槛。
本次我们基于PaddleHub...[2023/11/15]
自定义Graph Component:1-开发指南
??可以使用自定义NLU组件和策略扩展Rasa,本文提供了如何开发自己的自定义Graph Component指南。 ??Rasa提供各种开箱即用的NLU组件和策略。可以使用自定义Graph Component对其进行自定义或从头开始创建自己的组件。 ??要在Rasa中使用自定义Graph Com...[2023/11/13]
向量数据库Chroma极简教程
引子
向量数据库其实最早在传统的人工智能和机器学习场景中就有所应用。在大模型兴起后,由于目前大模型的token数限制,很多开发者倾向于将数据量庞大的知识、新闻、文献、语料等先通过嵌入(embedding)算法转变为向量数据,然后存储在Chroma等向量数据库中。当用户在大模型输入问题后,将问题本...[2023/11/10]
如何使用 GTX750 或 1050 显卡安装 CUDA11+
前言
由于兼容性问题,使得我们若想用较新版本的 PyTorch,通过 GPU 方式训练模型,也得更换较新版本得 CUDA 工具包。然而 CUDA 的版本又与电脑显卡的驱动程序版本关联,如果是低版本的显卡驱动程序安装 CUDA11 及以上肯定...[2023/11/10]
WebSocket魔法师:打造实时应用的无限可能
1、背景
在开发一些前端页面的时候,总是能接收到这样的需求:如何保持页面并实现自动更新数据呢?以往的常规做法,是前端使用定时轮询后端接口,获取响应后重新渲染前端页面,这种做法虽然能达到类似的效果,但是依然有很多缺点,缺点就不在这里说了,感兴趣的小伙伴可以自行查阅一下。现在让我们回忆一下,我们有没...[2023/11/10]
【scipy 基础】--线性代数
SciPy的linalg模块是SciPy库中的一个子模块,它提供了许多用于线性代数运算的函数和工具,如矩阵求逆、特征值、行列式、线性方程组求解等。
相比于NumPy的linalg模块,SciPy的linalg模块包含更多的高级功能,并且在处理一些特定的数值计算问题时,可能会表现出更好的性能。
...[2023/11/10]
使用openpyxl库读取Excel文件数据
在Python中,我们经常需要读取和处理Excel文件中的数据。openpyxl是一个功能强大的库,可以轻松地实现Excel文件的读写操作。本文将介绍如何使用openpyxl库读取Excel文件中的数据。
1. 导入所需库
首先,我们需要导入openpyxl库,这个库提供了许多用于操作Exce...[2023/11/6]
【PySide6】QChart笔记(一)—— 用QDateTimeAxis作为x轴绘制多条折线图
一、QDateTimeAxis简介
1. 官方描述
https: doc.qt.io/qtforpython-6/PySide6/QtChart QDateTimeAxis.html
QDateTimeAxis可以用作带有刻度线、网格线以及阴影的轴。可以通过设置适当的日期时间格式来配置标签。Q...[2023/11/6]
UIKit Inside: frame bounds position anchorPoint center
iOS 中UIView的属性:frame、bounds、center以及CALayer的属性:position、anchorPoint与视图的位置与大小相关,理解这些属性是进行 iOS 视图编码的基础。
下面从汇编角度看一下这些属性的实现以及相互关系。
1 frame
frame定义了视图在...[2023/11/6]
【scipy 基础】--聚类
物以类聚,聚类算法使用最优化的算法来计算数据点之间的距离,并将它们分组到最近的簇中。
Scipy的聚类模块中,进一步分为两个聚类子模块:
vq(vector quantization):提供了一种基于向量量化的聚类算法。
vq模块支持多种向量量化算法,包括K-means、GMM(高斯混合...[2023/11/1]
trafilatura 网页解析原理分析
trafilatura 介绍
Trafilatura是一个Python包和命令行工具,用于收集网络上的文本。其主要应用场景包括网络爬虫下载和网页解析等。
今天我们不讨论爬虫和抓取,主要看他的数据解析是如何做的。
extract初体验
from trafilatura import fetch...[2023/11/1]
如何在linux系统中安装python3.8.1 并卸载 python3.6.2 更新python3引导到3.8.1如何在linux系统中安装python3.8.1 并卸载 python3.6.2 更新python3引导到3.8.1
安装python3.8.1
步骤 1:检查Python版本 在终端中输入以下命令来检查当前安装的Python版本:
python --version
步骤 2:安装编译Python所需的依赖项 更新系统软件包,并安装构建Python所需的一些工具和库。在终端中运行以下命令:
sud...[2023/11/1]
Flask后端开发(二) - 功能实现和项目总结
Flask后端开发(二) - 功能实现和项目总结
目录Flask后端开发(二) - 功能实现和项目总结1. 功能1:修改文件参数值1.1. 获取网页端传参1.2. 读取文件1.2.1. 一般文件读取方式1.2.2. 特殊文件 —— mlx文件1.2.3. 特殊文件 —— .xlx文件1.3. 查...[2023/10/30]
[全网唯一]通过修改源码使得从ZIP提取文件并在提取时进行重命名保存(博客园同步发布)
源码位置: /Lib/zipfile.py/ZipFile/_extract_member/zipfile.py或者直接点击extract函数.
在使用python解压缩zip文件时, 由于需要在解压时重命名文件为我想要的格式, 而不巧的是, zipfile包官方源代码没有这个功能...
于是...[2023/10/25]
一种基于闭包函数实现自动化框架断言组件的设计实践
1 背景
目前测试组同学基本具备自动化脚本编写能力,为了提高效率,如何灵活运用这些维护的脚本去替代部分手工的重复工作?为了达到测试过程中更多的去使用自动化方式,如何能够保证通过脚本覆盖更多的校验点,提高自动化测试的精度和力度?那么一定是不断的丰富断言,符合预期场景。紧接着棘手的问题就是,在前人维...[2023/10/23]
(数据科学学习手札154)geopandas 0.14版本新特性一览
本文示例代码已上传至我的Github仓库https: github.com/CNFeffery/DataScienceStudyNotes
1 简介
大家好我是费老师,就在前两天,Python生态中的GIS运算神器geopandas发布了其0.14.0新版本,在这次新版本更新中,不仅是...[2023/9/18]
每日一库:lumberjack -- 日志轮换和管理每日一库:lumberjack -- 日志轮换和管理
在开发应用程序时,记录日志是一项关键的任务,以便在应用程序运行时追踪问题、监视性能和保留审计记录。Go 语言提供了灵活且强大的日志记录功能,可以通过多种方式配置和使用。其中一个常用的日志记录库是 github.com/natefinch/lumberjack,它提供了一个方便的方式来处理日志文件...[2023/9/14]
Pytest 框架执行用例流程浅谈
背景:
根据以下简单的代码示例,我们将从源码的角度分析其中的关键加载执行步骤,对pytest整体流程架构有个初步学习。
代码示例:
import pytest
def test_add():
a ert 1 + 1 == 2
def test_sub():
a ert 2...[2023/8/30]
Pandas 使用教程 CSV
CSV(Comma-Separated Values,逗号分隔值,有时也称为字符分隔值,因为分隔字符也可以不是逗号),其文件以纯文本形式存储表格数据(数字和文本)。
CSV 是一种通用的、相对简单的文件格式,被用户、商业和科学广泛应用。
AttributeError: partially i...[2023/8/29]
【pytorch】从零开始,利用yolov5、crnn+ctc进行车牌识别
笔者的运行环境:python3.8+pytorch2.0.1+pycharm+kaggle 用到的网络框架:yolov5、crnn+ctc 项目地址:GitHub - WangPengxing/plate_identification: 利用yolov5、crnn+ctc进行车牌识别
1....[2023/8/29]
torch.nn基础学习教程 | PyTorch nn Basic Tutorialtorch.nn基础学习教程 | PyTorch nn Basic Tutorial
基于torch.nn搭建神经网络的基础教程大纲:
1. 引言
在我们开始深入探讨torch.nn之前,我们首先需要理解PyTorch及其神经网络库的基础知识。这一部分的内容将帮助你对PyTorch有一个整体的了解。
1.1 为什么选择PyTorch?
动态计算图:PyTorch使用动态计...[2023/8/29]
利用pytorch自定义CNN网络(四):损失函数和优化器利用pytorch自定义CNN网络(四):损失函数和优化器
本文是利用pytorch自定义CNN网络系列的第四篇,主要介绍如何训练一个CNN网络,关于本系列的全文见这里。
笔者的运行设备与软件:CPU (AMD Ryzen? 5 4600U) + pytorch (1.13,CPU版) + jupyter;
训练模型是为了得到合适的参数权重,设计模...[2023/8/11]
终于搞懂了python2和python3的encode(编码)与decode(解码)
终于搞懂了python2的编码
在python2下碰到非常多次的中文乱码,这次来梳理一下编码问题。
在python 2中默认编码是 ASCII,而在python 3中默认编码是 unicode。
unicode是中间编码,任何字符编码之前的转换都必须解码成unicode,再编码成目标字符编...[2023/8/11]
Datahub稳定版本0.10.4安装指南(独孤风版本)
大家好,我是独孤风,大数据流动的作者。
曾几何时,我在第一次安装JDK环境的时候也遇到了不小的麻烦,当时还有朋友就因为这个环境问题觉得自己根本不是编程的料,选择了放弃。当时有个段子说,“如果不是JDK环境没搞定,我一定是一个编程天才”。权当一笑,但是环境问题确实是个大问题。
开源元数据管理平...[2023/8/7]
「学习笔记」扫描线
什么是扫描线?顾名思义,一根用来扫描的线
扫描线就是一条线在整个图上扫来扫去,它一般被用来解决图形面积,周长,以及二维数点等问题。
下面我们用例题来引入。
P5490 【模板】扫描线 - 洛谷 | 计算机科学教育新生态 (luogu.com.cn)
我们对于这种题有三种做法
暴力的...[2023/8/7]
验证码识别全流程实战
本文将介绍验证码的历史与发展、验证码破解的历史与发展,验证码破解全流程实战。
验证码的历史与发展
验证码,全称为“Completely Automated Public Turing test to tell Computers and Humans Apart”,即全自动区分计算机和...[2023/7/31]
【AltWalker】模型驱动:轻松实现自动化测试用例的生成和组织执行
模型驱动的自动化测试
模型驱动的自动化测试(Model-Based Testing, 后文中我们将简称为MBT)是一种软件测试方法,它将系统的行为表示为一个或多个模型,然后从模型中自动生成和执行测试用例。这种方法的核心思想是将测试过程中的重点从手动编写测试用例转移到创建和维护描述系统行为的模型。...[2023/7/28]
python3使用PIL添加中文文本水印背景
环境:Windows10_x64
Python版本 :3.9.2
Pillow版本:9.1.1
写的博客文章被转载且不注明出处的情况时有发生,甚至有部分转载者将文章配图添加自己的水印!为了保护作者劳动成果,添加水印是一个可选项。
今天记录下Windows10环境下使用py...[2023/7/5]
Python3.7源码编译Python3.7源码编译
1.下载Python3.7.0源码
git clone https: github.com/python/cpython.git git checkout v3.7.0
wget https: www.python.org/ftp/pyt...[2023/6/28]
CentOS7环境编译python3.9版本pjsua
环境:CentOS 7.6_x64
Python版本 :3.9.12
pjsip版本:2.13
一、背景描述
pjsip地址:https: www.pjsip.org/
GitHub地址:https: github.com/pjsip/p...[2023/6/9]
南洋才女,德艺双馨,孙燕姿本尊回应AI孙燕姿(基于Sadtalker/Python3.10)
孙燕姿果然不愧是孙燕姿,不愧为南洋理工大学的高材生,近日她在个人官方媒体博客上写了一篇英文版的长文,正式回应现在满城风雨的“AI孙燕姿”现象,流行天后展示了超人一等的智识水平,行文优美,绵恒隽永,对AIGC艺术表现得极其克制,又相当宽容,充满了语言上的古典之美,表现出了“任彼如泰山压顶,我只当清...[2023/6/8]
音容笑貌,两臻佳妙,人工智能AI换脸(deepfake)技术复刻《卡萨布兰卡》名场面(Python3.10)
影史经典《卡萨布兰卡》是大家耳熟能详的传世名作,那一首壮怀激烈,激奋昂扬的马赛曲,应当是通片最为激动人心的经典桥段了,本次我们基于faceswap和so-vits库让AI川普复刻美国演员保罗·亨雷德高唱《马赛曲》的名场面。
配置人脸替换DeepFakes项目
关于人脸替换,业内鼎鼎有名的dee...[2023/5/25]
声音好听,颜值能打,基于PaddleGAN给人工智能AI语音模型配上动态画面(Python3.10)
借助So-vits我们可以自己训练五花八门的音色模型,然后复刻想要欣赏的任意歌曲,实现点歌自由,但有时候却又总觉得少了点什么,没错,缺少了画面,只闻其声,却不见其人,本次我们让AI川普的歌声和他伟岸的形象同时出现,基于PaddleGAN构建“靓声靓影”的“懂王”。
PaddlePaddle是百...[2023/5/19]
Python3.x检查内存可用大小的两种实现
目录使用 psutil 标准库实现使用Linux free 命令实现总结 在Linux服务器管理中,内存是一个非常重要的资源。如果服务器的内存不足,可能会导致服务器崩溃或者无法正常工作。因此,检查Linux服务器内存可用大小是非常必要的。本文将介绍如何使用Python 3实现检查Linux服务器内存...[2023/5/19]
AI天后,在线飙歌,人工智能AI孙燕姿模型应用实践,复刻《遥远的歌》,原唱晴子(Python3.10)
忽如一夜春风来,亚洲天后孙燕姿独特而柔美的音色再度响彻华语乐坛,只不过这一次,不是因为她出了新专辑,而是人工智能AI技术对于孙燕姿音色的完美复刻,以大江灌浪之势对华语歌坛诸多经典作品进行了翻唱,还原度令人咋舌,如何做到的?
本次我们借助基于Python3.10的开源库so-vits-svc,让...[2023/5/12]
人工智能AI图像风格迁移(StyleTransfer),基于双层ControlNet(Python3.10)人工智能AI图像风格迁移(StyleTransfer),基于双层ControlNet(Python3.10)
图像风格迁移(Style Transfer)是一种计算机视觉技术,旨在将一幅图像的风格应用到另一幅图像上,从而生成一幅新图像,该新图像结合了两幅原始图像的特点,目的是达到一种风格化叠加的效果,本次我们使用Stable-Diffusion结合ControlNet来实现图像风格迁移效果。
安装Con...[2023/4/21]
任务拆解,悠然自得,自动版本的ChatGPT,AutoGPT自动人工智能AI任务实践(Python3.10)
当我们使用ChatGPT完成某些工作的时候,往往需要多轮对话,比如让ChatGPT分析、翻译、总结一篇网上的文章或者文档,再将总结的结果以文本的形式存储在本地。过程中免不了要和ChatGPT“折冲樽俎”一番,事实上,这个“交涉”的过程也可以自动化,AutoGPT可以帮助我们自动拆解任务,没错,程...[2023/4/19]
基于Pytorch实现分类器的示例详解
目录Softmax分类器定义训练测试感知机分类器定义训练测试 本文实现两个分类器: softmax分类器和感知机分类器
Softmax分类器
Softmax分类是一种常用的多类别分类算法,它可以将输入数据映射到一个概率分布上。Softmax分类首先将输入数据通过线性变换得到一个向量,然后将向...[2023/4/19]