DamRsn NeuralNote v2.0.0 x64 WiN Mac [免费]

DamRsn NeuralNote v2.0.0 x64 WiN Mac [免费]

使用深度学习将音频转录为 MIDI 的音频插件。 NeuralNote 是一个音频插件,可将最先进的音频到 MIDI 转录带入您最喜欢的数字音频工作站。 v2 中的新增功能 一个新的、功能更强大的转录模型。 v2 取代了 Spotify 的基本音调

资源介绍

免费 | Win Mac 独立版 VST3 AU | 39/60 MB

使用深度学习将音频转录为 MIDI 的音频插件。

NeuralNote 是一个音频插件,可将最先进的音频到 MIDI 转录引入您最喜欢的数字音频工作站。

v2 中的新增功能

一种新的、功能更强大的转录模型。 v2 用来自 Kyutai 和 Mirelo 的 MuScriptor 取代了 Spotify 的 Basic Pitch(论文、博客文章、检查点)。它是一个具有 103M 至 1.4B 参数的变压器,而 Basic Pitch 的参数不到 17K。

多仪器转录。转录完整的混音,而不是一次只录制一种乐器,并按乐器分组音符。

内置多乐器合成器。聆听每一种转录的乐器,包括每种乐器的增益、静音和独奏。

全新、现代的用户界面。

仍然完全本地化。转录在您的机器上、GPU 或 CPU 上运行,并且您的音频永远不会离开它。 NeuralNote 仅在线下载模型并检查更新。

安装

从版本页面下载适合您平台的最新版本。

macOS (Apple Silicon):NeuralNote_Installer_Mac_arm64.pkg 安装独立应用程序、VST3 和 AU。它已签署并经过公证。适用于 Intel Mac 的安装程序将在稍后推出。同时,您可以从源代码构建。

Windows (x64):NeuralNote_Installer_Windows_x64.exe 安装独立应用程序和 VST3。它没有代码签名,因此 Windows 可能会在首次运行它之前警告您。 【磅】 Linux:预构建的二进制文件即将推出。同时,您可以从源代码构建。

不包含转录模型。首次打开时从 NeuralNote 中下载它(请参阅模型和性能)。

用法

NeuralNote 是一个简单的 AudioFX 插件(VST®3/AU/独立应用程序),您可以将其应用于要转录的曲目。

采集一些音频:

单击录制。这在现场录音和在 DAW 中播放曲目时都有效。

或者将音频文件拖放到插件上(支持.wav、.aiff、.flac、.mp3 和.ogg (vorbis))。

在左侧面板中选择要转录的仪器,或选择“自动”让模型检测它们。

当为模型提供正确的仪器集时,转录往往会更好。

单击转录。转录在后台运行,MIDI 在解码时填充到钢琴卷帘中。运行时会显示进度指示器和取消按钮。

点击播放即可收听结果,无需等待转录完成。仅播放目前已解码的部分。

调整源音频和合成转录之间的混合。

调整各乐器的电平。

当您对结果感到满意时,将 MIDI 从插件拖放到 MIDI 轨道上,或将 MIDI 文件保存到计算机上。

型号和性能

MuScriptor 有小、中、大三种尺寸,以速度换取质量。 NeuralNote 从 Hugging Face 上的 DamRsn/muscriptor-gguf 将它们下载为 GGUF 文件。当未安装模型时,所有三种尺寸都可供下载。顶部栏中的“模型”按钮可让您在已安装的模型之间切换、下载其他尺寸以及打开存储它们的文件夹。

OS Models 文件夹

macOS ~/Library/NeuralNote/models

Windows %APPDATA%\NeuralNote\models Linux ~/.config/NeuralNote/models

下载量为小型约 210 MB,中型约 620 MB,大型约 2.7 GB。

您也可以手动将模型文件放入该文件夹中。使用 HF 存储库 v1/ 中的文件,保持不变并使用其原始名称(例如 muscriptor-medium-f16.gguf)。 NeuralNote 仅选取名称和大小与其下载的​​文件相匹配的文件。

您可以通过从此文件夹中删除模型来删除模型,并随时重新下载。

硬件。转录速度主要取决于模型大小和硬件。 GPU 在可用时通过 macOS 上的 Metal 以及 Windows 和 Linux 上的 Vulkan 进行使用。强烈建议中型和大型型号使用 GPU。设置 > 计算设备选择设备:自动(默认设置,为它选择的设备命名)、特定 GPU 或 CPU。该选择从下一个转录开始应用,并且稍后添加或删除的 GPU 将在重新启动 NeuralNote(或您的 DAW)后列出。到目前为止,仅测试了少数 GPU。如果转录失败、给出错误结果或在您的计算机上意外缓慢,请在此处或 muscriptor.cpp 中提出问题(如果问题出在引擎本身)。请包含您的操作系统、GPU 和型号大小。

在 Apple M1 Pro 上测得的近似实时系数(大于 1× 意味着比实时更快):

尺寸 GPU(金属)CPU

小 ~3.5× ~2×

中 ~1.5× ~0.7× 大 ~0.5× 不推荐

转录模型包含在 peeplink 中,您可以从以下位置下载第一次打开 NeuralNote 时,请使用 peeplink 或从 NeuralNote 中下载它们。

将模型放入:

macOS ~/Library/NeuralNote/models

Windows %APPDATA%\NeuralNote\models

Linux ~/.config/NeuralNote/models

相关推荐