DamRsn NeuralNote v2.2.0 x64 WiN Mac [免费]

DamRsn NeuralNote v2.2.0 x64 WiN Mac [免费]

使用深度学习将音频转录为 MIDI 的音频插件。 NeuralNote 是一个音频插件,可将最先进的音频到 MIDI 转录引入您最喜爱的数字音频工作站。 v2 中的新增功能 一个新的、功能更强大的转录模型。 v2 取代了 Spotify 的基本音调

资源介绍

免费 | Win Mac 独立版 VST3 AU | 40/66/62 MB

使用深度学习将音频转录为 MIDI 的音频插件。

NeuralNote 是一个音频插件,可将最先进的音频到 MIDI 转录引入您最喜欢的数字音频工作站。

v2 中的新增功能

一种新的、功能更强大的转录模型。 v2 用来自 Kyutai 和 Mirelo 的 MuScriptor 取代了 Spotify 的 Basic Pitch(论文、博客文章、检查点)。它是一个具有 103M 至 1.4B 参数的变压器,而 Basic Pitch 的参数不到 17K。

多仪器转录。转录完整的混音,而不是一次只录制一种乐器,并按乐器分组音符。

内置多乐器合成器。聆听每一种转录的乐器,包括每种乐器的增益、静音和独奏。

全新、现代的用户界面。

仍然完全本地化。转录在您的机器上、GPU 或 CPU 上运行,并且您的音频永远不会离开它。 NeuralNote 上网仅用于下载模型和检查更新。

安装

从版本页面下载适合您平台的最新版本。

macOS (Apple Silicon):NeuralNote_Installer_Mac_arm64.pkg 安装独立应用程序、VST3 和 AU。它已签署并经过公证。适用于 Intel Mac 的安装程序将在稍后推出。同时,您可以从源代码构建。

Windows (x64):NeuralNote_Installer_Windows_x64.exe 安装独立应用程序和 VST3。它没有代码签名,因此 Windows 可能会在首次运行它之前向您发出警告。 【磅】 Linux:预构建的二进制文件即将推出。同时,您可以从源代码构建。

不包含转录模型。首次打开时从 NeuralNote 中下载它(请参阅模型和性能)。

用法

NeuralNote 是一个简单的 AudioFX 插件(VST®3/AU/独立应用程序),您可以将其应用于要转录的曲目。

采集一些音频:

单击录制。这在现场录音和在 DAW 中播放曲目时都有效。

或者将音频文件拖放到插件上(支持.wav、.aiff、.flac、.mp3 和.ogg (vorbis))。

在左侧面板中选择要转录的仪器,或选择“自动”让模型检测它们。

当为模型提供正确的仪器集时,转录往往会更好。

单击转录。转录在后台运行,MIDI 在解码时填充到钢琴卷帘中。运行时会显示进度指示器和取消按钮。

点击播放即可收听结果,无需等待转录完成。仅播放目前已解码的部分。

调整源音频和合成转录之间的混合。

调整各乐器的电平。

当您对结果感到满意时,将 MIDI 从插件拖放到 MIDI 轨道上,或将 MIDI 文件保存到计算机上。

型号和性能

MuScriptor 有小、中、大三种尺寸,以速度换取质量。 NeuralNote 从 Hugging Face 上的 DamRsn/muscriptor-gguf 将它们下载为 GGUF 文件。当未安装模型时,所有三种尺寸都可供下载。顶部栏中的“模型”按钮可让您在已安装的模型之间切换、下载其他尺寸以及打开存储它们的文件夹。

OS Models 文件夹

macOS ~/Library/NeuralNote/models

Windows %APPDATA%\NeuralNote\models Linux ~/.config/NeuralNote/models

下载量为小型约 210 MB,中型约 620 MB,大型约 2.7 GB。

您也可以手动将模型文件放入该文件夹中。使用 HF 存储库 v1/ 中的文件,保持不变并使用其原始名称(例如 muscriptor-medium-f16.gguf)。 NeuralNote 仅选取名称和大小与其下载的​​文件相匹配的文件。

您可以通过从此文件夹中删除模型来删除模型,并随时重新下载。

硬件。转录速度主要取决于模型大小和硬件。 GPU 在可用时通过 macOS 上的 Metal 以及 Windows 和 Linux 上的 Vulkan 进行使用。强烈建议中型和大型型号使用 GPU。设置 > 计算设备选择设备:自动(默认设置,为它选择的设备命名)、特定 GPU 或 CPU。该选择从下一个转录开始应用,并且稍后添加或删除的 GPU 将在重新启动 NeuralNote(或您的 DAW)后列出。到目前为止,仅测试了少数 GPU。如果转录失败、给出错误结果或在您的计算机上意外缓慢,请在此处或 muscriptor.cpp 中提出问题(如果问题出在引擎本身)。请包含您的操作系统、GPU 和型号大小。

在 Apple M1 Pro 上测得的近似实时系数(大于 1× 意味着比实时更快):

尺寸 GPU(金属)CPU

小 ~3.5× ~2×

中 ~1.5× ~0.7× 大 ~0.5× 不推荐

转录模型包含在 peeplink 中,您可以从以下位置下载第一次打开 NeuralNote 时,请使用 peeplink 或从 NeuralNote 中下载它们。

将模型放入:

macOS ~/Library/NeuralNote/models

Windows %APPDATA%\NeuralNote\models

Linux ~/.config/NeuralNote/models

NeuralNote v2.2.0

固定 在 Windows 和 Intel Mac 上,在没有 AVX 的旧处理器上转录时会发生崩溃。现在支持这些处理器。 (#218, #232)

在配备独立 AMD GPU 的 Mac 上转录时发生崩溃。 (#246)

在 GPU 缺乏模型所需 Metal 功能的 Mac 上崩溃:macOS 13 之前的 Intel 和 AMD GPU,以及任何 macOS 版本上的较旧 GPU。 NeuralNote 现在在使用 GPU 之前检查它。在 Auto 上,将跳过无法运行模型或无法初始化的 GPU,并在 CPU 上运行转录。如果您自己选择了 GPU,则会出现错误,要求您选择“自动”或“CPU”,而不是崩溃。 (#218)

在 Windows 上使用 GPU 进行 Mirillis Action 时崩溃!安装。 (#237, #238)

新增

在 macOS 上加载 .m4a 文件。 (#235)

更改

在 Windows 和 Intel Mac 上更快的 CPU 转录。 NeuralNote 现在会选择您的处理器支持的最快的 CPU 代码,因此最新的处理器 (AVX2/FMA) 的转录速度要快几倍。

转录检查 GPU 后,如果无法运行模型(“(不支持)”)或无法初始化(“(不可用)”),设置 → 计算设备会将其灰显。然后,“自动”条目会显示它实际使用的设备。

音频加载和 MIDI 导出对话框分别在它们最后使用的文件夹中打开。

发布页面上的调试符号档案有了新名称,因此不太可能被错误下载,而不是安装程序。

NeuralNote v2.1.0

v2.1.0 新增功能

修复:用户文件夹名称包含非 ASCII 字符时模型加载失败的问题(Windows) 在 Windows 上,如果您的用户名包含非 ASCII 字符(例如日语、西里尔字母或重音字母),则模型文件夹路径也会包含非 ASCII 字符。无论模型大小或计算设备如何,转录总是失败,并显示“转录模型无法加载或运行:不是有效的 muscriptor GGUF 检查点”。现在,模型路径始终以 UTF-8 方式处理,因此这些路径可以正确加载。修复#203、#210 和#212。

暂停和恢复转录

取消按钮现在是暂停按钮。暂停会保留到目前为止的所有内容,即使在关闭并重新打开插件或 DAW 会话之后,您也可以稍后从停止点恢复。这对于长歌曲来说很重要,因为转录可能需要几分钟的时间。要扔掉转录内容,请使用垃圾箱按钮。

日志和崩溃报告,帮助诊断问题

NeuralNote 现在写入日志文件。在“设置”→“日志”中,您可以设置日志级别并打开日志文件夹。

Windows:您可以在“设置”→“崩溃报告”中打开崩溃报告。当它打开时,NeuralNote 每当崩溃时都会在崩溃报告文件夹中保存崩溃报告(小型转储)。默认情况下它是关闭的,并且不会向任何地方发送任何内容。

现在为每个发布版本保留调试符号(macOS 上的 dSYM、Windows 上的 PDB),因此发布版本的崩溃报告可以追溯到代码。

如果 NeuralNote 崩溃(例如,参见 #201、#205 和 #218),请将您的日志以及 Windows 上的崩溃报告附加到该问题。

Intel Mac 安装程序

现在有一个适用于 Intel Mac 的安装程序:NeuralNote_Installer_Mac_x64.pkg。它尚未在实际的 Intel Mac 上进行测试,因此请报告它是否适合您,无论好坏。

新网站 NeuralNote 现在有一个网站:https://neuralnote.co/。这是 NeuralNote 功能的非技术概述,包含下载链接和常见问题解答,现在它是最好的分享链接。 GitHub 存储库仍然是了解技术细节的地方。

通过电子邮件提供支持

如果您没有 GitHub 帐户,您现在可以通过电子邮件联系我们。地址位于网站的联系部分。如果您确实有问题,GitHub 问题仍然是报告错误的首选方式。

相关推荐