如果你已经拿到了一个地区的物种名录下一步就是系统地查询每个物种在NCBI上有没有12S序列。考虑到物种数量多、手动查效率太低我建议你用自动化的方式来搞定。 整体思路整套流程分三步先搞定物种的科学名和分类信息再用工具批量查NCBI最后整理结果。1. 准备一份带拉丁学名和分类的物种清单首先需要把你手里的中文名录转成标准格式——这是后续自动查询的基础。拉丁学名这是必填项是查询的唯一标准。NCBI分类ID (TaxID)最好也一并获取。它是NCBI给每个物种的唯一编号能让查询更准、更快。高阶分类信息如果暂时拿不到TaxID也可以用“属名”或“科名”先顶着作为备选查询方案。2. 用Gene Fetch工具批量查询NCBI手动一条条查显然不现实。这里有个很顺手的工具——Gene Fetch专为这类批量查询设计能省不少时间。安装bashgit clone https://github.com/bge-barcoding/gene_fetch cd gene_fetch conda env create -n fetch -f fetch.yaml conda activate fetch准备输入文件创建一个birds.csv文件格式如下根据你的数据选一种方式最佳方案用TaxIDcsvsample_id,tax_id Anas_platyrhynchos,8839 Cygnus_olor,8869 ...备选方案用分类信息csvsample_id,species,genus,family,order Anas_platyrhynchos,Anas platyrhynchos,Anas,Anatidae,Anseriformes ...运行查询在终端里执行这行命令工具会自动调用NCBI的API去批量查询bashgene-fetch -e 你的邮箱example.com -k 你的API_KEY \ -g 12S ribosomal RNA \ --type nucleotide \ -i birds.csv \ -o ./wildducklake_12s_results \ --header detailed准备工作-e邮箱填你自己的邮箱就行。-kAPI_KEY需要先去NCBI官网注册一个账号然后在“API Key Management”里生成一个。NCBI对匿名请求有很严格的频率限制但提供了API Key之后每秒能请求10次查询速度会快很多。3. 整理与分析结果命令跑完后在wildducklake_12s_results/目录下会生成这些文件nucleotide/文件夹里面是所有成功查到的12S序列按物种存成了一个个FASTA文件。sequence_references.csv汇总表这个很关键它记录了每个物种的拉丁名、TaxID、序列长度等元数据。直接在这张表里就能清晰地看到哪个物种有数据、哪个没有。failed_searches.csv文件查询失败的物种会记录在这里。针对这批物种你可以进一步判断是NCBI里真的没有数据你可以去Bold Systems等其他数据库再查查看。还是你提供的查询信息比如学名有误 总结与后续第一步是打基础获取物种的拉丁学名是重中之重直接关系到后续所有查询的准确性。善用自动化工具用Gene Fetch这类工具来批量查询NCBI效率远高于手动操作。结果导向最终你会得到一份清晰的清单明确标出哪些物种有12S序列可以构建本地参考库哪些没有可能需要自己补测或尝试多基因鉴定。生成API密钥的步骤成功登录你的NCBIC账户后按照以下步骤生成API密钥进入账户设置在NCBIC任何一个页面的右上角点击你的用户名。在弹出的下拉菜单中选择“Account settings”。找到API密钥管理在“Account Settings”页面中向下滚动直到找到“API Key Management”区域。创建新密钥点击“Create an API Key”按钮。系统将立即生成一串由字母和数字组成的唯一字符串。保存你的API密钥立即复制并保存这是最关键的一步将这个API密钥复制到一个安全的地方例如一个文本文件或密码管理器。提示NCBI的页面说明中提到这串密钥在你关闭页面后可能无法再次查看如果遗失则需要重新生成一个新的。可选设置环境变量为了方便后续在命令行或R/Python脚本中使用可以将此密钥设置为计算机的环境变量。Linux/macOS在终端执行export NCBI_API_KEY你的API密钥Windows (WSL)同样在终端执行export NCBI_API_KEY你的API密钥R语言执行Sys.setenv(PUBMED_API_KEY 你的API密钥)
如何查物种的12S基因片段是否存在于NCBI公共数据库？
如果你已经拿到了一个地区的物种名录下一步就是系统地查询每个物种在NCBI上有没有12S序列。考虑到物种数量多、手动查效率太低我建议你用自动化的方式来搞定。 整体思路整套流程分三步先搞定物种的科学名和分类信息再用工具批量查NCBI最后整理结果。1. 准备一份带拉丁学名和分类的物种清单首先需要把你手里的中文名录转成标准格式——这是后续自动查询的基础。拉丁学名这是必填项是查询的唯一标准。NCBI分类ID (TaxID)最好也一并获取。它是NCBI给每个物种的唯一编号能让查询更准、更快。高阶分类信息如果暂时拿不到TaxID也可以用“属名”或“科名”先顶着作为备选查询方案。2. 用Gene Fetch工具批量查询NCBI手动一条条查显然不现实。这里有个很顺手的工具——Gene Fetch专为这类批量查询设计能省不少时间。安装bashgit clone https://github.com/bge-barcoding/gene_fetch cd gene_fetch conda env create -n fetch -f fetch.yaml conda activate fetch准备输入文件创建一个birds.csv文件格式如下根据你的数据选一种方式最佳方案用TaxIDcsvsample_id,tax_id Anas_platyrhynchos,8839 Cygnus_olor,8869 ...备选方案用分类信息csvsample_id,species,genus,family,order Anas_platyrhynchos,Anas platyrhynchos,Anas,Anatidae,Anseriformes ...运行查询在终端里执行这行命令工具会自动调用NCBI的API去批量查询bashgene-fetch -e 你的邮箱example.com -k 你的API_KEY \ -g 12S ribosomal RNA \ --type nucleotide \ -i birds.csv \ -o ./wildducklake_12s_results \ --header detailed准备工作-e邮箱填你自己的邮箱就行。-kAPI_KEY需要先去NCBI官网注册一个账号然后在“API Key Management”里生成一个。NCBI对匿名请求有很严格的频率限制但提供了API Key之后每秒能请求10次查询速度会快很多。3. 整理与分析结果命令跑完后在wildducklake_12s_results/目录下会生成这些文件nucleotide/文件夹里面是所有成功查到的12S序列按物种存成了一个个FASTA文件。sequence_references.csv汇总表这个很关键它记录了每个物种的拉丁名、TaxID、序列长度等元数据。直接在这张表里就能清晰地看到哪个物种有数据、哪个没有。failed_searches.csv文件查询失败的物种会记录在这里。针对这批物种你可以进一步判断是NCBI里真的没有数据你可以去Bold Systems等其他数据库再查查看。还是你提供的查询信息比如学名有误 总结与后续第一步是打基础获取物种的拉丁学名是重中之重直接关系到后续所有查询的准确性。善用自动化工具用Gene Fetch这类工具来批量查询NCBI效率远高于手动操作。结果导向最终你会得到一份清晰的清单明确标出哪些物种有12S序列可以构建本地参考库哪些没有可能需要自己补测或尝试多基因鉴定。生成API密钥的步骤成功登录你的NCBIC账户后按照以下步骤生成API密钥进入账户设置在NCBIC任何一个页面的右上角点击你的用户名。在弹出的下拉菜单中选择“Account settings”。找到API密钥管理在“Account Settings”页面中向下滚动直到找到“API Key Management”区域。创建新密钥点击“Create an API Key”按钮。系统将立即生成一串由字母和数字组成的唯一字符串。保存你的API密钥立即复制并保存这是最关键的一步将这个API密钥复制到一个安全的地方例如一个文本文件或密码管理器。提示NCBI的页面说明中提到这串密钥在你关闭页面后可能无法再次查看如果遗失则需要重新生成一个新的。可选设置环境变量为了方便后续在命令行或R/Python脚本中使用可以将此密钥设置为计算机的环境变量。Linux/macOS在终端执行export NCBI_API_KEY你的API密钥Windows (WSL)同样在终端执行export NCBI_API_KEY你的API密钥R语言执行Sys.setenv(PUBMED_API_KEY 你的API密钥)
