GATK BaseRecalibratorSpark 过程中因Too many open files终止

这篇具有很好参考价值的文章主要介绍了GATK BaseRecalibratorSpark 过程中因Too many open files终止。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Error:
GATK BaseRecalibratorSpark 过程中因Too many open files终止
执行命令:

nohup time ./gatk --java-options "-Xmx16G" BaseRecalibratorSpark -R 
../../alignment/hg38/hg38.fa  -I ../../alignment/bam/P368T.sorted.markdup.bam 
--known-sites ./bundle/1000G_phase1.snps.high_confidence.hg38.vcf.gz 
--known-sites ./bundle/Mills_and_1000G_gold_standard.indels.hg38.vcf.gz 
--known-sites ./bundle/dbsnp_138.hg38.vcf.gz 
-O ../../alignment/bam/P368T.sorted.markdup.recal_data.table 
> ../../alignment/log/P368T_BQSR.log 2>&1 &

日志信息:

GATK BaseRecalibratorSpark 过程中因Too many open files终止,debug,生物信息,Linux
错误分析:
GATK 集成的Spark运行过程中会打开多个文件,而我使用的服务器版RStudio的Terminal限制了打开的文件数量最多为4096
可以通过命令 ulimit -n 查看当前用户能打开的最多文件数量。

解决方法:
我使用的服务器给每个用户分配的最多打开文件数量是409600,会出现too many open files是因为RStudio的Terminal限制,所以直接使用ssh连接服务器执行命令既可以解决问题。文章来源地址https://www.toymoban.com/news/detail-636938.html

到了这里,关于GATK BaseRecalibratorSpark 过程中因Too many open files终止的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包赞助服务器费用

相关文章

  • MacOS系统启动React前端项目时报错Error: EMFILE: too many open files, open解决方法

    MacOS系统启动React前端项目时报错Error: EMFILE: too many open files, open解决方法

    最近在开发React的前端微应用,启动时模块构建报错Module build failed, Error: EMFILE: too many open files, 如下图所示:  Error: EMFILE: too many open files的错误,经排查是因为单个微应用项目较大, 发布过程中已经超过了mac默认的文件监听上限。 通常这类错误的原因是因为linux或MacOS的文

    2024年02月07日
    浏览(11)
  • Linux报too many open files的解决方案及 lsof、sysctl 命令介绍

    服务器异常: 一串的etc下的shell文件报 /etc/profile.d/bash_completion.sh: Too many open files in system 查看当前操作系统允许打开的文件数 发现设置为655360,执行lsof|wc -l命令为871031,和设定的值还有很大差距,为什么还会报too many open files呢,突然想起还有一个地方设置最大文件数 使用命

    2024年02月21日
    浏览(11)
  • 解决TortoiseGit软件Git Show log时显示Too many files to display的问题

    解决TortoiseGit软件Git Show log时显示Too many files to display的问题

    有时代码提交修改的文件比较多,当查看log时无法显示出来修改的文件列表,如下所示: 将LogTooManyItemsThreshold尽可能配置得大一些。 https://gitlab.com/tortoisegit/tortoisegit/-/issues/3878

    2024年04月12日
    浏览(41)
  • SparkSQL列数量比较多引发的Too many arguments in method signature in class file问题

    我在写一个Spark程序的时候,做两个表的关联,其中一个表为feature表,一共有96个特征,我使用下面的 代码片 的时候 在运行的时候会报错 在运行日志里面还有下面的错误提示 增加一行: .config(\\\"spark.sql.codegen.wholeStage\\\", value = false) 这个错误一般是由于 JVM 的方法参数限制所导

    2024年02月08日
    浏览(9)
  • 【MySQL系列】Too many connections

    【MySQL系列】Too many connections

    💝💝💝欢迎来到我的博客,很高兴能够在这里和您见面!希望您在这里可以感受到一份轻松愉快的氛围,不仅可以获得有趣的内容和知识,也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学习,不断总结,共同进步,活到老学到老 导航 檀越剑指大厂系列:全面总

    2024年01月21日
    浏览(11)
  • Mysql “Too many connections“ 异常

    当Mysql 数据库抛出如下异常 Caused by: com.mysql.cj.exceptions.CJException: Data source rejected establishment of connection,  message from server: \\\"Too many connections\\\"     at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)     at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:

    2024年02月12日
    浏览(10)
  • MySQL出现too many connections错误

    MySQL出现too many connections错误

    1、现象 navicat连接MySQL时报 too many connections 错误 2、原因 my.ini 中设定的并发连接数太少或者系统繁忙导致连接数被占满。 连接数超过了 MySQL 设置的值,与 max_connections 和 wait_timeout 都有关。 wait_timeout 的值越大,连接的空闲等待就越长,这样就会造成当前连接数越大。 3、解

    2024年02月11日
    浏览(12)
  • elasticsearch Too many dynamic script 问题

    elasticsearch Too many dynamic script 问题

    报错: Caused by: ElasticsearchException [Elasticsearch exception [type=circuit_breaking_exception, reason=[script]  Too many dynamic script compilations within, max: [75/5m];  please use indexed, or scripts with parameters instead;  this limit can be changed by the [script.max_compilations_rate] setting]]   解决方案:更

    2024年02月16日
    浏览(12)
  • MySQL提示“too many connections“的解决方法

    MySQL提示“too many connections“的解决方法

     最近使用mysql8.0.23的时候连接数据库时发现提示报错,出现mysql too many connection 的异常。经过查询发现是mysql的系统自带的连接数太小,连接的线程超过系统配置导致出现错误。 1. 首先登录mysql终端,输入 show variables like \\\"max_connections\\\"; ,查看最大连接数。 修改最大连接数:

    2024年02月16日
    浏览(13)
  • ES执行报错:too_many_clause

    问题原因: bool 查询拼接太多了,有一个拼接上限,es默认设置为1024 解决方法:

    2024年02月12日
    浏览(11)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包