Hi,<div><br></div><div>The CUDA plain cut-off kernel&#39;s pointer was incorrectly assigned (stupid copy-paste bug). Just pushed a bugfix: <a href="https://gerrit.gromacs.org/#/c/1553/">https://gerrit.gromacs.org/#/c/1553/</a></div>
<div><br></div><div>Cheers,<br clear="all">--<br>Szilárd<br>
<br><br><div class="gmail_quote">On Fri, Oct 19, 2012 at 3:20 PM, Szilárd Páll <span dir="ltr">&lt;<a href="mailto:szilard.pall@cbr.su.se" target="_blank">szilard.pall@cbr.su.se</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Hi,<div><br></div><div>That sounds like a nasty bug that I have not seen for quite a while. This happens generally when some serious memory corruption puts the GPU in a &quot;bad state&quot;. For the future, you could try to reset the GPU by reloading the driver, but if that does not help you will have to reboot.</div>

<div><br></div><div>I was able to reproduce the bug and in fact on our development machine the NVIDIA driver seems to get into a messed up state in which mdrun will hang, no matter whether I launch in on the GTX 580 or 680. Reloading the driver seems to fix this issue.</div>

<div><br></div><div>Thanks for the report, I&#39;ll looking into this bug and will give you an update!</div><div><br></div><div>Cheers,</div><div>--<br>Szilárd<div><div class="h5"><br>
<br><br><div class="gmail_quote">On Fri, Oct 19, 2012 at 12:01 PM, Carsten Kutzner <span dir="ltr">&lt;<a href="mailto:ckutzne@gwdg.de" target="_blank">ckutzne@gwdg.de</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

Hi,<br>
<br>
we updated to the newest driver, but later I found that this crash is caused by<br>
a .tpr file with Coulomb-type=cutoff instead of PME:<br>
<br>
- I start with a PME .tpr file that runs with the recent 4.6 on both a GTX580 and 680,<br>
  and even using both<br>
- I change to cutoff setting (no other changes!); this tpr still runs on the 580,<br>
  but on the 680 produces the fatal error:<br>
<div>  &quot;cudaStreamSynchronize failed in cu_blockwait_nb: unspecified launch failure&quot;<br>
</div>  Moreover, after that any other mdrun using any GPU on that node will read in the<br>
  previously working, PME) .tpr file and then hang. After rebooting, I can again<br>
  run the PME .tpr file.<br>
<span><font color="#888888"><br>
Carsten<br>
</font></span><div><div><br>
<br>
<br>
On Oct 17, 2012, at 3:10 PM, Szilárd Páll &lt;<a href="mailto:szilard.pall@cbr.su.se" target="_blank">szilard.pall@cbr.su.se</a>&gt; wrote:<br>
<br>
&gt; HI,<br>
&gt;<br>
&gt; Your driver might be simply too old for a GTX680. You&#39;ll need at least a very late 295.xx driver and preferably the 304.54 (or later).<br>
&gt;<br>
&gt; Cheers,<br>
&gt; --<br>
&gt; Szilárd<br>
&gt;<br>
&gt;<br>
&gt; On Wed, Oct 17, 2012 at 2:10 PM, Carsten Kutzner &lt;<a href="mailto:ckutzne@gwdg.de" target="_blank">ckutzne@gwdg.de</a>&gt; wrote:<br>
&gt; BTW this executable works on a GTX580, but shows the fatal error<br>
&gt; on a GTX680 - both mounted in the same workstation.<br>
&gt;<br>
&gt; Carsten<br>
&gt;<br>
&gt;<br>
&gt; On Oct 17, 2012, at 12:05 PM, Carsten Kutzner &lt;<a href="mailto:ckutzne@gwdg.de" target="_blank">ckutzne@gwdg.de</a>&gt; wrote:<br>
&gt;<br>
&gt; &gt; Hi,<br>
&gt; &gt;<br>
&gt; &gt; what am I doing wrong if I get this error code:<br>
&gt; &gt;<br>
&gt; &gt; -------------------------------------------------------<br>
&gt; &gt; Program mdrun_threads, VERSION 4.6-dev-20121016-4af4561<br>
&gt; &gt; Source code file: /home/ckutzne/installations/git-gromacs-4-6-department/src/mdlib/nbnxn_cuda/<a href="http://nbnxn_cuda.cu" target="_blank">nbnxn_cuda.cu</a>, line: 558<br>
&gt; &gt;<br>
&gt; &gt; Fatal error:<br>
&gt; &gt; cudaStreamSynchronize failed in cu_blockwait_nb: unspecified launch failure<br>
&gt; &gt;<br>
&gt; &gt; For more information and tips for troubleshooting, please check the GROMACS<br>
&gt; &gt; website at <a href="http://www.gromacs.org/Documentation/Errors" target="_blank">http://www.gromacs.org/Documentation/Errors</a><br>
&gt; &gt; -------------------------------------------------------<br>
&gt; &gt;<br>
&gt; &gt; Thanks,<br>
&gt; &gt; Carsten<br>
&gt; &gt; --<br>
&gt; &gt; gmx-developers mailing list<br>
&gt; &gt; <a href="mailto:gmx-developers@gromacs.org" target="_blank">gmx-developers@gromacs.org</a><br>
&gt; &gt; <a href="http://lists.gromacs.org/mailman/listinfo/gmx-developers" target="_blank">http://lists.gromacs.org/mailman/listinfo/gmx-developers</a><br>
&gt; &gt; Please don&#39;t post (un)subscribe requests to the list. Use the www interface or send it to <a href="mailto:gmx-developers-request@gromacs.org" target="_blank">gmx-developers-request@gromacs.org</a>.<br>
&gt;<br>
&gt;<br>
&gt; --<br>
&gt; Dr. Carsten Kutzner<br>
&gt; Max Planck Institute for Biophysical Chemistry<br>
&gt; Theoretical and Computational Biophysics<br>
&gt; Am Fassberg 11, 37077 Goettingen, Germany<br>
&gt; Tel. <a href="tel:%2B49-551-2012313" value="+495512012313" target="_blank">+49-551-2012313</a>, Fax: <a href="tel:%2B49-551-2012302" value="+495512012302" target="_blank">+49-551-2012302</a><br>
&gt; <a href="http://www.mpibpc.mpg.de/grubmueller/kutzner" target="_blank">http://www.mpibpc.mpg.de/grubmueller/kutzner</a><br>
&gt;<br>
&gt; --<br>
&gt; gmx-developers mailing list<br>
&gt; <a href="mailto:gmx-developers@gromacs.org" target="_blank">gmx-developers@gromacs.org</a><br>
&gt; <a href="http://lists.gromacs.org/mailman/listinfo/gmx-developers" target="_blank">http://lists.gromacs.org/mailman/listinfo/gmx-developers</a><br>
&gt; Please don&#39;t post (un)subscribe requests to the list. Use the<br>
&gt; www interface or send it to <a href="mailto:gmx-developers-request@gromacs.org" target="_blank">gmx-developers-request@gromacs.org</a>.<br>
&gt;<br>
&gt; --<br>
&gt; gmx-developers mailing list<br>
&gt; <a href="mailto:gmx-developers@gromacs.org" target="_blank">gmx-developers@gromacs.org</a><br>
&gt; <a href="http://lists.gromacs.org/mailman/listinfo/gmx-developers" target="_blank">http://lists.gromacs.org/mailman/listinfo/gmx-developers</a><br>
&gt; Please don&#39;t post (un)subscribe requests to the list. Use the<br>
&gt; www interface or send it to <a href="mailto:gmx-developers-request@gromacs.org" target="_blank">gmx-developers-request@gromacs.org</a>.<br>
<br>
<br>
--<br>
Dr. Carsten Kutzner<br>
Max Planck Institute for Biophysical Chemistry<br>
Theoretical and Computational Biophysics<br>
Am Fassberg 11, 37077 Goettingen, Germany<br>
Tel. <a href="tel:%2B49-551-2012313" value="+495512012313" target="_blank">+49-551-2012313</a>, Fax: <a href="tel:%2B49-551-2012302" value="+495512012302" target="_blank">+49-551-2012302</a><br>
<a href="http://www.mpibpc.mpg.de/grubmueller/kutzner" target="_blank">http://www.mpibpc.mpg.de/grubmueller/kutzner</a><br>
<br>
--<br>
gmx-developers mailing list<br>
<a href="mailto:gmx-developers@gromacs.org" target="_blank">gmx-developers@gromacs.org</a><br>
<a href="http://lists.gromacs.org/mailman/listinfo/gmx-developers" target="_blank">http://lists.gromacs.org/mailman/listinfo/gmx-developers</a><br>
Please don&#39;t post (un)subscribe requests to the list. Use the<br>
www interface or send it to <a href="mailto:gmx-developers-request@gromacs.org" target="_blank">gmx-developers-request@gromacs.org</a>.<br>
</div></div></blockquote></div><br></div></div></div>
</blockquote></div><br></div>