<br><br>----- Original Message -----<br>From: LuLanyuan &lt;lulanyuan@msn.com&gt;<br>Date: Saturday, June 5, 2010 5:04<br>Subject: RE: [gmx-users] PME problem on BG/P cluster<br>To: gmx-users@gromacs.org<br><br><span><p>  <style><!-- .hmmessage P { margin:0px; padding:0px } body.hmmessage { font-size: 10pt; font-family:Verdana } --></style> <table><tbody><tr><td class="hmmessage"><p><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font> Hi, <br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>Thanks for all the suggestions.<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>Actually I also tried it without the ativec flag (using the same flags as those on the wiki) and the outcome was the same.<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>I did test it with the fftw3 officially installed on the cluster, and got the same error. Because the problem is related to PME, my first guess is that it may due to fftw and then tried it with fftpack. However, I also did many tests with fftw-3 and got similar results.</p><p><br></p><p>OK, so what about my other suggestions?</p><p><br></p><p>Mark<br></p><p><br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>Thanks,<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>Lanyuan Lu <br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font><br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; Date: Fri, 4 Jun 2010 19:32:45 +0200<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; From: spoel@xray.bmc.uu.se<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; To: gmx-users@gromacs.org<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; Subject: Re: [gmx-users] PME problem on BG/P cluster<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; <br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; On 2010-06-04 17.49, LuLanyuan wrote:<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; Hello,<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; I got a weird problem by running Gromacs 4.0.7 on a BG/P machine <br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; ("Intrepid" at Argonne national lab).<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; The simulated system is a box of SPC water with 648,000 atoms and all MD <br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; simulations were performed on 256 CPU co  res with MPI. The compiling <br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; environment was Linux with IBM compiler and libs.<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; I first compile the code with flags suggested on the Wiki, such as:<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; ./configure --prefix=$PREFIX \<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; --host=ppc \<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; --build=ppc64 \<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; --disable-software-sqrt \<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; --enable-ppc-sqrt=1 \<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; &amp;n bsp; --enable-ppc-altivec \<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; --enable-bluegene \<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; --disable-fortran \<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; --enable-mpi \<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; --with-fft=fftpack \<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; --without-x \<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; CC="mpixlc_r" \<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; CFLAGS="-O3 -qarc h=450d -qtune=450" \<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; MPICC="mpixlc_r"<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; CXX="mpixlcxx_r"<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; CXXFLAGS="-O3 -qarch=450 -qtune=450"<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; F77="mpixlf77_r"<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; FFLAGS="-O3 -qarch=450 -qtune=450"<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; LIBS="-lmass"<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; <br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; Here I used fftpack to ensure that the problem is not due to the fftw <br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; lib. I got the water system runni  ng will with Cut-off for <br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; electrostatics. However, the systems always crashed after a few ( ~100) <br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; steps if I used PME. The same system with same PME option runs fine on <br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; other non-blue gene clusters I tested.<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; The error message I got was sth like<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; t = 0.100 ps: Water molecule starting at atom 403468 can not be settled.<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; Check for bad contacts and/or reduce the timestep.<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; Wrote pdb files with previous and current coordinates.<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; <br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; and<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; <br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; 2 particles communicated to PME node 63 are more than a cell length out <br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; of the domain decomposition cell of their charge group<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; <br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt;  From .log file, the kinetic energy is increasing and turned to be <br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; "nan". So the system is exploding.<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; <br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; I found if I turned off the blue gene optimizations during configure, <br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; the water system co  uld be run without problem. For example, I used<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; --enable-software-sqrt \<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; --disable-ppc-sqrt \<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; --disable-bluegene \<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; and everything else was the same.<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; I suspect there was an issue regarding the blue gene specific code and PME.<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt; Could anyone give any comments?<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; &gt;<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; I would strongly suggest to use FFTW3.<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; All other FFT libraries are not so well tested.<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; <br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; -- <br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; David van der Spoel, Ph.D., Professor of Biology<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; Dept. of Cell &amp; Molec. Biol., Uppsala University.<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; Box 596, 75124 Uppsala, Sweden. Phone:        +46184714205.<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; spoel@xray.bmc.uu.se    http://folding.bmc.uu.se<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; -- <br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; gmx-users mailing list    gmx-users@gromacs.org<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; http://lists.gromacs.org/mailman/listinfo/gmx-users<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; Please search the archive at http://www.gromacs.org/search before posting!<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; Please don't post (un)subscribe requests to the list. Use the   <br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; www interface or send it to gmx-users-request@gromacs.org.<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>&gt; Can't post? Read http://www.gromacs.org/mailing_lists/users.p hp<br><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>                                               <br></p><hr><font style="font-style: normal; font-weight: normal; background-color: rgb(245, 248, 240); font-size: 14px;">&gt; </font>更多热辣资讯尽在新版MSN首页! <a href="http://cn.msn.com/" target="1">立刻访问!</a></td></tr></tbody></table> </p></span>&gt; -- <br>&gt; gmx-users mailing list&nbsp;&nbsp;&nbsp; gmx-users@gromacs.org<br>&gt; http://lists.gromacs.org/mailman/listinfo/gmx-users<br>&gt; Please search the archive at http://www.gromacs.org/search <br>&gt; before posting!<br>&gt; Please don't post (un)subscribe requests to the list. Use the <br>&gt; www interface or send it to gmx-users-request@gromacs.org.<br>&gt; Can't post? Read http://www.gromacs.org/mailing_lists/users.php