<div dir="ltr">Hi Carsten and Justin,<br>I am interrupting here as I tried with the option u suggested..<br>I tried cut-off instead of PME as coulombtype option it is running well for 24 processor, then I tried with 60 processor , following is the result I am getting<br>
<br>Result1: When tried for 50 ps of run on 24 processors, with PME took 12:29 in comparison to 7:54 with cut-off <br><br>Result2: When tried for 500 ps of run on 60 processors, with PME it is giving same segmentation fault again and with cut-off it is giving LINCS warning and exiting with writing the intermediate step.pdb<br>
&nbsp;<br>Can you suggest some more option that I can try for scaling experiment...<br>Also I tried with shuffle and sort option it didn&#39;t worked for me as my system is simply one protein molecule in a ater box (around 45000 no. of atoms) <br>
 connected Gromacs version I am using is 3.3.3 and the hardware is like all nodes contain quad-core 3.0 GHz Intel Xeon processors connected via infiniband.<br><br>With Thanks,<br>Vivek<br><br><div class="gmail_quote">2008/9/26 Carsten Kutzner <span dir="ltr">&lt;<a href="mailto:ckutzne@gwdg.de">ckutzne@gwdg.de</a>&gt;</span><br>
<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">Hi Tiago,<br>
<br>
if you swith off PME and suddenly your system scales, then the<br>
problems are likely to result from bad MPI_Alltoall performance. Maybe<br>
this is worth a check. If this is the case, there&#39;s a lot more information<br>
about this in the paper &quot;Speeding up parallel GROMACS on high-<br>
latency networks&quot; from 2007 to which you will also find link on the<br>
gromacs webpage.<br>
<br>
What you can also do to track down the problem is to compile gromacs with<br>
MPE logging, for which you have to enable the #define USE_MPE macro at the<br>
begin of mpelogging.h (you will have to use gmx version 4, though). You<br>
will get a logfile which you can view with jumpshot then. The MPE tools<br>
come with the MPICH MPI distribution.<br>
<br>
Carsten<br>
<br>
<br>
Tiago Marques wrote:<br>
<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;"><div class="Ih2E3d">
We currently have no funds available to migrate to infiniband but we will in the future.<br>
<br>
I thought on doing interface bonding but I really think that isn&#39;t really the problem here, there must be something I&#39;m missing, since most applications scale well to 32 cores on GbE. I can&#39;t scale any application to more than 8 though.<br>

<br>
Best regards, <br>
 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Tiago Marques<br>
<br>
<br></div><div class="Ih2E3d">
On Tue, Sep 23, 2008 at 6:30 PM, Diego Enry &lt;<a href="mailto:diego.enry@gmail.com" target="_blank">diego.enry@gmail.com</a> &lt;mailto:<a href="mailto:diego.enry@gmail.com" target="_blank">diego.enry@gmail.com</a>&gt;&gt; wrote:<br>

<br>
 &nbsp; &nbsp;Tiago you can try merging two network interfaces with &quot;channel<br>
 &nbsp; &nbsp;bonding&quot; it&#39;s native on all new (2.6.x) linux kernels. You only need<br>
 &nbsp; &nbsp;two network adapters (most dual socket boards come with then), two<br>
 &nbsp; &nbsp;network switches ( or two VPN on the same switch).<br>
<br>
 &nbsp; &nbsp;To tell you the truth, you will not much improvement even with the<br>
 &nbsp; &nbsp;latest gromacs version (4beta). However other software that may be<br>
 &nbsp; &nbsp;used by your group like NAMD, GAMESS, will benefit a lot from this<br>
 &nbsp; &nbsp;approach. (it almost doubles network bandwidth)<br>
<br>
 &nbsp; &nbsp;The best solution for gromacs is to migrate to infiniband. Go for it,<br>
 &nbsp; &nbsp;it is not super expensive anymore.<br>
<br>
<br>
 &nbsp; &nbsp;On Tue, Sep 23, 2008 at 1:48 PM, Jochen Hub &lt;<a href="mailto:jhub@gwdg.de" target="_blank">jhub@gwdg.de</a><br></div><div class="Ih2E3d">
 &nbsp; &nbsp;&lt;mailto:<a href="mailto:jhub@gwdg.de" target="_blank">jhub@gwdg.de</a>&gt;&gt; wrote:<br>
 &nbsp; &nbsp; &gt; Tiago Marques wrote:<br>
 &nbsp; &nbsp; &gt;&gt; I don&#39;t know how large the system is. I&#39;m the cluster&#39;s system<br>
 &nbsp; &nbsp;administrator<br>
 &nbsp; &nbsp; &gt;&gt; and don&#39;t understand much of what&#39;s going on. The test was given<br>
 &nbsp; &nbsp;to me by a<br>
 &nbsp; &nbsp; &gt;&gt; person who works with it. I can ask him or look at it, if you<br>
 &nbsp; &nbsp;can point me<br>
 &nbsp; &nbsp; &gt;&gt; how to do it.<br>
 &nbsp; &nbsp; &gt;<br>
 &nbsp; &nbsp; &gt; Hi,<br>
 &nbsp; &nbsp; &gt;<br>
 &nbsp; &nbsp; &gt; you can count the nr of atoms in the structure:<br>
 &nbsp; &nbsp; &gt;<br>
 &nbsp; &nbsp; &gt; grep -c ATOM protein.pdb<br>
 &nbsp; &nbsp; &gt;<br>
 &nbsp; &nbsp; &gt; Jochen<br>
 &nbsp; &nbsp; &gt;<br>
 &nbsp; &nbsp; &gt;&gt;<br>
 &nbsp; &nbsp; &gt;&gt; Thanks, I will look at some of his posts.<br>
 &nbsp; &nbsp; &gt;&gt;<br>
 &nbsp; &nbsp; &gt;&gt; Best regards,<br>
 &nbsp; &nbsp; &gt;&gt;<br>
 &nbsp; &nbsp; &gt;&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Tiago Marques<br>
 &nbsp; &nbsp; &gt;&gt;<br>
 &nbsp; &nbsp; &gt;&gt;<br>
 &nbsp; &nbsp; &gt;&gt; On Tue, Sep 23, 2008 at 4:03 PM, Jochen Hub &lt;<a href="mailto:jhub@gwdg.de" target="_blank">jhub@gwdg.de</a><br></div><div><div></div><div class="Wj3C7c">
 &nbsp; &nbsp;&lt;mailto:<a href="mailto:jhub@gwdg.de" target="_blank">jhub@gwdg.de</a>&gt;&gt; wrote:<br>
 &nbsp; &nbsp; &gt;&gt; Tiago Marques wrote:<br>
 &nbsp; &nbsp; &gt;&gt;&gt; Hi!<br>
 &nbsp; &nbsp; &gt;&gt;&gt;<br>
 &nbsp; &nbsp; &gt;&gt;&gt; I&#39;ve been using Gromacs on dual-socket quad-core Xeons with<br>
 &nbsp; &nbsp;8GiB of RAM,<br>
 &nbsp; &nbsp; &gt;&gt;&gt; connected with Gigabit Ethernet and I always seem to have<br>
 &nbsp; &nbsp;problems scaling<br>
 &nbsp; &nbsp; &gt;&gt;&gt; to more than a node.<br>
 &nbsp; &nbsp; &gt;&gt;&gt;<br>
 &nbsp; &nbsp; &gt;&gt;&gt; When I run a test on 16 cores, it does run but the result is<br>
 &nbsp; &nbsp;often slower<br>
 &nbsp; &nbsp; &gt;&gt;&gt; than when running on only 8 cores on the same machine. The best<br>
 &nbsp; &nbsp;result<br>
 &nbsp; &nbsp; &gt;&gt; I&#39;ve<br>
 &nbsp; &nbsp; &gt;&gt;&gt; managed is not being slower than 8 cores on 16.<br>
 &nbsp; &nbsp; &gt;&gt;&gt;<br>
 &nbsp; &nbsp; &gt;&gt;&gt; What am I missing here, or are the tests inappropriate to run<br>
 &nbsp; &nbsp;over more<br>
 &nbsp; &nbsp; &gt;&gt; than<br>
 &nbsp; &nbsp; &gt;&gt;&gt; one machine?<br>
 &nbsp; &nbsp; &gt;&gt;<br>
 &nbsp; &nbsp; &gt;&gt; How large is your system? Which gromacs version are you using?<br>
 &nbsp; &nbsp; &gt;&gt;<br>
 &nbsp; &nbsp; &gt;&gt; And have a look at the messages by Carsten Kutzner in this list, he<br>
 &nbsp; &nbsp; &gt;&gt; wrote a lot on gromacs scaling.<br>
 &nbsp; &nbsp; &gt;&gt;<br>
 &nbsp; &nbsp; &gt;&gt; Jochen<br>
 &nbsp; &nbsp; &gt;&gt;<br>
 &nbsp; &nbsp; &gt;&gt;&gt; Best regards,<br>
 &nbsp; &nbsp; &gt;&gt;&gt;<br>
 &nbsp; &nbsp; &gt;&gt;&gt; Tiago Marques<br>
 &nbsp; &nbsp; &gt;&gt;&gt;<br>
 &nbsp; &nbsp; &gt;&gt;&gt;<br>
 &nbsp; &nbsp; &gt;&gt;&gt;<br>
 &nbsp; &nbsp; &gt;&gt;&gt;<br>
 &nbsp; &nbsp;------------------------------------------------------------------------<br>
 &nbsp; &nbsp; &gt;&gt;&gt;<br>
 &nbsp; &nbsp; &gt;&gt;&gt; _______________________________________________<br>
 &nbsp; &nbsp; &gt;&gt;&gt; gmx-users mailing list <a href="mailto:gmx-users@gromacs.org" target="_blank">gmx-users@gromacs.org</a><br></div></div>
 &nbsp; &nbsp;&lt;mailto:<a href="mailto:gmx-users@gromacs.org" target="_blank">gmx-users@gromacs.org</a>&gt;<div class="Ih2E3d"><br>
 &nbsp; &nbsp; &gt;&gt;&gt; <a href="http://www.gromacs.org/mailman/listinfo/gmx-users" target="_blank">http://www.gromacs.org/mailman/listinfo/gmx-users</a><br>
 &nbsp; &nbsp; &gt;&gt;&gt; Please search the archive at <a href="http://www.gromacs.org/search" target="_blank">http://www.gromacs.org/search</a><br>
 &nbsp; &nbsp;before posting!<br>
 &nbsp; &nbsp; &gt;&gt;&gt; Please don&#39;t post (un)subscribe requests to the list. Use the<br>
 &nbsp; &nbsp; &gt;&gt;&gt; www interface or send it to <a href="mailto:gmx-users-request@gromacs.org" target="_blank">gmx-users-request@gromacs.org</a><br></div>
 &nbsp; &nbsp;&lt;mailto:<a href="mailto:gmx-users-request@gromacs.org" target="_blank">gmx-users-request@gromacs.org</a>&gt;.<div class="Ih2E3d"><br>
 &nbsp; &nbsp; &gt;&gt;&gt; Can&#39;t post? Read <a href="http://www.gromacs.org/mailing_lists/users.php" target="_blank">http://www.gromacs.org/mailing_lists/users.php</a><br>
 &nbsp; &nbsp; &gt;&gt;<br>
 &nbsp; &nbsp; &gt;&gt;<br>
 &nbsp; &nbsp; &gt;&gt; --<br>
 &nbsp; &nbsp; &gt;&gt; ************************************************<br>
 &nbsp; &nbsp; &gt;&gt; Dr. Jochen Hub<br>
 &nbsp; &nbsp; &gt;&gt; Max Planck Institute for Biophysical Chemistry<br>
 &nbsp; &nbsp; &gt;&gt; Computational biomolecular dynamics group<br>
 &nbsp; &nbsp; &gt;&gt; Am Fassberg 11<br>
 &nbsp; &nbsp; &gt;&gt; D-37077 Goettingen, Germany<br></div>
 &nbsp; &nbsp; &gt;&gt; Email: jhub[at]<a href="http://gwdg.de" target="_blank">gwdg.de</a> &lt;<a href="http://gwdg.de" target="_blank">http://gwdg.de</a>&gt;<div class="Ih2E3d"><br>
 &nbsp; &nbsp; &gt;&gt; Tel.: +49 (0)551 201-2312<br>
 &nbsp; &nbsp; &gt;&gt; ************************************************<br>
 &nbsp; &nbsp; &gt;&gt; _______________________________________________<br>
 &nbsp; &nbsp; &gt;&gt; gmx-users mailing list <a href="mailto:gmx-users@gromacs.org" target="_blank">gmx-users@gromacs.org</a><br></div>
 &nbsp; &nbsp;&lt;mailto:<a href="mailto:gmx-users@gromacs.org" target="_blank">gmx-users@gromacs.org</a>&gt;<div class="Ih2E3d"><br>
 &nbsp; &nbsp; &gt;&gt; <a href="http://www.gromacs.org/mailman/listinfo/gmx-users" target="_blank">http://www.gromacs.org/mailman/listinfo/gmx-users</a><br>
 &nbsp; &nbsp; &gt;&gt; Please search the archive at <a href="http://www.gromacs.org/search" target="_blank">http://www.gromacs.org/search</a><br>
 &nbsp; &nbsp;before posting!<br>
 &nbsp; &nbsp; &gt;&gt; Please don&#39;t post (un)subscribe requests to the list. Use the<br>
 &nbsp; &nbsp; &gt;&gt; www interface or send it to <a href="mailto:gmx-users-request@gromacs.org" target="_blank">gmx-users-request@gromacs.org</a><br></div>
 &nbsp; &nbsp;&lt;mailto:<a href="mailto:gmx-users-request@gromacs.org" target="_blank">gmx-users-request@gromacs.org</a>&gt;.<div class="Ih2E3d"><br>
 &nbsp; &nbsp; &gt;&gt; Can&#39;t post? Read <a href="http://www.gromacs.org/mailing_lists/users.php" target="_blank">http://www.gromacs.org/mailing_lists/users.php</a><br>
 &nbsp; &nbsp; &gt;&gt;<br>
 &nbsp; &nbsp; &gt;&gt;<br>
 &nbsp; &nbsp; &gt;&gt;<br>
 &nbsp; &nbsp; &gt;&gt;<br>
 &nbsp; &nbsp;------------------------------------------------------------------------<br>
 &nbsp; &nbsp; &gt;&gt;<br>
 &nbsp; &nbsp; &gt;&gt; _______________________________________________<br>
 &nbsp; &nbsp; &gt;&gt; gmx-users mailing list &nbsp; &nbsp;<a href="mailto:gmx-users@gromacs.org" target="_blank">gmx-users@gromacs.org</a><br></div>
 &nbsp; &nbsp;&lt;mailto:<a href="mailto:gmx-users@gromacs.org" target="_blank">gmx-users@gromacs.org</a>&gt;<div class="Ih2E3d"><br>
 &nbsp; &nbsp; &gt;&gt; <a href="http://www.gromacs.org/mailman/listinfo/gmx-users" target="_blank">http://www.gromacs.org/mailman/listinfo/gmx-users</a><br>
 &nbsp; &nbsp; &gt;&gt; Please search the archive at <a href="http://www.gromacs.org/search" target="_blank">http://www.gromacs.org/search</a><br>
 &nbsp; &nbsp;before posting!<br>
 &nbsp; &nbsp; &gt;&gt; Please don&#39;t post (un)subscribe requests to the list. Use the<br>
 &nbsp; &nbsp; &gt;&gt; www interface or send it to <a href="mailto:gmx-users-request@gromacs.org" target="_blank">gmx-users-request@gromacs.org</a><br></div>
 &nbsp; &nbsp;&lt;mailto:<a href="mailto:gmx-users-request@gromacs.org" target="_blank">gmx-users-request@gromacs.org</a>&gt;.<div class="Ih2E3d"><br>
 &nbsp; &nbsp; &gt;&gt; Can&#39;t post? Read <a href="http://www.gromacs.org/mailing_lists/users.php" target="_blank">http://www.gromacs.org/mailing_lists/users.php</a><br>
 &nbsp; &nbsp; &gt;<br>
 &nbsp; &nbsp; &gt;<br>
 &nbsp; &nbsp; &gt; --<br>
 &nbsp; &nbsp; &gt; ************************************************<br>
 &nbsp; &nbsp; &gt; Dr. Jochen Hub<br>
 &nbsp; &nbsp; &gt; Max Planck Institute for Biophysical Chemistry<br>
 &nbsp; &nbsp; &gt; Computational biomolecular dynamics group<br>
 &nbsp; &nbsp; &gt; Am Fassberg 11<br>
 &nbsp; &nbsp; &gt; D-37077 Goettingen, Germany<br></div>
 &nbsp; &nbsp; &gt; Email: jhub[at]<a href="http://gwdg.de" target="_blank">gwdg.de</a> &lt;<a href="http://gwdg.de" target="_blank">http://gwdg.de</a>&gt;<div class="Ih2E3d"><br>
 &nbsp; &nbsp; &gt; Tel.: +49 (0)551 201-2312<br>
 &nbsp; &nbsp; &gt; ************************************************<br>
 &nbsp; &nbsp; &gt; _______________________________________________<br>
 &nbsp; &nbsp; &gt; gmx-users mailing list &nbsp; &nbsp;<a href="mailto:gmx-users@gromacs.org" target="_blank">gmx-users@gromacs.org</a><br></div>
 &nbsp; &nbsp;&lt;mailto:<a href="mailto:gmx-users@gromacs.org" target="_blank">gmx-users@gromacs.org</a>&gt;<div class="Ih2E3d"><br>
 &nbsp; &nbsp; &gt; <a href="http://www.gromacs.org/mailman/listinfo/gmx-users" target="_blank">http://www.gromacs.org/mailman/listinfo/gmx-users</a><br>
 &nbsp; &nbsp; &gt; Please search the archive at <a href="http://www.gromacs.org/search" target="_blank">http://www.gromacs.org/search</a> before<br>
 &nbsp; &nbsp;posting!<br>
 &nbsp; &nbsp; &gt; Please don&#39;t post (un)subscribe requests to the list. Use the<br>
 &nbsp; &nbsp; &gt; www interface or send it to <a href="mailto:gmx-users-request@gromacs.org" target="_blank">gmx-users-request@gromacs.org</a><br></div>
 &nbsp; &nbsp;&lt;mailto:<a href="mailto:gmx-users-request@gromacs.org" target="_blank">gmx-users-request@gromacs.org</a>&gt;.<div class="Ih2E3d"><br>
 &nbsp; &nbsp; &gt; Can&#39;t post? Read <a href="http://www.gromacs.org/mailing_lists/users.php" target="_blank">http://www.gromacs.org/mailing_lists/users.php</a><br>
 &nbsp; &nbsp; &gt;<br>
<br>
<br>
<br>
 &nbsp; &nbsp;--<br>
 &nbsp; &nbsp;Diego Enry B. Gomes<br>
 &nbsp; &nbsp;Laboratório de Modelagem e Dinamica Molecular<br>
 &nbsp; &nbsp;Universidade Federal do Rio de Janeiro - Brasil.<br>
 &nbsp; &nbsp;_______________________________________________<br>
 &nbsp; &nbsp;gmx-users mailing list &nbsp; &nbsp;<a href="mailto:gmx-users@gromacs.org" target="_blank">gmx-users@gromacs.org</a><br></div>
 &nbsp; &nbsp;&lt;mailto:<a href="mailto:gmx-users@gromacs.org" target="_blank">gmx-users@gromacs.org</a>&gt;<div class="Ih2E3d"><br>
 &nbsp; &nbsp;<a href="http://www.gromacs.org/mailman/listinfo/gmx-users" target="_blank">http://www.gromacs.org/mailman/listinfo/gmx-users</a><br>
 &nbsp; &nbsp;Please search the archive at <a href="http://www.gromacs.org/search" target="_blank">http://www.gromacs.org/search</a> before<br>
 &nbsp; &nbsp;posting!<br>
 &nbsp; &nbsp;Please don&#39;t post (un)subscribe requests to the list. Use the<br>
 &nbsp; &nbsp;www interface or send it to <a href="mailto:gmx-users-request@gromacs.org" target="_blank">gmx-users-request@gromacs.org</a><br></div>
 &nbsp; &nbsp;&lt;mailto:<a href="mailto:gmx-users-request@gromacs.org" target="_blank">gmx-users-request@gromacs.org</a>&gt;.<div class="Ih2E3d"><br>
 &nbsp; &nbsp;Can&#39;t post? Read <a href="http://www.gromacs.org/mailing_lists/users.php" target="_blank">http://www.gromacs.org/mailing_lists/users.php</a><br>
<br>
<br>
<br>
<br>
------------------------------------------------------------------------<br>
<br>
_______________________________________________<br>
gmx-users mailing list &nbsp; &nbsp;<a href="mailto:gmx-users@gromacs.org" target="_blank">gmx-users@gromacs.org</a><br>
<a href="http://www.gromacs.org/mailman/listinfo/gmx-users" target="_blank">http://www.gromacs.org/mailman/listinfo/gmx-users</a><br>
Please search the archive at <a href="http://www.gromacs.org/search" target="_blank">http://www.gromacs.org/search</a> before posting!<br>
Please don&#39;t post (un)subscribe requests to the list. Use the www interface or send it to <a href="mailto:gmx-users-request@gromacs.org" target="_blank">gmx-users-request@gromacs.org</a>.<br>
Can&#39;t post? Read <a href="http://www.gromacs.org/mailing_lists/users.php" target="_blank">http://www.gromacs.org/mailing_lists/users.php</a><br>
</div></blockquote>
<br>
-- <br>
Dr. Carsten Kutzner<div class="Ih2E3d"><br>
Max Planck Institute for Biophysical Chemistry<br></div>
Theoretical and Computational Biophysics Department<br>
Am Fassberg 11<br>
37077 Goettingen, Germany<br>
Tel. +49-551-2012313, Fax: +49-551-2012302<br>
<a href="http://www.mpibpc.mpg.de/home/grubmueller/" target="_blank">www.mpibpc.mpg.de/home/grubmueller/</a><br>
<a href="http://www.mpibpc.mpg.de/home/grubmueller/ihp/ckutzne/" target="_blank">www.mpibpc.mpg.de/home/grubmueller/ihp/ckutzne/</a><div><div></div><div class="Wj3C7c"><br>
_______________________________________________<br>
gmx-users mailing list &nbsp; &nbsp;<a href="mailto:gmx-users@gromacs.org" target="_blank">gmx-users@gromacs.org</a><br>
<a href="http://www.gromacs.org/mailman/listinfo/gmx-users" target="_blank">http://www.gromacs.org/mailman/listinfo/gmx-users</a><br>
Please search the archive at <a href="http://www.gromacs.org/search" target="_blank">http://www.gromacs.org/search</a> before posting!<br>
Please don&#39;t post (un)subscribe requests to the list. Use the www interface or send it to <a href="mailto:gmx-users-request@gromacs.org" target="_blank">gmx-users-request@gromacs.org</a>.<br>
Can&#39;t post? Read <a href="http://www.gromacs.org/mailing_lists/users.php" target="_blank">http://www.gromacs.org/mailing_lists/users.php</a><br>
</div></div></blockquote></div><br></div>