<HTML dir=ltr><HEAD>
<META content="text/html; charset=unicode" http-equiv=Content-Type>
<META name=ProgId content=Word.Document>
<META name=GENERATOR content="MSHTML 8.00.7600.16625">
<META name=Originator content="Microsoft Word 12">
<STYLE>
<!--
                       
 font-face
        {font-family:"Cambria Math";}
font-face
        {font-family:Calibri;}
font-face
        {font-family:Consolas;}
                        
 p.MsoNormal, li.MsoNormal, div.MsoNormal
        {
        margin:0in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri","sans-serif";}
a:link, span.MsoHyperlink
        {
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {
        color:purple;
        text-decoration:underline;}
p.MsoPlainText, li.MsoPlainText, div.MsoPlainText
        {
        margin:0in;
        margin-bottom:.0001pt;
        font-size:10.5pt;
        font-family:Consolas;}
span.EmailStyle17
        {
        font-family:"Calibri","sans-serif";
        color:windowtext;}
span.PlainTextChar
        {
        font-family:Consolas;}
span.SpellE
        {}
.MsoChpDefault
        {}

div.Section1
        {page:Section1;}
-->
</STYLE>
</HEAD>
<BODY lang=EN-US link=blue vLink=purple>
<DIV dir=ltr id=idOWAReplyText74949>
<DIV dir=ltr><FONT color=#000000 size=2 face=Arial>Thanks a lot Roland!</FONT></DIV>
<DIV dir=ltr><FONT size=2 face=Arial></FONT>&nbsp;</DIV>
<DIV dir=ltr><FONT size=2 face=Arial>I'm using Beowulf cluster which I believe uses ethernet connection (1 node = 1 cpu in my case). I found an article by Kutzner et al (2006) which talks about the problem in speeding up&nbsp;parallel processing in such clusters. Does it mean that if i continue to use the ethernet-connected cluster and not gone for the 4.5 beta version,&nbsp;I'm stuck with a low number of processors due to the difficulty in scaling? Thanks again for your advice!</FONT></DIV>
<DIV dir=ltr><FONT size=2 face=Arial></FONT>&nbsp;</DIV>
<DIV dir=ltr><FONT size=2 face=Arial>Huiwen</FONT></DIV>
<DIV dir=ltr><FONT size=2 face=Arial></FONT>&nbsp;</DIV>
<DIV dir=ltr><FONT size=2 face=Arial></FONT>&nbsp;</DIV></DIV>
<DIV dir=ltr>Hi,<BR><BR>you don't write what network you have and how many cores per node. If it is<BR>ethernet it will be difficult to scale.<BR>You might want to try the 4.5beta version because we have improved the<BR>scaling with it. Also there is a tool g_tune_pme which might help you.<BR><BR>Roland<BR><BR>
<HR tabIndex=-1>
<FONT size=2 face=Tahoma><B>From:</B> NG HUI WEN<BR><B>Sent:</B> Mon 8/23/2010 11:15 PM<BR><B>To:</B> gmx-users@gromacs.org<BR><B>Subject:</B> Attempting to scale gromacs mdrun_mpi<BR></FONT><BR></DIV>
<DIV>
<DIV class=Section1>
<P class=MsoNormal>Hi,</P>
<P class=MsoNormal>&nbsp;</P>
<P class=MsoNormal>I have been playing with the &#8220;<SPAN class=SpellE>mdrun_mpi</SPAN>&#8221; command in <SPAN class=SpellE>gromacs</SPAN> 4.0.7 to try out <SPAN>&nbsp;</SPAN>parallel processing. Unfortunately, the results I got did not show any significant improvement in simulation time.</P>
<P class=MsoNormal>&nbsp;</P>
<P class=MsoNormal>Below is the command I issued:</P>
<P class=MsoNormal>&nbsp;</P>
<P class=MsoNormal><SPAN class=SpellE>mpirun</SPAN> &#8211;<SPAN class=SpellE>np</SPAN> x <SPAN class=SpellE>mdrun_mpi</SPAN> <SPAN>&nbsp;</SPAN>-<SPAN class=SpellE>deffnm</SPAN></P>
<P class=MsoNormal>&nbsp;</P>
<P class=MsoNormal>where x is the number of processors being used.</P>
<P class=MsoNormal>&nbsp;</P>
<P class=MsoNormal>From the machine output, it seemed that the work had indeed been distributed to multiple processors e.g. -np 10:</P>
<P class=MsoPlainText><SPAN style="FONT-FAMILY: 'Courier New'; FONT-SIZE: 9pt">NNODES=10, MYRANK=5, HOSTNAME=<SPAN class=SpellE>beowulf</SPAN><BR>NODEID=4 <SPAN class=SpellE>argc</SPAN>=3<BR>NNODES=10, MYRANK=1, HOSTNAME=<SPAN class=SpellE>beowulf</SPAN><BR>NNODES=10, MYRANK=2, HOSTNAME=<SPAN class=SpellE>beowulf</SPAN><BR>NODEID=1 <SPAN class=SpellE>argc</SPAN>=3<BR>NODEID=9 <SPAN class=SpellE>argc</SPAN>=3<BR>NODEID=5 <SPAN class=SpellE>argc</SPAN>=3<BR>NNODES=10, MYRANK=3, HOSTNAME=<SPAN class=SpellE>beowulf</SPAN><BR>NNODES=10, MYRANK=7, HOSTNAME=<SPAN class=SpellE>beowulf</SPAN><BR>NNODES=10, MYRANK=8, HOSTNAME=<SPAN class=SpellE>beowulf</SPAN><BR>NODEID=8 <SPAN class=SpellE>argc</SPAN>=3<BR>NODEID=2 <SPAN class=SpellE>argc</SPAN>=3<BR>NODEID=6 <SPAN class=SpellE>argc</SPAN>=3<BR>NODEID=3 <SPAN class=SpellE>argc</SPAN>=3<BR>NODEID=7 <SPAN class=SpellE>argc</SPAN>=3<BR>Making 2D domain decomposition 5 x 1 x 2<BR>starting <SPAN class=SpellE>mdrun</SPAN> 'PROTEIN'<BR>1000 steps,<SPAN>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </SPAN>2.0 ps.</SPAN></P>
<P class=MsoNormal>&nbsp;</P>
<P class=MsoNormal>The simulation system consists of 100581 atoms, the duration&nbsp;is 2ps (1000 steps).&nbsp;results obtained are as followed:</P>
<P class=MsoNormal>&nbsp;</P>
<P class=MsoNormal><U>number of CPUs&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;Simulation time</U></P>
<P class=MsoNormal>1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 13m28s</P>
<P class=MsoNormal>2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 6m31s</P>
<P class=MsoNormal>3&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 7m33s</P>
<P class=MsoNormal>4&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 6m47s</P>
<P class=MsoNormal>5&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 7m48s</P>
<P class=MsoNormal>6&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 6m55s</P>
<P class=MsoNormal>7&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 7m36s</P>
<P class=MsoNormal>8&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 6m58s</P>
<P class=MsoNormal>9&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;7m15s</P>
<P class=MsoNormal>10&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 7m01s</P>
<P class=MsoNormal>15&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 7m27s</P>
<P class=MsoNormal>20&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 7m15s</P>
<P class=MsoNormal>30&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 7m42s</P>
<P class=MsoNormal>&nbsp;</P>
<P class=MsoNormal>Significant improvement in simulation time&nbsp;was only observed&nbsp;from -np 1 to 2.&nbsp;&nbsp;As almost all (except -np = 1) complaint about load imbalance and PP:PME imbalance (the latter was&nbsp; seen especially in&nbsp;those with larger -np value), I tried to increase the pme nodes by adding a -npme flag and entered a bigger number&nbsp;but the results either showed no improvement or worsened.</P>
<P class=MsoNormal>&nbsp;</P>
<P class=MsoNormal>As I am new to gromacs, there might be some things that I'd missed out/done incorrectly.&nbsp;Would really appreciate some input to this. Many thanks in advance!!</P>
<P class=MsoNormal>&nbsp;</P>
<P class=MsoNormal>HW</P></DIV></DIV> <<
<p><font face="Arial" size="2"><a href="http://www.nottingham.edu.my">Email has been scanned for viruses by UNMC email management service</a></font></p>
 >>
</BODY></HTML>