<html>
<head>
<style>
.hmmessage P
{
margin:0px;
padding:0px
}
body.hmmessage
{
FONT-SIZE: 10pt;
FONT-FAMILY:Tahoma
}
</style>
</head>
<body class='hmmessage'><div style="text-align: left;">Hi,<br></div><div style="text-align: left;"><br>Looking at your 64 core results, it seems that your PP:PME load ratio is about 1:1.<br>In most cases 3:1 is much better performance wise.<br>grompp probably also printed a note about this and also how to fix it.<br>I have also described this shortly in the parallelization section of the pdf manual.<br><br>You should probably increase your cut-offs and pme grid spacing by the same factor<br>(something around 1.2).<br>Hopefully mdrun should choose the proper number of pme nodes for you<br>when you do not use -npme.<br><br>Berk<br></div><br><br><hr id="stopSpelling">&gt; Date: Wed, 1 Oct 2008 17:18:24 -0400<br>&gt; From: jalemkul@vt.edu<br>&gt; To: gmx-users@gromacs.org<br>&gt; Subject: [gmx-users] Improving scaling - Gromacs 4.0 RC2<br>&gt; <br>&gt; <br>&gt; Hi,<br>&gt; <br>&gt; I've been playing around with the latest release candidate of version 4.0, and I <br>&gt; was hoping someone out there more knowledgeable than me might tell me how to <br>&gt; improve a bit on the performance I'm seeing.  To clarify, the performance I'm <br>&gt; seeing is a ton faster than 3.3.x, but I still seem to be getting bogged down <br>&gt; with the PME/PP balance.  I'm using mostly the default options with the new mdrun:<br>&gt; <br>&gt; mdrun_mpi -s test.tpr -np 64 -npme 32<br>&gt; <br>&gt; The system contains about 150,000 atoms - a membrane protein surrounded by <br>&gt; several hundred lipids and solvent (water).  The protein parameters are GROMOS, <br>&gt; lipids are Berger, and water is SPC.  My .mdp file (adapted from a generic 3.3.x <br>&gt; file that I always used to use for such simulations) is attached at the end of <br>&gt; this mail.  It seems that my system runs fastest on 64 CPU's.  Almost all tests <br>&gt; with 128 or 256 seem to run slower.  The nodes are dual-core 2.3 GHz Xserve G5, <br>&gt; connected by Infiniband.<br>&gt; <br>&gt; Here's a summary of some of the tests I've run:<br>&gt; <br>&gt; -np        -npme        -ddorder        ns/day        % performance loss from imbalance<br>&gt; 64        16        interleave        5.760        19.6<br>&gt; 64        32        interleave        9.600        40.9<br>&gt; 64        32        pp_pme                5.252        3.9<br>&gt; 64        32        cartesian        5.383        4.7<br>&gt; <br>&gt; All other mdrun command line options are defaults.<br>&gt; <br>&gt; I get ~10.3 ns/day with -np 256 -npme 64, but since -np 64 -npme 32 seems to <br>&gt; give almost that same performance there seems to be no compelling reason to tie <br>&gt; up that many nodes.<br>&gt; <br>&gt; Any hints on how to speed things up any more?  Is it possible?  Not that I'm <br>&gt; complaining...the same system under GMX 3.3.3 gives just under 1 ns/day :)  I'm <br>&gt; really curious about the 40.9% performance loss I'm seeing with -np 64 -npme 32, <br>&gt; even though it gives the best overall performance in terms of ns/day.<br>&gt; <br>&gt; Thanks in advance for your attention, and any comments.<br>&gt; <br>&gt; -Justin<br>&gt; <br>&gt; =======test.mdp=========<br>&gt; title                = NPT simulation for a membrane protein<br>&gt; ; Run parameters<br>&gt; integrator        = md<br>&gt; dt                = 0.002<br>&gt; nsteps                = 10000                 20 ps<br>&gt; nstcomm                = 1<br>&gt; ; Output parameters<br>&gt; nstxout                = 500<br>&gt; nstvout                = 500<br>&gt; nstfout                = 500<br>&gt; nstlog                = 500<br>&gt; nstenergy        = 500<br>&gt; ; Bond parameters<br>&gt; constraint_algorithm         = lincs<br>&gt; constraints                = all-bonds<br>&gt; continuation         = no                 starting up<br>&gt; ; Twin-range cutoff scheme, parameters for Gromos96<br>&gt; nstlist                = 5<br>&gt; ns_type                = grid<br>&gt; rlist                = 0.8<br>&gt; rcoulomb        = 0.8<br>&gt; rvdw                = 1.4<br>&gt; ; PME electrostatics parameters<br>&gt; coulombtype        = PME<br>&gt; fourierspacing  = 0.24<br>&gt; pme_order        = 4<br>&gt; ewald_rtol        = 1e-5<br>&gt; optimize_fft        = yes<br>&gt; ; V-rescale temperature coupling is on in three groups<br>&gt; Tcoupl                 = V-rescale<br>&gt; tc_grps                = Protein POPC SOL_NA+_CL-<br>&gt; tau_t                = 0.1 0.1 0.1<br>&gt; ref_t                = 310 310 310<br>&gt; ; Pressure coupling is on<br>&gt; Pcoupl                = Berendsen<br>&gt; pcoupltype        = semiisotropic<br>&gt; tau_p                = 2.0                <br>&gt; compressibility        = 4.5e-5 4.5e-5<br>&gt; ref_p                = 1.0 1.0<br>&gt; ; Generate velocities is on<br>&gt; gen_vel                = yes                <br>&gt; gen_temp        = 310<br>&gt; gen_seed        = 173529<br>&gt; ; Periodic boundary conditions are on in all directions<br>&gt; pbc                = xyz<br>&gt; ; Long-range dispersion correction<br>&gt; DispCorr        = EnerPres<br>&gt; <br>&gt; ========end test.mdp==========<br>&gt; <br>&gt; -- <br>&gt; ========================================<br>&gt; <br>&gt; Justin A. Lemkul<br>&gt; Graduate Research Assistant<br>&gt; Department of Biochemistry<br>&gt; Virginia Tech<br>&gt; Blacksburg, VA<br>&gt; jalemkul[at]vt.edu | (540) 231-9080<br>&gt; http://www.bevanlab.biochem.vt.edu/Pages/Personal/justin<br>&gt; <br>&gt; ========================================<br>&gt; _______________________________________________<br>&gt; gmx-users mailing list    gmx-users@gromacs.org<br>&gt; http://www.gromacs.org/mailman/listinfo/gmx-users<br>&gt; Please search the archive at http://www.gromacs.org/search before posting!<br>&gt; Please don't post (un)subscribe requests to the list. Use the <br>&gt; www interface or send it to gmx-users-request@gromacs.org.<br>&gt; Can't post? Read http://www.gromacs.org/mailing_lists/users.php<br><br /><hr />Express yourself instantly with MSN Messenger! <a href='http://clk.atdmt.com/AVE/go/onm00200471ave/direct/01/' target='_new'>MSN Messenger</a></body>
</html>