<html>
<head>
<style><!--
.hmmessage P
{
margin:0px;
padding:0px
}
body.hmmessage
{
font-size: 10pt;
font-family:Verdana
}
--></style>
</head>
<body class='hmmessage'>
Hi,<br><br>I am not aware of any issues with parallel pulling in 4.0.7.<br><br>Did you see this note in your log file:<br>comm-mode angular will give incorrect results when the comm group<br>partially crosses a periodic boundary<br><br>If your system is periodic, you should not use comm mode angular.<br><br>Berk<br><br>&gt; Date: Wed, 31 Mar 2010 12:32:43 +0200<br>&gt; From: aerbas@ph.tum.de<br>&gt; To: gmx-users@gromacs.org<br>&gt; Subject: Re: [gmx-users] Parallel pulling with Gromacs 4.0.7: COMM mode problem<br>&gt; <br>&gt; Hi everybody<br>&gt; <br>&gt; There is still a problem about pulling code running in parallel. For <br>&gt; COMM_GRP active, you have the positions (pullx.xvg) and forces <br>&gt; (pullf.xvg) relative to the absolute coordinates instead of your <br>&gt; reference group.<br>&gt; <br>&gt; comm_mode=angular<br>&gt; comm_grps= surface<br>&gt; <br>&gt; and for pulling part<br>&gt; init_grps=surface<br>&gt; <br>&gt; should give you the coordinates and the forces with respect to the  <br>&gt; surface as expected. However, in parallel running that is not the case <br>&gt; as can be seen from the pull output files given below.<br>&gt; <br>&gt; On single machine, everything works well.<br>&gt; At the moment, it seems the best thing  to do is to calculate forces <br>&gt; from positions by counting the motion of the reference group.<br>&gt; <br>&gt; thanks and<br>&gt; bests<br>&gt; <br>&gt; &gt; Dear Aykut:<br>&gt; &gt;<br>&gt; &gt; 1. Did you see the log file message:<br>&gt; &gt;<br>&gt; &gt; "comm-mode angular will give incorrect results when the comm group <br>&gt; &gt; partially crosses a periodic boundary"<br>&gt; indeed, I saw this. But the surface which is roughly 5nm, is approx.  <br>&gt; 0.5 nm away from the box. There  is no way of any crossing.<br>&gt; And for G3 and G4 on single machine, you do not have such a warning<br>&gt; &gt;<br>&gt; &gt; 2. You say "Actually you might be right about the domain <br>&gt; &gt; decomposition", but it seems like you didn't run it on gmx 4 in serial <br>&gt; &gt; or with particle decomposition.<br>&gt; &gt;<br>&gt; very very sorry about this, I forgot to append that log for single <br>&gt; machine with G4<br>&gt; <br>&gt; <br>&gt; log file for G4 on single machine<br>&gt; *******************************************<br>&gt; Enabling SPC water optimization for 3021 molecules.<br>&gt; <br>&gt; Configuring nonbonded kernels...<br>&gt; Testing x86_64 SSE2 support... present.<br>&gt; <br>&gt; <br>&gt; Removing pbc first time<br>&gt; <br>&gt; Will apply umbrella COM pulling in geometry 'position'<br>&gt; between a reference group and 1 group<br>&gt; Pull group 0:  5181 atoms, mass 56947.551<br>&gt; Pull group 1:    13 atoms, mass   116.120<br>&gt; <br>&gt; Initializing LINear Constraint Solver<br>&gt; <br>&gt; <br>&gt; -------- -------- --- Thank You --- -------- --------<br>&gt; <br>&gt; Center of mass motion removal mode is Angular<br>&gt; We have the following groups for center of mass motion removal:<br>&gt;   0:  DIAM<br>&gt; <br>&gt; There are: 14359 Atoms<br>&gt; Max number of connections per atom is 94<br>&gt; Total number of connections is 403131<br>&gt; Max number of graph edges per atom is 4<br>&gt; Total number of graph edges is 30690<br>&gt; <br>&gt; Constraining the starting coordinates (step 0)<br>&gt; <br>&gt; Constraining the coordinates at t0-dt (step 0)<br>&gt; RMS relative constraint deviation after constraining: 2.35e-07<br>&gt; Initial temperature: 300.447 K<br>&gt; <br>&gt; <br>&gt; &gt; I wish you the best of luck, I'm out of ideas here.<br>&gt; &gt;<br>&gt; thanks anyways<br>&gt; &gt; Chris.<br>&gt; &gt;<br>&gt; &gt; -- original message --<br>&gt; &gt;<br>&gt; &gt; Hi<br>&gt; &gt;<br>&gt; &gt; Actually you might be right about the domain decomposition<br>&gt; &gt;<br>&gt; &gt;<br>&gt; &gt; G3 pull.pdo output file on single machine<br>&gt; &gt;<br>&gt; &gt; focus on the 2nd and 3rd columns which are x and y positions of the<br>&gt; &gt; surface: almost *unchanged* as expected for COMM_grps=surface option<br>&gt; &gt; *************<br>&gt; &gt; 20000.000000 3.149521 1.576811 5.770928<br>&gt; &gt; 7.149521 1.874820 1.676811<br>&gt; &gt; 20000.201172 3.149521 1.576812 5.761463<br>&gt; &gt; 7.149541 1.880746 1.676812<br>&gt; &gt; 20000.400391 3.149520 1.576813 5.771702<br>&gt; &gt; 7.149560 1.867692 1.676813<br>&gt; &gt; 20000.601562 3.149519 1.576813 5.797871<br>&gt; &gt; 7.149579 1.879650 1.676813<br>&gt; &gt; 20000.800781 3.149518 1.576812 5.794115<br>&gt; &gt; 7.149598 1.887728 1.676812<br>&gt; &gt; 20001.000000 3.149517 1.576813 5.778761<br>&gt; &gt; 7.149617 1.870823 1.676813<br>&gt; &gt; 20001.201172 3.149518 1.576815 5.783334<br>&gt; &gt; 7.149638 1.849283 1.676815<br>&gt; &gt; 20001.400391 3.149517 1.576815 5.780031<br>&gt; &gt; 7.149658 1.877158 1.676815<br>&gt; &gt; .....<br>&gt; &gt; .....<br>&gt; &gt; 39999.402344 3.149799 1.576911 2.249830<br>&gt; &gt; 9.149739 1.604563 1.676911<br>&gt; &gt; 39999.601562 3.149797 1.576911 2.209385<br>&gt; &gt; 9.149757 1.622380 1.676911<br>&gt; &gt; 39999.800781 3.149792 1.576911 2.215503<br>&gt; &gt; 9.149773 1.653246 1.676911<br>&gt; &gt; 40000.000000 3.149791 1.576912 2.221903<br>&gt; &gt; 9.149791 1.659781 1.676912<br>&gt; &gt;<br>&gt; &gt;<br>&gt; &gt;<br>&gt; &gt; G4 pull.xvg output (in parellel), 2nd and 3rd columns which are x and y<br>&gt; &gt; positions of the surface: *changing*, contradiction to COMM_grps=surface<br>&gt; &gt; option<br>&gt; &gt;<br>&gt; &gt; *********<br>&gt; &gt; 0.4000 3.1498 2.997 -0.391131 -0.331925<br>&gt; &gt; 0.8000 3.14903 2.99499 -0.391976 -0.346309<br>&gt; &gt; 1.2000 3.14753 2.99846 -0.372158 -0.407621<br>&gt; &gt; 1.6000 3.14635 3.00695 -0.337084 -0.422437<br>&gt; &gt; 2.0000 3.14465 3.00585 -0.306999 -0.474991<br>&gt; &gt; 2.4000 3.14365 3.00408 -0.30164 -0.48047<br>&gt; &gt; 2.8000 3.14338 3.00447 -0.285076 -0.483861<br>&gt; &gt; 3.2000 3.14361 3.00119 -0.226717 -0.460955<br>&gt; &gt; ........<br>&gt; &gt; ..........<br>&gt; &gt; 2838.0000 3.20024 0.662325 1.7185 0.986139<br>&gt; &gt; 2838.4000 3.19435 0.661913 1.74023 1.0404<br>&gt; &gt; 2838.8000 3.18835 0.666171 1.8073 1.02766<br>&gt; &gt; 2839.2000 3.18264 0.658261 1.81687 0.999429<br>&gt; &gt; 2839.6000 3.17766 0.668439 1.82782 1.05693<br>&gt; &gt;<br>&gt; &gt;<br>&gt; &gt; here is the log file for G4 (pulling) run in parallel<br>&gt; &gt;<br>&gt; &gt; ********************************<br>&gt; &gt; Initializing Domain Decomposition on 32 nodes<br>&gt; &gt; Dynamic load balancing: auto<br>&gt; &gt; Will sort the charge groups at every domain (re)decomposition<br>&gt; &gt; Initial maximum inter charge-group distances:<br>&gt; &gt; two-body bonded interactions: 0.507 nm, LJ-14, atoms 5186 5197<br>&gt; &gt; multi-body bonded interactions: 0.507 nm, Proper Dih., atoms 5186 5197<br>&gt; &gt; Minimum cell size due to bonded interactions: 0.557 nm<br>&gt; &gt; Maximum distance for 5 constraints, at 120 deg. angles, all-trans: <br>&gt; &gt; 0.200 nm<br>&gt; &gt; Estimated maximum distance required for P-LINCS: 0.200 nm<br>&gt; &gt; Guess for relative PME load: 0.20<br>&gt; &gt; Will use 24 particle-particle and 8 PME only nodes<br>&gt; &gt; This is a guess, check the performance at the end of the log file<br>&gt; &gt; Using 8 separate PME nodes<br>&gt; &gt; Scaling the initial minimum size with 1/0.8 (option -dds) = 1.25<br>&gt; &gt; Optimizing the DD grid for 24 cells with a minimum initial size of <br>&gt; &gt; 0.697 nm<br>&gt; &gt; The maximum allowed number of cells is: X 9 Y 4 Z 9<br>&gt; &gt; Domain decomposition grid 4 x 2 x 3, separate PME nodes 8<br>&gt; &gt;<br>&gt; &gt; comm-mode angular will give incorrect results when the comm group<br>&gt; &gt; partially crosses a periodic boundary<br>&gt; &gt; Interleaving PP and PME nodes<br>&gt; &gt; This is a particle-particle only node<br>&gt; &gt;<br>&gt; &gt; Domain decomposition nodeid 0, coordinates 0 0 0<br>&gt; &gt;<br>&gt; &gt; Table routines are used for coulomb: TRUE<br>&gt; &gt; Table routines are used for vdw: FALSE<br>&gt; &gt; Will do PME sum in reciprocal space.<br>&gt; &gt;<br>&gt; &gt; -------- -------- --- Thank You --- -------- --------<br>&gt; &gt; Using a Gaussian width (1/beta) of 0.25613 nm for Ewald<br>&gt; &gt; Cut-off's: NS: 0.8 Coulomb: 0.8 LJ: 0.8<br>&gt; &gt; System total charge: -0.000<br>&gt; &gt; Generated table with 3600 data points for Ewald.<br>&gt; &gt; Tabscale = 2000 points/nm<br>&gt; &gt; Generated table with 3600 data points for LJ6.<br>&gt; &gt; Tabscale = 2000 points/nm<br>&gt; &gt; Generated table with 3600 data points for LJ12.<br>&gt; &gt; Tabscale = 2000 points/nm<br>&gt; &gt; Generated table with 3600 data points for 1-4 COUL.<br>&gt; &gt; Tabscale = 2000 points/nm<br>&gt; &gt; Generated table with 3600 data points for 1-4 LJ6.<br>&gt; &gt; Tabscale = 2000 points/nm<br>&gt; &gt; Generated table with 3600 data points for 1-4 LJ12.<br>&gt; &gt; Tabscale = 2000 points/nm<br>&gt; &gt;<br>&gt; &gt; Enabling SPC water optimization for 3021 molecules.<br>&gt; &gt;<br>&gt; &gt; Configuring nonbonded kernels...<br>&gt; &gt;<br>&gt; &gt;<br>&gt; &gt; Removing pbc first time<br>&gt; &gt;<br>&gt; &gt; Will apply umbrella COM pulling in geometry 'position'<br>&gt; &gt; between a reference group and 1 group<br>&gt; &gt; Pull group 0: 5181 atoms, mass 56947.551<br>&gt; &gt; Pull group 1: 13 atoms, mass 116.120<br>&gt; &gt;<br>&gt; &gt; Initializing Parallel LINear Constraint Solver<br>&gt; &gt;<br>&gt; &gt;<br>&gt; &gt;<br>&gt; &gt; Linking all bonded interactions to atoms<br>&gt; &gt; There are 85833 inter charge-group exclusions,<br>&gt; &gt; will use an extra communication step for exclusion forces for PME<br>&gt; &gt;<br>&gt; &gt; The initial number of communication pulses is: X 1 Y 1 Z 1<br>&gt; &gt; The initial domain decomposition cell size is: X 1.58 nm Y 1.58 nm Z <br>&gt; &gt; 2.23 nm<br>&gt; &gt;<br>&gt; &gt; The maximum allowed distance for charge groups involved in <br>&gt; &gt; interactions is:<br>&gt; &gt; non-bonded interactions 0.800 nm<br>&gt; &gt; (the following are initial values, they could change due to box <br>&gt; &gt; deformation)<br>&gt; &gt; two-body bonded interactions (-rdd) 0.800 nm<br>&gt; &gt; multi-body bonded interactions (-rdd) 0.800 nm<br>&gt; &gt; atoms separated by up to 5 constraints (-rcon) 1.575 nm<br>&gt; &gt;<br>&gt; &gt; When dynamic load balancing gets turned on, these settings will change <br>&gt; &gt; to:<br>&gt; &gt; The maximum number of communication pulses is: X 1 Y 1 Z 1<br>&gt; &gt; The minimum size for domain decomposition cells is 0.800 nm<br>&gt; &gt; The requested allowed shrink of DD cells (option -dds) is: 0.80<br>&gt; &gt; The allowed shrink of domain decomposition cells is: X 0.51 Y 0.51 Z 0.36<br>&gt; &gt; The maximum allowed distance for charge groups involved in <br>&gt; &gt; interactions is:<br>&gt; &gt; non-bonded interactions 0.800 nm<br>&gt; &gt; two-body bonded interactions (-rdd) 0.800 nm<br>&gt; &gt; multi-body bonded interactions (-rdd) 0.800 nm<br>&gt; &gt; atoms separated by up to 5 constraints (-rcon) 0.800 nm<br>&gt; &gt;<br>&gt; &gt;<br>&gt; &gt; Making 3D domain decomposition grid 4 x 2 x 3, home cell index 0 0 0<br>&gt; &gt;<br>&gt; &gt; Center of mass motion removal mode is Angular<br>&gt; &gt; We have the following groups for center of mass motion removal:<br>&gt; &gt; 0: DIAM<br>&gt; &gt;<br>&gt; <br>&gt; -- <br>&gt; gmx-users mailing list    gmx-users@gromacs.org<br>&gt; http://lists.gromacs.org/mailman/listinfo/gmx-users<br>&gt; Please search the archive at http://www.gromacs.org/search before posting!<br>&gt; Please don't post (un)subscribe requests to the list. Use the <br>&gt; www interface or send it to gmx-users-request@gromacs.org.<br>&gt; Can't post? Read http://www.gromacs.org/mailing_lists/users.php<br>                                               <br /><hr />New Windows 7: Find the right PC for you. <a href='http://windows.microsoft.com/shop' target='_new'>Learn more.</a></body>
</html>