<p dir="ltr">I suspect -np 2 is not starting a process on each node like I suspect you think it should, because all the symptoms are consistent with that. Possibly the Host field in the .log file output is diagnostic here. Check how your your MPI configuration works.</p>

<p dir="ltr">Mark</p>
<div class="gmail_quote">On Apr 24, 2013 7:47 PM, &quot;Jochen Hub&quot; &lt;<a href="mailto:jhub@gwdg.de">jhub@gwdg.de</a>&gt; wrote:<br type="attribution"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Hi,<br>
<br>
I have a problem related to the oversubscribing issue reported on Feb 5 in the user list - yet it seems different.<br>
<br>
I use the latest git 4.62 with icc13 and MVAPICH2/1.8.<br>
<br>
I run on 2 nodes with, each with 2 Xeon Harpertowns (E5472).<br>
<br>
export OMP_NUM_THREADS=1<br>
mpiexec -np 16 mdrun<br>
<br>
everyhting is fine - reasonable performance. With<br>
<br>
export OMP_NUM_THREADS=8<br>
mpiexec -np 2 mdrun<br>
<br>
I get the warning:<br>
<br>
WARNING: Oversubscribing the available 8 logical CPU cores with 16 threads. This will cause considerable performance loss!<br>
<br>
And the simulation is indeed very slow.<br>
<br>
According to Berk&#39;s suggestion in the thread &quot;MPI oversubscription&quot; in the user list I have added print statements into src/gmxlib/gmx_detect_<u></u>hardware.c to check for the sysconf(...) functions. I receive 8 in each MPI process:<br>

<br>
ret at _SC_NPROCESSORS_ONLN = 8<br>
ret at _SC_NPROCESSORS_ONLN = 8<br>
<br>
Here, some more information from the log file (the two nodes are apparently detected) - so I am a bit lost.<br>
<br>
Can someone give a hint how to solve this?<br>
<br>
Many thanks,<br>
Jochen<br>
<br>
Host: r104i1n8  pid: 12912  nodeid: 0  nnodes:  2<br>
Gromacs version:    VERSION 4.6.2-dev<br>
Precision:          single<br>
Memory model:       64 bit<br>
MPI library:        MPI<br>
OpenMP support:     enabled<br>
GPU support:        disabled<br>
invsqrt routine:    gmx_software_invsqrt(x)<br>
CPU acceleration:   SSE4.1<br>
FFT library:        fftw-3.3.1-sse2<br>
Large file support: enabled<br>
RDTSCP usage:       disabled<br>
Built on:           Wed Apr 24 17:07:56 CEST 2013<br>
Built by:           nicjohub@r104i1n0 [CMAKE]<br>
Build OS/arch:      Linux 2.6.16.60-0.97.1-smp x86_64<br>
Build CPU vendor:   GenuineIntel<br>
Build CPU brand:    Intel(R) Xeon(R) CPU           E5472  @ 3.00GHz<br>
Build CPU family:   6   Model: 23   Stepping: 6<br>
Build CPU features: apic clfsh cmov cx8 cx16 lahf_lm mmx msr pdcm pse sse2 sse3 sse4.1 ssse3<br>
C compiler:         /sw/comm/mvapich2/1.8-intel/<u></u>bin/mpicc Intel icc (ICC) 13.0.1 20121010<br>
C compiler flags:   -msse4.1   -std=gnu99 -Wall   -ip -funroll-all-loops  -O3 -DNDEBUG<br>
<br>
Detecting CPU-specific acceleration.<br>
Present hardware specification:<br>
Vendor: GenuineIntel<br>
Brand:  Intel(R) Xeon(R) CPU           E5472  @ 3.00GHz<br>
Family:  6  Model: 23  Stepping:  6<br>
Features: apic clfsh cmov cx8 cx16 lahf_lm mmx msr pdcm pse sse2 sse3 sse4.1 ssse3<br>
Acceleration most likely to fit this hardware: SSE4.1<br>
Acceleration selected at GROMACS compile time: SSE4.1<br>
<br>
<br>
<br>
<br>
-- <br>
------------------------------<u></u>---------------------<br>
Dr. Jochen Hub<br>
Computational Molecular Biophysics Group<br>
Institute for Microbiology and Genetics<br>
Georg-August-University of Göttingen<br>
Justus-von-Liebig-Weg 11, 37077 Göttingen, Germany.<br>
Phone: <a href="tel:%2B49-551-39-14189" value="+495513914189" target="_blank">+49-551-39-14189</a><br>
<a href="http://cmb.bio.uni-goettingen.de/" target="_blank">http://cmb.bio.uni-goettingen.<u></u>de/</a><br>
------------------------------<u></u>---------------------<br>
-- <br>
gmx-developers mailing list<br>
<a href="mailto:gmx-developers@gromacs.org" target="_blank">gmx-developers@gromacs.org</a><br>
<a href="http://lists.gromacs.org/mailman/listinfo/gmx-developers" target="_blank">http://lists.gromacs.org/<u></u>mailman/listinfo/gmx-<u></u>developers</a><br>
Please don&#39;t post (un)subscribe requests to the list. Use the www interface or send it to <a href="mailto:gmx-developers-request@gromacs.org" target="_blank">gmx-developers-request@<u></u>gromacs.org</a>.<br>
</blockquote></div>