<span style="font-family: Arial;">Hi<br><br>Yes, that is expected.<br>Combined MPI+ OpenMP is always slower than either of the two, except close to the scaling limit.<br>Two OpenMP threads give the least overhead, especially with hyperthreading. Although turning of hyperthreading is then probably faster.<br><br>Cheers,<br><br>Berk<br><br><br>----- Reply message -----<br>From: &quot;Jochen Hub&quot; &lt;jhub@gwdg.de&gt;<br>To: &quot;Discussion list for GROMACS development&quot; &lt;gmx-developers@gromacs.org&gt;<br>Subject: [gmx-developers] Oversubscribing on 4.62 with MPI / OpenMP<br>Date: Thu, Apr 25, 2013 09:37<br><br></span><br><br>Am 4/24/13 9:53 PM, schrieb Mark Abraham:<br>&gt; I suspect -np 2 is not starting a process on each node like I suspect<br>&gt; you think it should, because all the symptoms are consistent with that.<br>&gt; Possibly the Host field in the .log file output is diagnostic here.<br>&gt; Check how your your MPI configuration works.<br><br>I fixed the issue with the mpi call. I make sure, that only one MPI <br>process is started per node (mpiexec -n 2 -npernode=1 or -bynode) . The <br>oversubscription warning does not appear, so everything seems fine.<br><br>However, the performance is quite poor with MPI/OpenMP. Example:<br><br>(100 kAtoms, PME, Verlet, cutoffs at 1nm nstlist=10)<br><br>16 MPI processes: 6.8 ns/day<br>2 MPI processes, 8 OpenMP threads pre MPI process: 4.46 ns/day<br>4 MPI / 4 OpenMP each does not improve things.<br><br>I use an icc13, and I tried different MPI implementations (Mvapich 1.8, <br>openmpi 1.33)<br><br>Is that expected?<br><br>Many thanks,<br>Jochen<br><br><br>&gt;<br>&gt; Mark<br>&gt;<br>&gt; On Apr 24, 2013 7:47 PM, &quot;Jochen Hub&quot; &lt;jhub@gwdg.de<br>&gt; &lt;mailto:jhub@gwdg.de&gt;&gt; wrote:<br>&gt;<br>&gt; &nbsp; &nbsp; Hi,<br>&gt;<br>&gt; &nbsp; &nbsp; I have a problem related to the oversubscribing issue reported on<br>&gt; &nbsp; &nbsp; Feb 5 in the user list - yet it seems different.<br>&gt;<br>&gt; &nbsp; &nbsp; I use the latest git 4.62 with icc13 and MVAPICH2/1.8.<br>&gt;<br>&gt; &nbsp; &nbsp; I run on 2 nodes with, each with 2 Xeon Harpertowns (E5472).<br>&gt;<br>&gt; &nbsp; &nbsp; export OMP_NUM_THREADS=1<br>&gt; &nbsp; &nbsp; mpiexec -np 16 mdrun<br>&gt;<br>&gt; &nbsp; &nbsp; everyhting is fine - reasonable performance. With<br>&gt;<br>&gt; &nbsp; &nbsp; export OMP_NUM_THREADS=8<br>&gt; &nbsp; &nbsp; mpiexec -np 2 mdrun<br>&gt;<br>&gt; &nbsp; &nbsp; I get the warning:<br>&gt;<br>&gt; &nbsp; &nbsp; WARNING: Oversubscribing the available 8 logical CPU cores with 16<br>&gt; &nbsp; &nbsp; threads. This will cause considerable performance loss!<br>&gt;<br>&gt; &nbsp; &nbsp; And the simulation is indeed very slow.<br>&gt;<br>&gt; &nbsp; &nbsp; According to Berk&#39;s suggestion in the thread &quot;MPI oversubscription&quot;<br>&gt; &nbsp; &nbsp; in the user list I have added print statements into<br>&gt; &nbsp; &nbsp; src/gmxlib/gmx_detect___hardware.c to check for the sysconf(...)<br>&gt; &nbsp; &nbsp; functions. I receive 8 in each MPI process:<br>&gt;<br>&gt; &nbsp; &nbsp; ret at _SC_NPROCESSORS_ONLN = 8<br>&gt; &nbsp; &nbsp; ret at _SC_NPROCESSORS_ONLN = 8<br>&gt;<br>&gt; &nbsp; &nbsp; Here, some more information from the log file (the two nodes are<br>&gt; &nbsp; &nbsp; apparently detected) - so I am a bit lost.<br>&gt;<br>&gt; &nbsp; &nbsp; Can someone give a hint how to solve this?<br>&gt;<br>&gt; &nbsp; &nbsp; Many thanks,<br>&gt; &nbsp; &nbsp; Jochen<br>&gt;<br>&gt; &nbsp; &nbsp; Host: r104i1n8 &nbsp;pid: 12912 &nbsp;nodeid: 0 &nbsp;nnodes: &nbsp;2<br>&gt; &nbsp; &nbsp; Gromacs version: &nbsp; &nbsp;VERSION 4.6.2-dev<br>&gt; &nbsp; &nbsp; Precision: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;single<br>&gt; &nbsp; &nbsp; Memory model: &nbsp; &nbsp; &nbsp; 64 bit<br>&gt; &nbsp; &nbsp; MPI library: &nbsp; &nbsp; &nbsp; &nbsp;MPI<br>&gt; &nbsp; &nbsp; OpenMP support: &nbsp; &nbsp; enabled<br>&gt; &nbsp; &nbsp; GPU support: &nbsp; &nbsp; &nbsp; &nbsp;disabled<br>&gt; &nbsp; &nbsp; invsqrt routine: &nbsp; &nbsp;gmx_software_invsqrt(x)<br>&gt; &nbsp; &nbsp; CPU acceleration: &nbsp; SSE4.1<br>&gt; &nbsp; &nbsp; FFT library: &nbsp; &nbsp; &nbsp; &nbsp;fftw-3.3.1-sse2<br>&gt; &nbsp; &nbsp; Large file support: enabled<br>&gt; &nbsp; &nbsp; RDTSCP usage: &nbsp; &nbsp; &nbsp; disabled<br>&gt; &nbsp; &nbsp; Built on: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Wed Apr 24 17:07:56 CEST 2013<br>&gt; &nbsp; &nbsp; Built by: &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; nicjohub@r104i1n0 [CMAKE]<br>&gt; &nbsp; &nbsp; Build OS/arch: &nbsp; &nbsp; &nbsp;Linux 2.6.16.60-0.97.1-smp x86_64<br>&gt; &nbsp; &nbsp; Build CPU vendor: &nbsp; GenuineIntel<br>&gt; &nbsp; &nbsp; Build CPU brand: &nbsp; &nbsp;Intel(R) Xeon(R) CPU &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; E5472 &nbsp;@ 3.00GHz<br>&gt; &nbsp; &nbsp; Build CPU family: &nbsp; 6 &nbsp; Model: 23 &nbsp; Stepping: 6<br>&gt; &nbsp; &nbsp; Build CPU features: apic clfsh cmov cx8 cx16 lahf_lm mmx msr pdcm<br>&gt; &nbsp; &nbsp; pse sse2 sse3 sse4.1 ssse3<br>&gt; &nbsp; &nbsp; C compiler: &nbsp; &nbsp; &nbsp; &nbsp; /sw/comm/mvapich2/1.8-intel/__bin/mpicc Intel<br>&gt; &nbsp; &nbsp; icc (ICC) 13.0.1 20121010<br>&gt; &nbsp; &nbsp; C compiler flags: &nbsp; -msse4.1 &nbsp; -std=gnu99 -Wall &nbsp; -ip<br>&gt; &nbsp; &nbsp; -funroll-all-loops &nbsp;-O3 -DNDEBUG<br>&gt;<br>&gt; &nbsp; &nbsp; Detecting CPU-specific acceleration.<br>&gt; &nbsp; &nbsp; Present hardware specification:<br>&gt; &nbsp; &nbsp; Vendor: GenuineIntel<br>&gt; &nbsp; &nbsp; Brand: &nbsp;Intel(R) Xeon(R) CPU &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; E5472 &nbsp;@ 3.00GHz<br>&gt; &nbsp; &nbsp; Family: &nbsp;6 &nbsp;Model: 23 &nbsp;Stepping: &nbsp;6<br>&gt; &nbsp; &nbsp; Features: apic clfsh cmov cx8 cx16 lahf_lm mmx msr pdcm pse sse2<br>&gt; &nbsp; &nbsp; sse3 sse4.1 ssse3<br>&gt; &nbsp; &nbsp; Acceleration most likely to fit this hardware: SSE4.1<br>&gt; &nbsp; &nbsp; Acceleration selected at GROMACS compile time: SSE4.1<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt; &nbsp; &nbsp; --<br>&gt; &nbsp; &nbsp; ------------------------------__---------------------<br>&gt; &nbsp; &nbsp; Dr. Jochen Hub<br>&gt; &nbsp; &nbsp; Computational Molecular Biophysics Group<br>&gt; &nbsp; &nbsp; Institute for Microbiology and Genetics<br>&gt; &nbsp; &nbsp; Georg-August-University of Göttingen<br>&gt; &nbsp; &nbsp; Justus-von-Liebig-Weg 11, 37077 Göttingen, Germany.<br>&gt; &nbsp; &nbsp; Phone: +49-551-39-14189 &lt;tel:%2B49-551-39-14189&gt;<br>&gt; &nbsp; &nbsp; http://cmb.bio.uni-goettingen.__de/ &lt;http://cmb.bio.uni-goettingen.de/&gt;<br>&gt; &nbsp; &nbsp; ------------------------------__---------------------<br>&gt; &nbsp; &nbsp; --<br>&gt; &nbsp; &nbsp; gmx-developers mailing list<br>&gt; &nbsp; &nbsp; gmx-developers@gromacs.org &lt;mailto:gmx-developers@gromacs.org&gt;<br>&gt; &nbsp; &nbsp; http://lists.gromacs.org/__mailman/listinfo/gmx-__developers<br>&gt; &nbsp; &nbsp; &lt;http://lists.gromacs.org/mailman/listinfo/gmx-developers&gt;<br>&gt; &nbsp; &nbsp; Please don&#39;t post (un)subscribe requests to the list. Use the www<br>&gt; &nbsp; &nbsp; interface or send it to gmx-developers-request@__gromacs.org<br>&gt; &nbsp; &nbsp; &lt;mailto:gmx-developers-request@gromacs.org&gt;.<br>&gt;<br>&gt;<br>&gt;<br><br>-- <br>---------------------------------------------------<br>Dr. Jochen Hub<br>Computational Molecular Biophysics Group<br>Institute for Microbiology and Genetics<br>Georg-August-University of Göttingen<br>Justus-von-Liebig-Weg 11, 37077 Göttingen, Germany.<br>Phone: +49-551-39-14189<br>http://cmb.bio.uni-goettingen.de/<br>---------------------------------------------------<br>-- <br>gmx-developers mailing list<br>gmx-developers@gromacs.org<br>http://lists.gromacs.org/mailman/listinfo/gmx-developers<br>Please don&#39;t post (un)subscribe requests to the list. Use the <br>www interface or send it to gmx-developers-request@gromacs.org.<br>