<html><head><style>body{font-family:Helvetica,Arial;font-size:13px}</style></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;"><div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; color: rgba(0,0,0,1.0); margin: 0px; line-height: auto;">Hi Carlo,</div><div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; color: rgba(0,0,0,1.0); margin: 0px; line-height: auto;"><br></div><div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; color: rgba(0,0,0,1.0); margin: 0px; line-height: auto;">IIRC, I managed to get it working on a Mac Pro with AMD Firepro D300 GPUs. Please post the contents of the top of your logfile (where it says everything about the compilers &amp; config), and mention what hardware you tried it on - then we’ll see if we can reproduce it.</div><div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; color: rgba(0,0,0,1.0); margin: 0px; line-height: auto;"><br></div><div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; color: rgba(0,0,0,1.0); margin: 0px; line-height: auto;">Cheers,</div><div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; color: rgba(0,0,0,1.0); margin: 0px; line-height: auto;"><br></div><div id="bloop_customfont" style="font-family:Helvetica,Arial;font-size:13px; color: rgba(0,0,0,1.0); margin: 0px; line-height: auto;">Erik</div> <div class="airmail_ext_on" style="color:black"><br>From:&nbsp;<span style="color:black">Carlo Camilloni</span> <a href="mailto:carlo.camilloni@gmail.com">&lt;carlo.camilloni@gmail.com&gt;</a><br>Reply:&nbsp;<span style="color:black">gmx-developers@gromacs.org</span> <a href="mailto:gmx-developers@gromacs.org">&lt;gmx-developers@gromacs.org&gt;&gt;</a><br>Date:&nbsp;<span style="color:black">16 Jul 2015 at 18:52:21</span><br>To:&nbsp;<span style="color:black">gromacs.org_gmx-developers@maillist.sys.kth.se</span> <a href="mailto:gromacs.org_gmx-developers@maillist.sys.kth.se">&lt;gromacs.org_gmx-developers@maillist.sys.kth.se&gt;&gt;</a><br>Subject:&nbsp;<span style="color:black"> Re: [gmx-developers] gromacs 5.1rc1 OpenCL problem with Parrinello-Rahman <br></span></div><br> <blockquote type="cite" class="clean_bq"><span><div><div></div><div>Hi,  
<br>
<br>I tested the OpenCL kernel on my macbook (nvidia gpu) and here it produces the correct forces,
<br>so it could be a problem related to amd+osx, or maybe to some specific compiler/os version
<br>
<br>Carlo
<br>
<br>
<br>&gt; On 15 Jul 2015, at 17:42, Carlo Camilloni &lt;carlo.camilloni@gmail.com&gt; wrote:
<br>&gt;  
<br>&gt; Hi,
<br>&gt;  
<br>&gt; these are the tests that fail:
<br>&gt;  
<br>&gt; FAILED. Check checkpot.out (12 errors), checkforce.out (3516 errors) file(s) in dd121 for dd121
<br>&gt; FAILED. Check checkpot.out (10 errors), checkforce.out (4027 errors) file(s) in nbnxn-energy-groups for nbnxn-energy-groups
<br>&gt; FAILED. Check checkpot.out (26 errors), checkforce.out (2998 errors) file(s) in nbnxn-free-energy for nbnxn-free-energy
<br>&gt; FAILED. Check checkpot.out (26 errors), checkforce.out (2998 errors) file(s) in nbnxn-free-energy-vv for nbnxn-free-energy-vv
<br>&gt; FAILED. Check checkpot.out (11 errors), checkforce.out (4039 errors) file(s) in nbnxn-ljpme-geometric for nbnxn-ljpme-geometric
<br>&gt; FAILED. Check checkpot.out (14 errors), checkforce.out (52 errors) file(s) in nbnxn-ljpme-LB for nbnxn-ljpme-LB
<br>&gt; FAILED. Check checkpot.out (14 errors), checkforce.out (52 errors) file(s) in nbnxn-ljpme-LB-geometric for nbnxn-ljpme-LB-geometric
<br>&gt; FAILED. Check checkpot.out (10 errors), checkforce.out (4029 errors) file(s) in nbnxn-vdw-force-switch for nbnxn-vdw-force-switch
<br>&gt; FAILED. Check checkpot.out (10 errors), checkforce.out (4032 errors) file(s) in nbnxn-vdw-potential-switch for nbnxn-vdw-potential-switch
<br>&gt; FAILED. Check checkpot.out (4 errors), checkforce.out (250 errors) file(s) in nbnxn-vdw-potential-switch-argon for nbnxn-vdw-potential-switch-argon
<br>&gt; FAILED. Check checkpot.out (10 errors), checkforce.out (4027 errors) file(s) in nbnxn_pme for nbnxn_pme
<br>&gt; FAILED. Check checkpot.out (10 errors), checkforce.out (4027 errors) file(s) in nbnxn_pme_order5 for nbnxn_pme_order5
<br>&gt; FAILED. Check checkpot.out (10 errors), checkforce.out (4027 errors) file(s) in nbnxn_pme_order6 for nbnxn_pme_order6
<br>&gt; FAILED. Check checkpot.out (9 errors), checkforce.out (4028 errors) file(s) in nbnxn_rf for nbnxn_rf
<br>&gt; FAILED. Check checkpot.out (2 errors), checkforce.out (4 errors) file(s) in nbnxn_rzero for nbnxn_rzero
<br>&gt; FAILED. Check mdrun.out, md.log file(s) in nbnxn_vsite for nbnxn_vsite
<br>&gt; FAILED. Check checkpot.out (13 errors), checkforce.out (15512 errors) file(s) in octahedron for octahedron
<br>&gt; FAILED. Check mdrun.out, md.log file(s) in position-restraints for position-restraints
<br>&gt; FAILED. Check mdrun.out, md.log file(s) in pull_constraint for pull_constraint
<br>&gt; FAILED. Check checkpot.out (10 errors), checkforce.out (4021 errors) file(s) in pull_cylinder for pull_cylinder
<br>&gt; FAILED. Check checkpot.out (11 errors), checkforce.out (39054 errors) file(s) in swap_x for swap_x
<br>&gt; FAILED. Check checkpot.out (11 errors), checkforce.out (39053 errors) file(s) in swap_y for swap_y
<br>&gt; FAILED. Check checkpot.out (12 errors), checkforce.out (39054 errors) file(s) in swap_z for swap_z
<br>&gt; 23 out of 60 complex tests FAILED
<br>&gt; FAILED. Check mdrun.out, md.log file(s) in expanded for expanded
<br>&gt; FAILED. Check mdrun.out, md.log file(s) in transformAtoB for transformAtoB
<br>&gt; 2 out of 10 freeenergy tests FAILED
<br>&gt;  
<br>&gt;  
<br>&gt; Carlo
<br>&gt;  
<br>&gt;  
<br>&gt;&gt;  
<br>&gt;&gt;  
<br>&gt;&gt; Message: 4
<br>&gt;&gt; Date: Wed, 15 Jul 2015 15:35:13 +0000
<br>&gt;&gt; From: Mark Abraham &lt;mark.j.abraham@gmail.com&gt;
<br>&gt;&gt; To: gmx-developers@gromacs.org,
<br>&gt;&gt;         gromacs.org_gmx-developers@maillist.sys.kth.se
<br>&gt;&gt; Subject: Re: [gmx-developers] gromacs 5.1rc1 OpenCL problem with
<br>&gt;&gt;         Parrinello-Rahman
<br>&gt;&gt; Message-ID:
<br>&gt;&gt;         &lt;CAMNuMATveVRRyBBwn312xrY+w3M7deC2Hs3A7PZnaeugkw+VVA@mail.gmail.com&gt;
<br>&gt;&gt; Content-Type: text/plain; charset="utf-8"
<br>&gt;&gt;  
<br>&gt;&gt; Hi,
<br>&gt;&gt;  
<br>&gt;&gt; Thanks. If a difference of that magnitude can be seen, then it should also
<br>&gt;&gt; show up when running the regressiontests (e.g. cmake
<br>&gt;&gt; -DREGRESSIONTEST_DOWNLOAD=on and then make check) as a failure
<br>&gt;&gt; of complex/nbnxn-ljpme-LB (which is the only P-R test that can run on the
<br>&gt;&gt; GPU). If other tests fail, then the problem is actually more widespread.
<br>&gt;&gt;  
<br>&gt;&gt; It may be that there is some issue with some part of the Mac+clang+OpenCL
<br>&gt;&gt; stack - we didn't target it during development, and at the last minute when
<br>&gt;&gt; Erik was unexpectedly able to get it to compile. I don't know if he got
<br>&gt;&gt; tests to pass. Erik?
<br>&gt;&gt;  
<br>&gt;&gt; Mark
<br>&gt;&gt;  
<br>&gt;&gt; On Wed, Jul 15, 2015 at 5:22 PM Carlo Camilloni &lt;carlo.camilloni@gmail.com&gt;
<br>&gt;&gt; wrote:
<br>&gt;&gt;  
<br>&gt;&gt;&gt;  
<br>&gt;&gt;&gt; Dear Mark and Szilard,
<br>&gt;&gt;&gt;  
<br>&gt;&gt;&gt; thanks for your answer. I filed a bug in redmine but in the meantime I was
<br>&gt;&gt;&gt; running more tests and I am a bit scared by what I found:
<br>&gt;&gt;&gt;  
<br>&gt;&gt;&gt; what I have done is the following I have performed a single step run with
<br>&gt;&gt;&gt; gmx51-rc1 compiled with cuda, again clang and so on
<br>&gt;&gt;&gt; and compared the forces on the first step with -nb cpu or not (I am using
<br>&gt;&gt;&gt; -pforce 1), the forces are identical:
<br>&gt;&gt;&gt;  
<br>&gt;&gt;&gt; ie.:
<br>&gt;&gt;&gt;  
<br>&gt;&gt;&gt; cuda-gpu
<br>&gt;&gt;&gt;  
<br>&gt;&gt;&gt; step 0  atom      1  x    3.940    5.612    2.226  force  1.90839e+03
<br>&gt;&gt;&gt; step 0  atom      2  x    3.852    5.659    2.211  force  4.24845e+02
<br>&gt;&gt;&gt; step 0  atom      3  x    3.979    5.665    2.303  force  6.89472e+02
<br>&gt;&gt;&gt; step 0  atom      4  x    3.992    5.610    2.139  force  7.42053e+02
<br>&gt;&gt;&gt;  
<br>&gt;&gt;&gt;  
<br>&gt;&gt;&gt; cpu:
<br>&gt;&gt;&gt;  
<br>&gt;&gt;&gt; step 0  atom      1  x    3.940    5.612    2.226  force  1.90839e+03
<br>&gt;&gt;&gt; step 0  atom      2  x    3.852    5.659    2.211  force  4.24845e+02
<br>&gt;&gt;&gt; step 0  atom      3  x    3.979    5.665    2.303  force  6.89472e+02
<br>&gt;&gt;&gt; step 0  atom      4  x    3.992    5.610    2.139  force  7.42053e+02
<br>&gt;&gt;&gt;  
<br>&gt;&gt;&gt; if I do the same test on the version compiled with OpenCL
<br>&gt;&gt;&gt;  
<br>&gt;&gt;&gt; cpu:
<br>&gt;&gt;&gt;  
<br>&gt;&gt;&gt; (the former are done on my macbook pro avx2_256  this latter on a MacPro
<br>&gt;&gt;&gt; avx_256, this should
<br>&gt;&gt;&gt; explain the small differences in the forces)
<br>&gt;&gt;&gt;  
<br>&gt;&gt;&gt; step 0  atom      1  x    3.940    5.612    2.226  force  1.90838e+03
<br>&gt;&gt;&gt; step 0  atom      2  x    3.852    5.659    2.211  force  4.24848e+02
<br>&gt;&gt;&gt; step 0  atom      3  x    3.979    5.665    2.303  force  6.89470e+02
<br>&gt;&gt;&gt; step 0  atom      4  x    3.992    5.610    2.139  force  7.42043e+02
<br>&gt;&gt;&gt;  
<br>&gt;&gt;&gt; opencl-gpu:
<br>&gt;&gt;&gt; step 0  atom      1  x    3.940    5.612    2.226  force  1.48597e+03
<br>&gt;&gt;&gt; step 0  atom      2  x    3.852    5.659    2.211  force  6.26942e+02
<br>&gt;&gt;&gt; step 0  atom      3  x    3.979    5.665    2.303  force  8.44032e+02
<br>&gt;&gt;&gt; step 0  atom      4  x    3.992    5.610    2.139  force  7.92786e+02
<br>&gt;&gt;&gt;  
<br>&gt;&gt;&gt; I am afraid there is something wrong  in OpenCL kernels.
<br>&gt;&gt;&gt;  
<br>&gt;&gt;&gt; I am using the topol-nvt-nogen.tpr I have uploaded on redmine.
<br>&gt;&gt;&gt;  
<br>&gt;&gt;&gt; Best,
<br>&gt;&gt;&gt; Carlo
<br>&gt;&gt;&gt;  
<br>&gt;&gt;&gt;  
<br>&gt;&gt;&gt;  
<br>&gt;&gt;&gt; --
<br>&gt;&gt;&gt; Gromacs Developers mailing list
<br>&gt;&gt;&gt;  
<br>&gt;&gt;&gt; * Please search the archive at
<br>&gt;&gt;&gt; http://www.gromacs.org/Support/Mailing_Lists/GMX-developers_List before
<br>&gt;&gt;&gt; posting!
<br>&gt;&gt;&gt;  
<br>&gt;&gt;&gt; * Can't post? Read http://www.gromacs.org/Support/Mailing_Lists
<br>&gt;&gt;&gt;  
<br>&gt;&gt;&gt; * For (un)subscribe requests visit
<br>&gt;&gt;&gt; https://maillist.sys.kth.se/mailman/listinfo/gromacs.org_gmx-developers
<br>&gt;&gt;&gt; or send a mail to gmx-developers-request@gromacs.org.
<br>&gt;&gt;&gt;  
<br>&gt;&gt; -------------- next part --------------
<br>&gt;&gt; An HTML attachment was scrubbed...
<br>&gt;&gt; URL: &lt;http://maillist.sys.kth.se/pipermail/gromacs.org_gmx-developers/attachments/20150715/fb1d4126/attachment.html&gt;
<br>&gt;&gt;  
<br>&gt;&gt; ------------------------------
<br>&gt;&gt;  
<br>&gt;&gt; --  
<br>&gt;&gt; Gromacs Developers mailing list
<br>&gt;&gt;  
<br>&gt;&gt; * Please search the archive at http://www.gromacs.org/Support/Mailing_Lists/GMX-developers_List before posting!
<br>&gt;&gt;  
<br>&gt;&gt; * Can't post? Read http://www.gromacs.org/Support/Mailing_Lists
<br>&gt;&gt;  
<br>&gt;&gt; * For (un)subscribe requests visit
<br>&gt;&gt; https://maillist.sys.kth.se/mailman/listinfo/gromacs.org_gmx-developers or send a mail to gmx-developers-request@gromacs.org.
<br>&gt;&gt;  
<br>&gt;&gt; End of gromacs.org_gmx-developers Digest, Vol 135, Issue 17
<br>&gt;&gt; ***********************************************************
<br>&gt;  
<br>
<br>--  
<br>Gromacs Developers mailing list
<br>
<br>* Please search the archive at http://www.gromacs.org/Support/Mailing_Lists/GMX-developers_List before posting!
<br>
<br>* Can't post? Read http://www.gromacs.org/Support/Mailing_Lists
<br>
<br>* For (un)subscribe requests visit
<br>https://maillist.sys.kth.se/mailman/listinfo/gromacs.org_gmx-developers or send a mail to gmx-developers-request@gromacs.org.
<br></div></div></span></blockquote> <div id="bloop_sign_1437065855198064128" class="bloop_sign"><div style="font-family:helvetica,arial;font-size:13px">--&nbsp;<br><span style="font-family: 'helvetica Neue', helvetica;">Erik Lindahl &lt;</span><a href="mailto:erik.lindahl@gmail.com" style="font-family: 'helvetica Neue', helvetica;">erik.lindahl@gmail.com</a><span style="font-family: 'helvetica Neue', helvetica;">&gt;&nbsp;</span><br style="font-family: 'helvetica Neue', helvetica;"><span style="font-family: 'helvetica Neue', helvetica;">Professor of Biophysics, Dept. Biochemistry &amp; Biophysics, Stockholm&nbsp;</span><span style="font-family: 'helvetica Neue', helvetica;">University&nbsp;</span><br style="font-family: 'helvetica Neue', helvetica;"><span style="font-family: 'helvetica Neue', helvetica;">Professor of Theoretical biophysics, Dept. Theoretical Physics, Royal Inst.&nbsp;</span><span style="font-family: 'helvetica Neue', helvetica;">Technology&nbsp;</span><br style="font-family: 'helvetica Neue', helvetica;"><span style="font-family: 'helvetica Neue', helvetica;">Science for Life Laboratory, Box 1031, 17121 Solna, Sweden</span></div></div></body></html>