<div dir="ltr"><div class="gmail_extra"><div><div class="gmail_signature">On Wed, Mar 9, 2016 at 3:43 PM, Mark Abraham <span dir="ltr">&lt;<a href="mailto:mark.j.abraham@gmail.com" target="_blank">mark.j.abraham@gmail.com</a>&gt;</span> wrote:<br></div></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr">Hi,<div><br></div><div>Long-belated update:</div><div><br></div><div>For pre-submit CI testing, our Jenkins machinery is now using the configuration matrix you can find in the source repository at admin/builds/pre-submit-matrix.txt. For technical reasons, the job that is triggered is <a href="http://jenkins.gromacs.org/job/Gromacs_Gerrit_master-matrix-from-repo/" target="_blank">http://jenkins.gromacs.org/job/Gromacs_Gerrit_master-matrix-from-repo/</a>, which manages the actual matrix build <a href="http://jenkins.gromacs.org/job/Gromacs_Gerrit_master_nrwpo/" target="_blank">http://jenkins.gromacs.org/job/Gromacs_Gerrit_master_nrwpo/</a>. When builds fail, Teemu arranged some magic so that the link to the matrix job is what appears on Jenkins, as you are used to. Things seem to be working smoothly so far, but yell if you see issues.</div><div><br></div><div>That testing matrix is approximately the same coverage as we already had with <a href="http://jenkins.gromacs.org/job/Gromacs_Gerrit_master-new-releng/" target="_blank">http://jenkins.gromacs.org/job/Gromacs_Gerrit_master-new-releng/</a>.</div></div></blockquote><div><br></div><div>I suggest taking into consideration /job/Gromacs_Gerrit_5_1 as a reference? job/Gromacs_Gerrit_master-new-releng has never had a good coverage.</div><div><br></div><div>Of course I&#39;m not suggesting re-creating the exact same configs, just to make sure relevant configs that may have been added to 5.1 for a good reason are not missed (e.g. SSE4.1?). With new requirements and less interest in ancient compilers like gcc 4.4 and Intel 12.1, many rows from the 5.1 matrix are obviously not relevant.</div><div><br></div><div>--<br>Szilárd<br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div> The plan is to be fairly reluctant to add new configurations to it (e.g. we might add an OpenCL build, or new sanitizers), but to have a wider range of testing triggered after we accept a patch in Gerrit. Details TBD, discussion at <a href="http://redmine.gromacs.org/issues/1815" target="_blank">http://redmine.gromacs.org/issues/1815</a>.</div><span class=""><font color="#888888"><div><br></div><div>Mark<br></div></font></span></div><div class=""><div class="h5"><br><div class="gmail_quote"><div dir="ltr">On Wed, Sep 16, 2015 at 3:06 PM Mark Abraham &lt;<a href="mailto:mark.j.abraham@gmail.com" target="_blank">mark.j.abraham@gmail.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr">Hi,<div><br></div><div>Now that the new releng machinery seems useful and stable, I&#39;ve deactivated the automatic Jenkins trigger for most of the old master-branch verification job types. The old coverage build is still active, because we&#39;re still working on the new coverage build, but that&#39;s a minor issue.</div><div><br></div><div>Various other major improvements are still underway (redmine 1815 and other places), but not ready for live testing.</div></div><div dir="ltr"><div><br></div><div>Mark</div></div><br><div class="gmail_quote"><div dir="ltr">On Sun, Sep 6, 2015 at 9:59 PM Mark Abraham &lt;<a href="mailto:mark.j.abraham@gmail.com" target="_blank">mark.j.abraham@gmail.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><p dir="ltr">Hi,</p>
<p dir="ltr">Also,  bs_nix1204 is misbehaving. Stefan hopes to try swapping around some GPUs in case that is the issue.</p>
<p dir="ltr">Marj</p>
<br><div class="gmail_quote"><div dir="ltr">On Sun, 6 Sep 2015 19:46 Teemu Murtola &lt;<a href="mailto:teemu.murtola@gmail.com" target="_blank">teemu.murtola@gmail.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr">Hi,<div><br></div><div>The situation isn&#39;t as simple as that:</div><div dir="ltr"><div><ul><li>There certainly are changes that fail because they have not been rebased, but those are easy to identify from the error messages that get posted back to Gerrit and say that the required build scripts cannot be found.</li><li>There also are a few changes that fail on purpose, since they are waiting for the C++11 change to move forward, and require some stuff from there (and the new matrix anyways would also fail with the C++11 change).</li><li>Additionally, many changes that have been rebased also have one or a few failing builds. Persistently retriggering the failing builds leads to the builds eventually succeeding, but this is not a sustainable situation. The situation isn&#39;t exactly new (we&#39;ve had random failures earlier as well, with similar symptoms), but the volume of these is now much higher. This really looks like that either Jenkins itself (the software, or the hardware/virtualization layer it runs on) is flaky, or that our configuration creates way too much peak load somewhere, causing something to time out or otherwise fail (since typically the error messages are of the sort &quot;Channel is already closed&quot;).</li><li>On top of that, there likely is at least one deadlock hiding somewhere in mdrun, since occasionally the mdrun integration tests and/or regression tests may hang for 15 minutes (before Jenkins kills them). It&#39;s just a hunch that this deadlock also triggers more easily when there is more load on the system.</li></ul><div>The new (temporary) setup with double jobs on nearly everything puts more load on Jenkins, so it might just have tipped the balance beyond a point where things were working ~OK (at least, when you didn&#39;t upload too many changes at the same time). But it would be nice to iron out these issues now, instead of just ignoring it in hopes that it goes back to manageable levels when we reduce the load.</div></div><div><br></div>Just my two cents,</div><div dir="ltr">Teemu</div><div dir="ltr"><br><div class="gmail_quote"></div></div></div><div dir="ltr"><div dir="ltr"><div class="gmail_quote"><div dir="ltr">On Sun, Sep 6, 2015 at 8:20 PM Mark Abraham &lt;<a href="mailto:mark.j.abraham@gmail.com" target="_blank">mark.j.abraham@gmail.com</a>&gt; wrote:</div></div></div></div><div dir="ltr"><div dir="ltr"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
<p dir="ltr">It&#39;s submitted to master already, so just rebase to HEAD as/when you want.</p>
<p dir="ltr">Mark</p></blockquote></div></div></div><div dir="ltr"><div dir="ltr"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div class="gmail_quote"><div dir="ltr">On Sun, 6 Sep 2015 15:25 David van der Spoel &lt;<a href="mailto:spoel@xray.bmc.uu.se" target="_blank">spoel@xray.bmc.uu.se</a>&gt; wrote:<br></div></div></blockquote></div></div></div><div dir="ltr"><div dir="ltr"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">On 02/09/15 23:12, Mark Abraham wrote:<br></blockquote></div></blockquote></div></div></div><div dir="ltr"><div dir="ltr"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">&gt; With 5.1 off the table, we&#39;re implementing some much-needed updates to<br>
&gt; the way we handle Jenkins verification of GROMACS.<br>
&gt;<br>
&gt; Teemu&#39;s rewritten the scripts we use to implement the various kinds of<br>
&gt; verification jobs, which will let us maintain and extend in much less<br>
&gt; ad-hoc fashion. Some parts of those scripts will now live in the GROMACS<br>
&gt; source repository, so that they can change in step with code changes.<br>
&gt; We&#39;ve already submitted that script to master, so when you rebase<br>
&gt; patches over 0ce920a017, Jenkins will be able to use its new toys.<br>
<br>
So is this the reason that most patches fail right now?<br>
Where is this patch in gerrit? I can not seem to find it...<br></blockquote></div></blockquote></div></div></div>
--<br>
Gromacs Developers mailing list<br>
<br>
* Please search the archive at <a href="http://www.gromacs.org/Support/Mailing_Lists/GMX-developers_List" rel="noreferrer" target="_blank">http://www.gromacs.org/Support/Mailing_Lists/GMX-developers_List</a> before posting!<br>
<br>
* Can&#39;t post? Read <a href="http://www.gromacs.org/Support/Mailing_Lists" rel="noreferrer" target="_blank">http://www.gromacs.org/Support/Mailing_Lists</a><br>
<br>
* For (un)subscribe requests visit<br>
<a href="https://maillist.sys.kth.se/mailman/listinfo/gromacs.org_gmx-developers" rel="noreferrer" target="_blank">https://maillist.sys.kth.se/mailman/listinfo/gromacs.org_gmx-developers</a> or send a mail to <a href="mailto:gmx-developers-request@gromacs.org" target="_blank">gmx-developers-request@gromacs.org</a>.</blockquote></div></blockquote></div></blockquote></div>
</div></div><br>--<br>
Gromacs Developers mailing list<br>
<br>
* Please search the archive at <a href="http://www.gromacs.org/Support/Mailing_Lists/GMX-developers_List" rel="noreferrer" target="_blank">http://www.gromacs.org/Support/Mailing_Lists/GMX-developers_List</a> before posting!<br>
<br>
* Can&#39;t post? Read <a href="http://www.gromacs.org/Support/Mailing_Lists" rel="noreferrer" target="_blank">http://www.gromacs.org/Support/Mailing_Lists</a><br>
<br>
* For (un)subscribe requests visit<br>
<a href="https://maillist.sys.kth.se/mailman/listinfo/gromacs.org_gmx-developers" rel="noreferrer" target="_blank">https://maillist.sys.kth.se/mailman/listinfo/gromacs.org_gmx-developers</a> or send a mail to <a href="mailto:gmx-developers-request@gromacs.org">gmx-developers-request@gromacs.org</a>.<br></blockquote></div><br></div></div>