<div dir="ltr">On Mon, Jan 7, 2013 at 11:53 PM, Roland Schulz <span dir="ltr">&lt;<a href="mailto:roland@utk.edu" target="_blank">roland@utk.edu</a>&gt;</span> wrote:<br><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
<div dir="ltr"><br><div class="gmail_extra"><br><br><div class="gmail_quote"><div class="im">On Mon, Jan 7, 2013 at 5:06 PM, Szilárd Páll <span dir="ltr">&lt;<a href="mailto:szilard.pall@cbr.su.se" target="_blank">szilard.pall@cbr.su.se</a>&gt;</span> wrote:<br>


</div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">



<div>
<div dir="ltr">
<div>Hi,<br>
</div>
<div><br>
</div><div class="im">
<div>Putting the code there might work, but can we really host there:</div>
<div>- a 100-150 Mb tgz with the regression test suite; </div></div></div></div></blockquote><div>yes. We already do.</div></div></div></div></blockquote><div><br></div><div style>If it work well/fast/easily enough, thats&#39;s fine. However, if they cap the bandwidth, I&#39;d still prefer having torrent alternatives as that will on the long run be super-fast.</div>
<div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">
<div class="im"><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">

<div><div dir="ltr">
<div>- benchmark suite, probably gigabytes in size;</div></div></div></blockquote></div><div>That seems rather big. Will we have a small and large one? Can&#39;t we reduce the size significantly by using (automatically) genbox to generate big boxes by multiplying small boxes (would also allow to do arbitrary weak scaling). </div>
</div></div></div></blockquote><div><br></div><div style>No, as that will lead to synthetic benchmarks which based on the discussions we&#39;ve had so far is not what many want to have as representative GROMACS benchmarks. However, I would be in favor to *aslo* include such a functionality.</div>
<div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">
<div class="im">

<div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div><div dir="ltr">
<div class="gmail_extra">These, in fact already the first one, can easily cause terabytes of traffic a day. Don&#39;t they have some limit?</div></div></div></blockquote></div><div>For that (and also binaries) github is not ideal. They recommend S3/CloudFront but that of course costs money. Google code might allow it. Depends on the specific size. Do we already know the final size? The default file limit is 200M but it can be raised. SF has a 5GB limit so this would hopefully work (also if it would be bigger than that we probably anyhow would want to split it into parts). But SF has ads. </div>
</div></div></div></blockquote><div><br></div><div style>We&#39;ve had a look at S3, but Sander calculated ~$30 for 1 TB traffic which is a lot considering that we need only a few thousand downloads of the source + regressiontests tarballs. </div>
<div style><br></div><div style>I am not a big fan of SF exactly because I can&#39;t just wget it but have to go to their page and click. </div><div><br></div><div style>All in all, I still favor torrent as the encouraged means of downloading + our own file server with capped uplink protection (which will make the torrent in just a few days if not hours have tons of seeders and Mbytes/s downloads speed.</div>
<div style><br></div><div style><div>--<br>Szilárd</div><div><br></div></div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">

<div><br></div><div>Roland</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">

<div><div dir="ltr">
<div class="gmail_extra"><br>
</div>
<div class="gmail_extra">Cheers,</div><span class=""><font color="#888888">
</font></span><div class="gmail_extra"><span class=""><font color="#888888">
<div>--<br>
Szilárd</div>
<br>
<br>
</font></span><div class="gmail_quote"><div class="im"><div><div>On Mon, Jan 7, 2013 at 10:46 PM, Roland Schulz <span dir="ltr">
&lt;<a href="mailto:roland@utk.edu" target="_blank">roland@utk.edu</a>&gt;</span> wrote:<br>
</div></div></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div><div class="h5"><div><div>
<div dir="ltr">Hi,
<div><br>
</div>
<div>why don&#39;t we put all downloads on github (or any other OpenSource site (sourceforge, googlecode, ....)) and link to there from the download page? That would solve the problem very easily. </div>
<div><br>
</div>
<div>Roland</div>
</div>
<div class="gmail_extra">
<div>
<div><br>
<br>
<div class="gmail_quote">On Mon, Jan 7, 2013 at 4:27 PM, Szilárd Páll <span dir="ltr">
&lt;<a href="mailto:szilard.pall@cbr.su.se" target="_blank">szilard.pall@cbr.su.se</a>&gt;</span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">
<div>
<div dir="ltr"><span style="font-family:arial,sans-serif;font-size:13px">Hi,</span>
<div style="font-family:arial,sans-serif;font-size:13px"><br>
</div>
<div style="font-family:arial,sans-serif;font-size:13px">In the future we plan to provide source code, regression tests, benchmark data set, and possibly some binary packages as downloads for GROMACS users. For reasons discussed earlier, with the 4.6 release
 the regression test suite and validation of GROMACS build/installation is becoming very important. A standardized benchmark set and pre-compiled binaries would also be a great benefit for many.</div>
<div style="font-family:arial,sans-serif;font-size:13px"><br>
</div>
<div style="font-family:arial,sans-serif;font-size:13px">However, there is one important aspect we need to consider. The source + regression tests suite is already close to 150 Mb which is non-negligible from the point of view of server load. The benchmark
 set will probably be split up in several packages, some of them gigabytes in size; binaries for the half 6-8 most important platforms will also potentially contribute to the server traffic.</div>
<div style="font-family:arial,sans-serif;font-size:13px"><br>
</div>
<div style="font-family:arial,sans-serif;font-size:13px">A <span style="color:rgb(33,33,33);line-height:15px">deluge</span> of large downloads hitting and possibly crippling our servers after the next major/minor release(s) is a very realistic scenario for
 which we need to be prepared. After discussing with with some developers (thanks Berk &amp; Sander for the tips) the is the suggestion we came up with:</div>
<div style="font-family:arial,sans-serif;font-size:13px"><br>
</div>
<div style="font-family:arial,sans-serif;font-size:13px">* We should use a separate, dedicated machine/VM to host downloads (are we keeping the current ftp server for this purpose?).</div>
<div style="font-family:arial,sans-serif;font-size:13px">* The number of connections and downwind bandwidth for the various GROMACS downloads should be capped to protect the server.</div>
<div style="font-family:arial,sans-serif;font-size:13px">* We should provide and *encourage* the use of torrents for downloads, especially the large ones like the benchmark test suite.</div>
<div style="font-family:arial,sans-serif;font-size:13px">+ We could consider having mirrors for some (larger) or all downloads. However, for this we would need someone to help out with (read: &quot;donate&quot;) storage space + bandwidth!<br>



</div>
<div style="font-family:arial,sans-serif;font-size:13px">+ We could consider commercial storage solutions *if* there are suggestions for relatively cheap and efficient ones.</div>
<div style="font-family:arial,sans-serif;font-size:13px"><br>
</div>
<div style="font-family:arial,sans-serif;font-size:13px">Legend:</div>
<div style="font-family:arial,sans-serif;font-size:13px">*: needs immediate decision/action; </div>
<div style="font-family:arial,sans-serif;font-size:13px">+: would be good to get feedback before 4.6.0.</div>
<div style="font-family:arial,sans-serif;font-size:13px"><br>
</div>
<div style="font-family:arial,sans-serif;font-size:13px">Cheers,<br clear="all">
<div>--<br>
Szilárd</div>
</div>
</div>
</div>
</blockquote>
</div>
<br>
<br clear="all">
<div><br>
</div>
</div>
</div>
<span><font color="#888888">-- <br>
ORNL/UT Center for Molecular Biophysics <a href="http://cmb.ornl.gov" target="_blank">
cmb.ornl.gov</a><br>
<a href="tel:865-241-1537" value="+18652411537" target="_blank">865-241-1537</a>, ORNL PO BOX 2008 MS6309 </font></span></div>
<br></div></div></div></div><div class="im"><span><font color="#888888">
--<br>
gmx-developers mailing list<br>
<a href="mailto:gmx-developers@gromacs.org" target="_blank">gmx-developers@gromacs.org</a><br>
<a href="http://lists.gromacs.org/mailman/listinfo/gmx-developers" target="_blank">http://lists.gromacs.org/mailman/listinfo/gmx-developers</a><br>
Please don&#39;t post (un)subscribe requests to the list. Use the<br>
www interface or send it to <a href="mailto:gmx-developers-request@gromacs.org" target="_blank">gmx-developers-request@gromacs.org</a>.<br>
</font></span></div></blockquote>
</div>
<br>
</div>
</div>
</div>

</blockquote></div><br><br clear="all"><div class="im"><div><br></div>-- <br>ORNL/UT Center for Molecular Biophysics <a href="http://cmb.ornl.gov" target="_blank">cmb.ornl.gov</a><br>865-241-1537, ORNL PO BOX 2008 MS6309
</div></div></div>
<br>--<br>
gmx-developers mailing list<br>
<a href="mailto:gmx-developers@gromacs.org">gmx-developers@gromacs.org</a><br>
<a href="http://lists.gromacs.org/mailman/listinfo/gmx-developers" target="_blank">http://lists.gromacs.org/mailman/listinfo/gmx-developers</a><br>
Please don&#39;t post (un)subscribe requests to the list. Use the<br>
www interface or send it to <a href="mailto:gmx-developers-request@gromacs.org">gmx-developers-request@gromacs.org</a>.<br></blockquote></div><br></div></div>