Hi Roland,<div><br></div><div>I was using 32 nodes with 8 cores, each with 16 Gb memory. The system was about 154 M particles. This should be feasible according to the numbers. Assuming that it takes 50bytes per atoms and 1.76 KB per atom per core then</div>
<div><br></div><div>Masternode -&gt; (50*154 M + 8*1.06)bytes ~ 16GB (There is no leverage here)</div><div>All other nodes 8*1.06 ~ 8.5 GB</div><div><br></div><div>I am planning to try the same run on 64 nodes with 8 cores each again but not until i am a little more confident. The problem is if gromacs crashes due to memory it makes the nodes to hang and people have to recycle the power supply.</div>
<div><br></div><div><br>Thank you,</div><div><br></div><div>amit</div><div><br><div class="gmail_quote">On Wed, Mar 3, 2010 at 7:34 AM, Roland Schulz <span dir="ltr">&lt;<a href="mailto:roland@utk.edu">roland@utk.edu</a>&gt;</span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">Hi,<div><br></div><div>ok then it is compiled in 64bit.</div><div><br></div><div>You didn&#39;t say how many cores each node has and on how many nodes you want to run.</div>
<div><br></div><div><font color="#888888">Roland</font><div><div></div><div class="h5"><br><br><div class="gmail_quote">

On Wed, Mar 3, 2010 at 4:32 AM, Amit Choubey <span dir="ltr">&lt;<a href="mailto:kgp.amit@gmail.com" target="_blank">kgp.amit@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">


Hi Roland,<div><br></div><div>It says</div><div><br></div><div>gromacs/4.0.5/bin/mdrun_mpi: ELF 64-bit LSB executable, AMD x86-64, version 1 (SYSV), for GNU/Linux 2.6.9, dynamically linked (uses shared libs), for GNU/Linux 2.6.9, not stripped<div>


<div></div><div><br>
<br><div class="gmail_quote">On Tue, Mar 2, 2010 at 10:34 PM, Roland Schulz <span dir="ltr">&lt;<a href="mailto:roland@utk.edu" target="_blank">roland@utk.edu</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">



Amit,<div><br></div><div>try the full line (with the &quot;file&quot;) </div><div><br></div><font color="#888888"><div>Roland</div></font><div><div></div><div><div><br><div class="gmail_quote">On Wed, Mar 3, 2010 at 1:22 AM, Amit Choubey <span dir="ltr">&lt;<a href="mailto:kgp.amit@gmail.com" target="_blank">kgp.amit@gmail.com</a>&gt;</span> wrote:<br>





<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Roland <br><br>I tried &#39;which mdrun&#39; but it only gives the path name of installation. Is there any other way to know if the installation is 64 bit ot not?<br>





<br>Thank you,<br><font color="#888888">Amit</font><div><div></div><div><br><br><div class="gmail_quote">
On Tue, Mar 2, 2010 at 10:03 PM, Roland Schulz <span dir="ltr">&lt;<a href="mailto:roland@utk.edu" target="_blank">roland@utk.edu</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="border-left:1px solid rgb(204, 204, 204);margin:0pt 0pt 0pt 0.8ex;padding-left:1ex">






Hi,<div><br></div><div>do:</div><div>file `which mdrun`</div><div>and it should give:</div><div><div>/usr/bin/mdrun: ELF 64-bit LSB executable, x86-64, version 1 (SYSV), dynamically linked (uses shared libs), for GNU/Linux 2.6.15, stripped</div>








<div><br></div><div>If it is not 64 you need to compile with 64 and have a 64bit kernel. Since you asked before about 2GB large files this might indeed be your problem.</div><div><br></div><font color="#888888"><div>Roland</div>






</font><div><div></div><div><div><br></div>

<div class="gmail_quote">On Wed, Mar 3, 2010 at 12:48 AM, Amit Choubey <span dir="ltr">&lt;<a href="mailto:kgp.amit@gmail.com" target="_blank">kgp.amit@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="border-left:1px solid rgb(204, 204, 204);margin:0pt 0pt 0pt 0.8ex;padding-left:1ex">








Hi Tsjerk,<br><br>I tried to do a test run based on the presentation. But there was a memory related error (I had given a leverage of more than 2 GB). <br><br>I did not understand the 64 bit issue, could you let me know wheres the documentation? I need to look into that.<br>









<br>Thank you,<br><font color="#888888">amit</font><div><div></div><div><br><br><div class="gmail_quote">On Tue, Mar 2, 2010 at 9:14 PM, Tsjerk Wassenaar <span dir="ltr">&lt;<a href="mailto:tsjerkw@gmail.com" target="_blank">tsjerkw@gmail.com</a>&gt;</span> wrote:<br>








<blockquote class="gmail_quote" style="border-left:1px solid rgb(204, 204, 204);margin:0pt 0pt 0pt 0.8ex;padding-left:1ex">
Hi Amit,<br>
<br>
I think the presentation gives right what you want: a rough estimate.<br>
Now as Berk pointed out, to allocate more than 2GB of memory, you need<br>
to compile in 64bit. Then, if you want to have a real feel for the<br>
memory usage, there&#39;s no other way than trying. But fortunately, the<br>
memory requirements of a (very) long simulation are equal to that of a<br>
very short one, so it doesn&#39;t need to cost much time.<br>
<br>
Cheers,<br>
<br>
Tsjerk<br>
<div><div></div><div><br>
On Wed, Mar 3, 2010 at 5:31 AM, Amit Choubey &lt;<a href="mailto:kgp.amit@gmail.com" target="_blank">kgp.amit@gmail.com</a>&gt; wrote:<br>
&gt; Hi Mark,<br>
&gt;<br>
&gt; Yes thats one way to go about it. But it would have been great if i could<br>
&gt; get a rough estimation.<br>
&gt;<br>
&gt; Thank you.<br>
&gt;<br>
&gt; amit<br>
&gt;<br>
&gt;<br>
&gt; On Tue, Mar 2, 2010 at 8:06 PM, Mark Abraham &lt;<a href="mailto:Mark.Abraham@anu.edu.au" target="_blank">Mark.Abraham@anu.edu.au</a>&gt;<br>
&gt; wrote:<br>
&gt;&gt;<br>
&gt;&gt; On 3/03/2010 12:53 PM, Amit Choubey wrote:<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;    Hi Mark,<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;    I quoted the memory usage requirements from a presentation by Berk<br>
&gt;&gt;&gt;    Hess, Following is the link to it<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; <a href="http://www.csc.fi/english/research/sciences/chemistry/courses/cg-2009/berk_csc.pdf" target="_blank">http://www.csc.fi/english/research/sciences/chemistry/courses/cg-2009/berk_csc.pdf</a><br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;    l. In that presentation on pg 27,28 Berk does talk about memory<br>
&gt;&gt;&gt;    usage but then I am not sure if he referred to any other specific<br>
&gt;&gt;&gt; thing.<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;    My system only contains SPC water. I want Berendsen T coupling and<br>
&gt;&gt;&gt;    Coulomb interaction with Reaction Field.<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;    I just want a rough estimate of how big of a system of water can be<br>
&gt;&gt;&gt;    simulated on our super computers.<br>
&gt;&gt;<br>
&gt;&gt; Try increasingly large systems until it runs out of memory. There&#39;s your<br>
&gt;&gt; answer.<br>
&gt;&gt;<br>
&gt;&gt; Mark<br>
&gt;&gt;<br>
&gt;&gt;&gt; On Fri, Feb 26, 2010 at 3:56 PM, Mark Abraham &lt;<a href="mailto:mark.abraham@anu.edu.au" target="_blank">mark.abraham@anu.edu.au</a><br>
&gt;&gt;&gt; &lt;mailto:<a href="mailto:mark.abraham@anu.edu.au" target="_blank">mark.abraham@anu.edu.au</a>&gt;&gt; wrote:<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;    ----- Original Message -----<br>
&gt;&gt;&gt;    From: Amit Choubey &lt;<a href="mailto:kgp.amit@gmail.com" target="_blank">kgp.amit@gmail.com</a> &lt;mailto:<a href="mailto:kgp.amit@gmail.com" target="_blank">kgp.amit@gmail.com</a>&gt;&gt;<br>
&gt;&gt;&gt;    Date: Saturday, February 27, 2010 10:17<br>
&gt;&gt;&gt;    Subject: Re: [gmx-users] gromacs memory usage<br>
&gt;&gt;&gt;    To: Discussion list for GROMACS users &lt;<a href="mailto:gmx-users@gromacs.org" target="_blank">gmx-users@gromacs.org</a><br>
&gt;&gt;&gt;    &lt;mailto:<a href="mailto:gmx-users@gromacs.org" target="_blank">gmx-users@gromacs.org</a>&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;     &gt; Hi Mark,<br>
&gt;&gt;&gt;     &gt; We have few nodes with 64 GB memory and many other with 16 GB of<br>
&gt;&gt;&gt;    memory. I am attempting a simulation of around 100 M atoms.&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;    Well, try some smaller systems and work upwards to see if you have a<br>
&gt;&gt;&gt;    limit in practice. 50K atoms can be run in less than 32GB over 64<br>
&gt;&gt;&gt;    processors. You didn&#39;t say whether your simulation system can run on<br>
&gt;&gt;&gt;    1 processor... if it does, then you can be sure the problem really<br>
&gt;&gt;&gt;    is related to parallelism.<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;     &gt; I did find some document which says one need (50bytes)*NATOMS on<br>
&gt;&gt;&gt;    master node, also one needs<br>
&gt;&gt;&gt;     &gt;  (100+4*(no. of atoms in cutoff)*(NATOMS/nprocs) for compute<br>
&gt;&gt;&gt;    nodes. Is this true?&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;    In general, no. It will vary with the simulation algorithm you&#39;re<br>
&gt;&gt;&gt;    using. Quoting such without attributing the source or describing the<br>
&gt;&gt;&gt;    context is next to useless. You also dropped a parenthesis.<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;    Mark<br>
&gt;&gt;&gt;    --<br>
&gt;&gt;&gt;    gmx-users mailing list <a href="mailto:gmx-users@gromacs.org" target="_blank">gmx-users@gromacs.org</a><br>
&gt;&gt;&gt;    &lt;mailto:<a href="mailto:gmx-users@gromacs.org" target="_blank">gmx-users@gromacs.org</a>&gt;<br>
&gt;&gt;&gt;    <a href="http://lists.gromacs.org/mailman/listinfo/gmx-users" target="_blank">http://lists.gromacs.org/mailman/listinfo/gmx-users</a><br>
&gt;&gt;&gt;    Please search the archive at <a href="http://www.gromacs.org/search" target="_blank">http://www.gromacs.org/search</a> before<br>
&gt;&gt;&gt;    posting!<br>
&gt;&gt;&gt;    Please don&#39;t post (un)subscribe requests to the list. Use the<br>
&gt;&gt;&gt;    www interface or send it to <a href="mailto:gmx-users-request@gromacs.org" target="_blank">gmx-users-request@gromacs.org</a><br>
&gt;&gt;&gt;    &lt;mailto:<a href="mailto:gmx-users-request@gromacs.org" target="_blank">gmx-users-request@gromacs.org</a>&gt;.<br>
&gt;&gt;&gt;    Can&#39;t post? Read <a href="http://www.gromacs.org/mailing_lists/users.php" target="_blank">http://www.gromacs.org/mailing_lists/users.php</a><br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt; --<br>
&gt;&gt; gmx-users mailing list    <a href="mailto:gmx-users@gromacs.org" target="_blank">gmx-users@gromacs.org</a><br>
&gt;&gt; <a href="http://lists.gromacs.org/mailman/listinfo/gmx-users" target="_blank">http://lists.gromacs.org/mailman/listinfo/gmx-users</a><br>
&gt;&gt; Please search the archive at <a href="http://www.gromacs.org/search" target="_blank">http://www.gromacs.org/search</a> before posting!<br>
&gt;&gt; Please don&#39;t post (un)subscribe requests to the list. Use the www<br>
&gt;&gt; interface or send it to <a href="mailto:gmx-users-request@gromacs.org" target="_blank">gmx-users-request@gromacs.org</a>.<br>
&gt;&gt; Can&#39;t post? Read <a href="http://www.gromacs.org/mailing_lists/users.php" target="_blank">http://www.gromacs.org/mailing_lists/users.php</a><br>
&gt;<br>
&gt;<br>
</div></div>&gt; --<br>
<div>&gt; gmx-users mailing list    <a href="mailto:gmx-users@gromacs.org" target="_blank">gmx-users@gromacs.org</a><br>
&gt; <a href="http://lists.gromacs.org/mailman/listinfo/gmx-users" target="_blank">http://lists.gromacs.org/mailman/listinfo/gmx-users</a><br>
&gt; Please search the archive at <a href="http://www.gromacs.org/search" target="_blank">http://www.gromacs.org/search</a> before posting!<br>
&gt; Please don&#39;t post (un)subscribe requests to the list. Use the<br>
&gt; www interface or send it to <a href="mailto:gmx-users-request@gromacs.org" target="_blank">gmx-users-request@gromacs.org</a>.<br>
&gt; Can&#39;t post? Read <a href="http://www.gromacs.org/mailing_lists/users.php" target="_blank">http://www.gromacs.org/mailing_lists/users.php</a><br>
&gt;<br>
<br>
<br>
<br>
</div><font color="#888888">--<br>
Tsjerk A. Wassenaar, Ph.D.<br>
<br>
Computational Chemist<br>
Medicinal Chemist<br>
Neuropharmacologist<br>
</font><div><div></div><div>--<br>
gmx-users mailing list    <a href="mailto:gmx-users@gromacs.org" target="_blank">gmx-users@gromacs.org</a><br>
<a href="http://lists.gromacs.org/mailman/listinfo/gmx-users" target="_blank">http://lists.gromacs.org/mailman/listinfo/gmx-users</a><br>
Please search the archive at <a href="http://www.gromacs.org/search" target="_blank">http://www.gromacs.org/search</a> before posting!<br>
Please don&#39;t post (un)subscribe requests to the list. Use the<br>
www interface or send it to <a href="mailto:gmx-users-request@gromacs.org" target="_blank">gmx-users-request@gromacs.org</a>.<br>
Can&#39;t post? Read <a href="http://www.gromacs.org/mailing_lists/users.php" target="_blank">http://www.gromacs.org/mailing_lists/users.php</a><br>
</div></div></blockquote></div><br>
</div></div><br>--<br>
gmx-users mailing list    <a href="mailto:gmx-users@gromacs.org" target="_blank">gmx-users@gromacs.org</a><br>
<a href="http://lists.gromacs.org/mailman/listinfo/gmx-users" target="_blank">http://lists.gromacs.org/mailman/listinfo/gmx-users</a><br>
Please search the archive at <a href="http://www.gromacs.org/search" target="_blank">http://www.gromacs.org/search</a> before posting!<br>
Please don&#39;t post (un)subscribe requests to the list. Use the<br>
www interface or send it to <a href="mailto:gmx-users-request@gromacs.org" target="_blank">gmx-users-request@gromacs.org</a>.<br>
Can&#39;t post? Read <a href="http://www.gromacs.org/mailing_lists/users.php" target="_blank">http://www.gromacs.org/mailing_lists/users.php</a><br></blockquote></div><br><br clear="all"><br>-- <br></div></div><div>
ORNL/UT Center for Molecular Biophysics <a href="http://cmb.ornl.gov" target="_blank">cmb.ornl.gov</a><br>

865-241-1537, ORNL PO BOX 2008 MS6309<br>
</div></div>
<br>--<br>
gmx-users mailing list    <a href="mailto:gmx-users@gromacs.org" target="_blank">gmx-users@gromacs.org</a><br>
<a href="http://lists.gromacs.org/mailman/listinfo/gmx-users" target="_blank">http://lists.gromacs.org/mailman/listinfo/gmx-users</a><br>
Please search the archive at <a href="http://www.gromacs.org/search" target="_blank">http://www.gromacs.org/search</a> before posting!<br>
Please don&#39;t post (un)subscribe requests to the list. Use the<br>
www interface or send it to <a href="mailto:gmx-users-request@gromacs.org" target="_blank">gmx-users-request@gromacs.org</a>.<br>
Can&#39;t post? Read <a href="http://www.gromacs.org/mailing_lists/users.php" target="_blank">http://www.gromacs.org/mailing_lists/users.php</a><br></blockquote></div><br>
</div></div><br>--<br>
gmx-users mailing list    <a href="mailto:gmx-users@gromacs.org" target="_blank">gmx-users@gromacs.org</a><br>
<a href="http://lists.gromacs.org/mailman/listinfo/gmx-users" target="_blank">http://lists.gromacs.org/mailman/listinfo/gmx-users</a><br>
Please search the archive at <a href="http://www.gromacs.org/search" target="_blank">http://www.gromacs.org/search</a> before posting!<br>
Please don&#39;t post (un)subscribe requests to the list. Use the<br>
www interface or send it to <a href="mailto:gmx-users-request@gromacs.org" target="_blank">gmx-users-request@gromacs.org</a>.<br>
Can&#39;t post? Read <a href="http://www.gromacs.org/mailing_lists/users.php" target="_blank">http://www.gromacs.org/mailing_lists/users.php</a><br></blockquote></div><br><br clear="all"><br>-- <br>ORNL/UT Center for Molecular Biophysics <a href="http://cmb.ornl.gov" target="_blank">cmb.ornl.gov</a><br>





865-241-1537, ORNL PO BOX 2008 MS6309<br>
</div>
</div></div><br>--<br>
gmx-users mailing list    <a href="mailto:gmx-users@gromacs.org" target="_blank">gmx-users@gromacs.org</a><br>
<a href="http://lists.gromacs.org/mailman/listinfo/gmx-users" target="_blank">http://lists.gromacs.org/mailman/listinfo/gmx-users</a><br>
Please search the archive at <a href="http://www.gromacs.org/search" target="_blank">http://www.gromacs.org/search</a> before posting!<br>
Please don&#39;t post (un)subscribe requests to the list. Use the<br>
www interface or send it to <a href="mailto:gmx-users-request@gromacs.org" target="_blank">gmx-users-request@gromacs.org</a>.<br>
Can&#39;t post? Read <a href="http://www.gromacs.org/mailing_lists/users.php" target="_blank">http://www.gromacs.org/mailing_lists/users.php</a><br></blockquote></div><br></div></div></div>
<br>--<br>
gmx-users mailing list    <a href="mailto:gmx-users@gromacs.org" target="_blank">gmx-users@gromacs.org</a><br>
<a href="http://lists.gromacs.org/mailman/listinfo/gmx-users" target="_blank">http://lists.gromacs.org/mailman/listinfo/gmx-users</a><br>
Please search the archive at <a href="http://www.gromacs.org/search" target="_blank">http://www.gromacs.org/search</a> before posting!<br>
Please don&#39;t post (un)subscribe requests to the list. Use the<br>
www interface or send it to <a href="mailto:gmx-users-request@gromacs.org" target="_blank">gmx-users-request@gromacs.org</a>.<br>
Can&#39;t post? Read <a href="http://www.gromacs.org/mailing_lists/users.php" target="_blank">http://www.gromacs.org/mailing_lists/users.php</a><br></blockquote></div><br><br clear="all"><br>-- <br>ORNL/UT Center for Molecular Biophysics <a href="http://cmb.ornl.gov" target="_blank">cmb.ornl.gov</a><br>


865-241-1537, ORNL PO BOX 2008 MS6309<br>
</div></div></div>
<br>--<br>
gmx-users mailing list    <a href="mailto:gmx-users@gromacs.org">gmx-users@gromacs.org</a><br>
<a href="http://lists.gromacs.org/mailman/listinfo/gmx-users" target="_blank">http://lists.gromacs.org/mailman/listinfo/gmx-users</a><br>
Please search the archive at <a href="http://www.gromacs.org/search" target="_blank">http://www.gromacs.org/search</a> before posting!<br>
Please don&#39;t post (un)subscribe requests to the list. Use the<br>
www interface or send it to <a href="mailto:gmx-users-request@gromacs.org">gmx-users-request@gromacs.org</a>.<br>
Can&#39;t post? Read <a href="http://www.gromacs.org/mailing_lists/users.php" target="_blank">http://www.gromacs.org/mailing_lists/users.php</a><br></blockquote></div><br></div>