<div dir="ltr"><div>Dear All</div><div><br></div><div>As you know, the LOFAR ILT board announced that the LOFAR data collected in cycles 0 to 6 (included) and contained in the LTA will be 'retired' (a dystopic version of 'permanently deleted') next year.<br></div><div><br></div><div>Because of this, they asked to submit a form to request the possibility of downloading data of interest (note that this is only a _request to download_, not a direct access to the download). <br></div><div><br></div><div>I went through the list of projects, and selected those containing timing-like data. As I think that these are relevant for many of you too, I report my request below. <br></div><div><br></div><div>I do not know how the ILT will proceed with this, since they gave extremely constraining timescales for the 'retirement' to happen -- and, as you can see, the volume of data that I indicated is large. Note, though, that the effective data volume will be much lower than 1 PB in the end, since LOFAR tends to store both the folded and the search-mode data that the folded archives were derived from (and we want to keep only the latter). <br></div><div><br></div><div>However, in case any of you can offer storage space to aid with the data archiving, let me, Joris or Gemma know. Of course these observations will then be accessible by anyone in our community.</div><div><br></div><div>Best</div><div><br></div><div>Caterina<br></div><div><br></div><div><div class="gmail_quote"><br><div dir="ltr"><br><div class="gmail_quote"><br><div dir="ltr" style="color:#202124;font-family:Roboto,Helvetica,Arial,sans-serif;font-size:14px;font-weight:400;line-height:20px;text-align:start;word-wrap:break-word;margin:0;padding:0;height:100%;width:100%"><table style="background-color:rgb(103,58,183)" role="presentation" width="100%" cellspacing="0" cellpadding="0" border="0"><tbody><tr height="64px"><td style="padding:0 24px"><img alt="Google Forms" style="display:inline-block;margin:0;vertical-align:middle" src="https://www.gstatic.com/docs/forms/google_forms_logo_lockup_white_2x.png" width="143px" height="26px"></td></tr></tbody></table><div style="padding:12px;background-color:rgb(237,231,246)"><div style="margin:0 auto;max-width:640px;min-width:154px"><div style="border:1px solid #dadce0;padding:20px 12px;background-color:#fff;border-radius:8px;margin-bottom:12px;padding:20px"><h1 style="color:#202124;font-family:Roboto,Helvetica,Arial,sans-serif;font-size:20px;font-weight:400;line-height:28px;margin:0 0 12px">Thanks for filling in <a href="https://eur03.safelinks.protection.outlook.com/?url=https%3A%2F%2Fdocs.google.com%2Fforms%2Fd%2Fe%2F1FAIpQLSfwBT8OgALv_7vwDxFLCi7qHODCK9gIeKGTztYzXyOjzQ2XhQ%2Fviewform%3Fusp%3Dmail_form_link&data=05%7C01%7Clofarpwg%40astron.nl%7Cf4982dbb615d4b84149908dbf18bb68c%7C03e9259c32624694ad934dce7c9fa403%7C1%7C0%7C638369354601579992%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C3000%7C%7C%7C&sdata=aQ2ma4C5GLFTyuklNfe%2FxKtXSgoY%2B41ze1YBfEFSLUg%3D&reserved=0" originalSrc="https://docs.google.com/forms/d/e/1FAIpQLSfwBT8OgALv_7vwDxFLCi7qHODCK9gIeKGTztYzXyOjzQ2XhQ/viewform?usp=mail_form_link" shash="WBICKW63J3VcmG8yDRyVDHV1Ukl+3k7waTdHicXdjlhX2bljorLHX8Oq0GEwh8s5pSK1OYkJeVNayVw1WCbxNs1k2k7MVw7X/pmqxqsyx/DJnZcHgulUMKJfejkxAeEdw+cLufWIowNbFioAsT8/nbVWu/7s1RYYohyLv/5cH+s=" style="white-space:pre-wrap" target="_blank"><span>Request for downloading LOFAR early-cycle Data (Cycle 0 till Cycle 6)<span></span></span></a></h1>Here's what was received.</div><div style="border-bottom:1px solid #dadce0;border-left:1px solid #dadce0;border-right:1px solid #dadce0;border-top:8px solid rgb(103,58,183);padding:20px;background-color:#fff;border-radius:8px;margin-bottom:12px"><h1 dir="ltr" style="font-family:Roboto,Helvetica,Arial,sans-serif;font-size:32px;font-weight:400;line-height:42px;white-space:pre-wrap;margin:0 0 12px"><span>Request for downloading LOFAR early-cycle Data (Cycle 0 till Cycle 6)<span></span></span></h1><div style="white-space:pre-wrap;margin-bottom:12px"><div><div><div>


















<p><span>LOFAR is preparing the upgrade to the
LOFAR2.0 system, which will offer simultaneous low- and high-band observing,
increased field-of-view, and various other improvements to the sensitivity and
operation of the telescope. The new system will generate considerably more data
than the current one. The need for processing and storage of this data represents
a significant challenge, as it outstrips current affordable solutions. To
realize the goals of the new Observatory, the ILT board has approved a data
life cycle that </span><span>optimises
science data processing capacity and efficiency with respect to affordable data
storage</span><span>. This includes data retirement. The ILT
anticipates that (final) science data products, generated through standard
pipelines (such as image cubes) can be kept available indefinitely (under open
access policies), but that raw/intermediate products may only be retained for
further processing within a restricted dwell time.</span></p>

<p><span>To prepare the ILT infrastructure for the LOFAR2.0
data challenges, a first step needs to be taken now that involves the retirement
of early Cycle data from the LOFAR Long-Term Archive (LTA). After careful
analysis, it has been concluded that data from Cycle 0 up to and including
Cycle 6 is either low in metadata quality or already valorized and published (<a href="https://science.astron.nl/telescopes/lofar/science-with-lofar/lofar-papers/" target="_blank">https://science.astron.nl/telescopes/lofar/science-with-lofar/lofar-papers/</a>)
or, based on the download statistics, of little demonstrable interest to the
current community. <i>The ILT has therefore approved that mid-2024 this data will
be deleted from all LTA sites. <br></i></span></p>

<p><span>Through this notification, we give the
opportunity to any users (i.e. not only the projects’ PI’s) who may need to
retrieve data from these early LOFAR Cycles, to signal this to the Observatory to
coordinate the data download. The requests will be evaluated by the Observatory
for technical feasibility and reviewed by the ILT-board for approval. We
emphasize that all data concerned is public data.</span></p>





<div><p style="font-weight:normal;font-style:normal"><span><span>Please, refer to the overview distributed via e-mail to understand which data is selected for retirement. </span></span><span style="font-weight:normal"><span>To avoid </span><span>excessive</span><span> </span><span>load </span><span>of </span><span>the </span><span>data access services</span><span> at the LTA sites, the Observatory needs to be informed of your d</span><span>ata </span><span>download </span><span>pla</span><span>ns </span><span>and needs to evaluate them in relation to </span><span>data access requirements for other users and purposes</span><span>. </span><span> </span><span>For this, </span><span>we </span><span>ask </span><span>you to </span><span>submit</span><span> a formal request </span><span>for data download </span><span>by </span><span>using this</span><span> </span><span>Google </span><span>form.</span></span><span><br></span></p></div></div><p style="font-weight:normal;font-style:normal"><span style="font-weight:normal;font-style:italic"><span>The deadline for </span><span>submitting</span><span> your request is Friday, 1 December, 12 UT (noon).</span></span><span> <br></span></p></div></div></div></div><div style="border:1px solid #dadce0;padding:20px 12px;background-color:#fff;border-radius:8px;margin-bottom:12px;margin-bottom:12px"><div style="padding:0 12px"><h2 dir="auto" style="color:#202124;font-family:Roboto,Helvetica,Arial,sans-serif;font-size:16px;font-weight:400;line-height:24px;white-space:pre-wrap;margin:0 0 16px">Email<span style="color:#d93025" aria-label="Required question"> *</span></h2></div><div style="padding:0 12px"><div style="width:100%"><div dir="auto" style="white-space:pre-wrap;border-bottom:1px dotted rgba(0,0,0,0.38);margin:12px 0 8px;min-height:20px;display:inline-block;max-width:100%;min-width:50%"><a href="mailto:caterina.tiburzi@inaf.it" target="_blank">caterina.tiburzi@inaf.it</a></div></div></div></div><div style="border:1px solid #dadce0;padding:20px 12px;background-color:#fff;border-radius:8px;margin-bottom:12px;margin-bottom:12px"><div style="padding:0 12px"><h2 dir="auto" style="color:#202124;font-family:Roboto,Helvetica,Arial,sans-serif;font-size:16px;font-weight:400;line-height:24px;white-space:pre-wrap;margin:0 0 16px">What is your name and title?<br><span style="color:#d93025" aria-label="Required question"> *</span></h2></div><div style="padding:0 12px"><div style="width:100%"><div dir="auto" style="white-space:pre-wrap;border-bottom:1px dotted rgba(0,0,0,0.38);margin:12px 0 8px;min-height:20px;display:inline-block;max-width:100%;min-width:50%">Caterina Tiburzi, Dr</div></div></div></div><div style="border:1px solid #dadce0;padding:20px 12px;background-color:#fff;border-radius:8px;margin-bottom:12px;margin-bottom:12px"><div style="padding:0 12px"><h2 dir="auto" style="color:#202124;font-family:Roboto,Helvetica,Arial,sans-serif;font-size:16px;font-weight:400;line-height:24px;white-space:pre-wrap;margin:0 0 16px">What is your affiliation?<br><span style="color:#d93025" aria-label="Required question"> *</span></h2></div><div style="padding:0 12px"><div style="width:100%"><div dir="auto" style="white-space:pre-wrap;border-bottom:1px dotted rgba(0,0,0,0.38);margin:12px 0 8px;min-height:20px;display:inline-block;max-width:100%;min-width:50%">INAF-OAC</div></div></div></div><div style="border:1px solid #dadce0;padding:20px 12px;background-color:#fff;border-radius:8px;margin-bottom:12px;margin-bottom:12px"><div style="padding:0 12px"><h2 dir="auto" style="color:#202124;font-family:Roboto,Helvetica,Arial,sans-serif;font-size:16px;font-weight:400;line-height:24px;white-space:pre-wrap;margin:0 0 16px">What is your e-mail address<br><span style="color:#d93025" aria-label="Required question"> *</span></h2></div><div style="padding:0 12px"><div style="width:100%"><div dir="auto" style="white-space:pre-wrap;border-bottom:1px dotted rgba(0,0,0,0.38);margin:12px 0 8px;min-height:20px;display:inline-block;max-width:100%;min-width:50%"><a href="mailto:caterina.tiburzi@inaf.it" target="_blank">caterina.tiburzi@inaf.it</a></div></div></div></div><div style="border:1px solid #dadce0;padding:20px 12px;background-color:#fff;border-radius:8px;margin-bottom:12px;margin-bottom:12px"><div style="padding:0 12px"><h2 dir="auto" style="color:#202124;font-family:Roboto,Helvetica,Arial,sans-serif;font-size:16px;font-weight:400;line-height:24px;white-space:pre-wrap;margin:0 0 16px">Which Cycle projects the data you wish to download belong to? Please provide a comma separated list.<br><span style="color:#d93025" aria-label="Required question"> *</span></h2></div><div style="padding:0 12px"><div dir="auto" style="white-space:pre-wrap;border-bottom:1px dotted rgba(0,0,0,0.38);margin:12px 0 8px;min-height:20px;width:100%">DDT5_003, LC0_008, LC0_011, LC0_022, LC1_003, LC1_020, LC1_027, LC1_035, LC2_007, LC2_010, LC2_025, LC2_039, LC3_013, LC3_035, LC4_003, LC4_004, LC4_009, LC4_019, LC4_021, LC4_032, LC5_003, LC5_018, LC6_028, LC6_030, LT3_001, LT5_003
</div></div></div><div style="border:1px solid #dadce0;padding:20px 12px;background-color:#fff;border-radius:8px;margin-bottom:12px;margin-bottom:12px"><div style="padding:0 12px"><h2 dir="auto" style="color:#202124;font-family:Roboto,Helvetica,Arial,sans-serif;font-size:16px;font-weight:400;line-height:24px;white-space:pre-wrap;margin:0 0 16px">Which SaSID's per Cycle projects you wish to download? Please provide a comma separated list.<br><span style="color:#d93025" aria-label="Required question"> *</span></h2></div><div style="padding:0 12px"><div dir="auto" style="white-space:pre-wrap;border-bottom:1px dotted rgba(0,0,0,0.38);margin:12px 0 8px;min-height:20px;width:100%">All of the SasID of the projects listed above are required</div></div></div><div style="border:1px solid #dadce0;padding:20px 12px;background-color:#fff;border-radius:8px;margin-bottom:12px;margin-bottom:12px"><div style="padding:0 12px"><h2 dir="auto" style="color:#202124;font-family:Roboto,Helvetica,Arial,sans-serif;font-size:16px;font-weight:400;line-height:24px;white-space:pre-wrap;margin:0 0 16px">What is the size (in TB) of your total download request for each of the 3 LTA sites?<br><span style="color:#d93025" aria-label="Required question"> *</span></h2></div><div style="padding:0 12px"><div dir="auto" style="white-space:pre-wrap;border-bottom:1px dotted rgba(0,0,0,0.38);margin:12px 0 8px;min-height:20px;width:100%">1152.4 TB</div></div></div><div style="border:1px solid #dadce0;padding:20px 12px;background-color:#fff;border-radius:8px;margin-bottom:12px;margin-bottom:12px"><div style="padding:0 12px"><h2 dir="auto" style="color:#202124;font-family:Roboto,Helvetica,Arial,sans-serif;font-size:16px;font-weight:400;line-height:24px;white-space:pre-wrap;margin:0 0 16px">What is the purpose of your data access request and what is your data (re-)processing plan?<br><span style="color:#d93025" aria-label="Required question"> *</span></h2></div><div style="padding:0 12px"><div dir="auto" style="white-space:pre-wrap;border-bottom:1px dotted rgba(0,0,0,0.38);margin:12px 0 8px;min-height:20px;width:100%">The purpose of the data access request is to ensure the storage of the timing data, and the repeatability of the studies that have been already published, as well as the studies that will be published based on these data. In particular, repeatability is crucial for a fair use and exchange of scientific information. 
Concerning the reprocessing plan, we plan to fold the search-mode data present in the requested projects, in case that the folded versions of the observation are not already present in the LTA. In the latter case, we will remove almost all the search-mode data from the observations, and only store the folded archives (that consist in a minimal fraction of the total data volume)</div></div></div><div style="border:1px solid #dadce0;padding:20px 12px;background-color:#fff;border-radius:8px;margin-bottom:12px;margin-bottom:12px"><div style="padding:0 12px"><h2 dir="auto" style="color:#202124;font-family:Roboto,Helvetica,Arial,sans-serif;font-size:16px;font-weight:400;line-height:24px;white-space:pre-wrap;margin:0 0 16px">What resources will you be using to store and further exploit the data you request for download?<br><span style="color:#d93025" aria-label="Required question"> *</span></h2></div><div style="padding:0 12px"><div dir="auto" style="white-space:pre-wrap;border-bottom:1px dotted rgba(0,0,0,0.38);margin:12px 0 8px;min-height:20px;width:100%">We plan to use local servers and computing centers. </div></div></div></div><table style="max-width:672px;min-width:154px;border-collapse:separate;border-spacing:0 0.2em" role="presentation" width="100%" cellspacing="0" cellpadding="0" align="center"><tbody><tr height="24px"><td></td></tr><tr><td><a href="https://eur03.safelinks.protection.outlook.com/?url=https%3A%2F%2Fdocs.google.com%2Fforms%3Fusp%3Dmail_form_link&data=05%7C01%7Clofarpwg%40astron.nl%7Cf4982dbb615d4b84149908dbf18bb68c%7C03e9259c32624694ad934dce7c9fa403%7C1%7C0%7C638369354601579992%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C3000%7C%7C%7C&sdata=7lTBKENVd7vVFNU15gsVPKatxk4Evmtbu99Qv2rHQ4M%3D&reserved=0" originalSrc="https://docs.google.com/forms?usp=mail_form_link" shash="rMXNAue9c4YHFISLieEvxEfQT/mIgj5bq5en86QYVdtSykf8XwQuCagWLJpPcFLCBz736gPWH75T8J/JJ0G0eXCRomTD0SRwWsulN3eyOEdSJUMJ9v0PUwah1L8D6OqMH7vJb+YMdaXD1mlZK8gOVOL/UveZXkZXVcIsQLWBq3s=" style="color:#424242;font-size:13px" target="_blank">Create your own Google Form</a></td></tr><tr><td><a href="https://eur03.safelinks.protection.outlook.com/?url=https%3A%2F%2Fdocs.google.com%2Fforms%2Fu%2F0%2Fd%2Fe%2F1FAIpQLSfwBT8OgALv_7vwDxFLCi7qHODCK9gIeKGTztYzXyOjzQ2XhQ%2Freportabuse%3Fsource%3Dhttps%3A%2F%2Fdocs.google.com%2Fforms%2Fd%2Fe%2F1FAIpQLSfwBT8OgALv_7vwDxFLCi7qHODCK9gIeKGTztYzXyOjzQ2XhQ%2Fviewform%26usp%3Dmail_receipt_abuse&data=05%7C01%7Clofarpwg%40astron.nl%7Cf4982dbb615d4b84149908dbf18bb68c%7C03e9259c32624694ad934dce7c9fa403%7C1%7C0%7C638369354601579992%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C3000%7C%7C%7C&sdata=ALjnD0oCbDdmOEDRCaAVx1VQUHgZU2gFjYApdn8Sisc%3D&reserved=0" originalSrc="https://docs.google.com/forms/u/0/d/e/1FAIpQLSfwBT8OgALv_7vwDxFLCi7qHODCK9gIeKGTztYzXyOjzQ2XhQ/reportabuse?source=https://docs.google.com/forms/d/e/1FAIpQLSfwBT8OgALv_7vwDxFLCi7qHODCK9gIeKGTztYzXyOjzQ2XhQ/viewform&usp=mail_receipt_abuse" shash="EXLjlB5QaJ2n2TcYDKH+69DNUv6+L0jVkSToBs95tjMJVEKx7w604OaocvVBiWgbyCZxjVGhleED12mDgcPt99ngIWGVUjP51xGhI6lvlvzxCq/Iv0Yd80SxDHbyvXil2wUkaFxfYLCpAEfdLf0i21SRnYQY8Ns6azD8y20hxnY=" style="color:#424242;font-size:13px" target="_blank">Report Abuse</a></td></tr></tbody></table></div></div></div></div>
</div><br clear="all"><br><span class="gmail_signature_prefix">-- </span><br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div><span style="color:rgb(68,68,68)">Dr. Caterina Tiburzi<br></span></div><div><span style="color:rgb(68,68,68)">Researcher</span></div><div><span style="color:rgb(68,68,68)"><br></span></div><div><span style="color:rgb(68,68,68)">INAF - Osservatorio Astronomico di Cagliari</span></div><div><span>Via della Scienza 5, 09047 Selargius (IT)</span><span style="color:rgb(68,68,68)"></span></div><div><span style="color:rgb(68,68,68)"><br></span></div><div><span style="color:rgb(68,68,68)">Email: <a href="mailto:caterina.tiburzi@inaf.it" target="_blank">caterina.tiburzi@inaf.it</a><br></span></div><div><span style="color:rgb(68,68,68)">Skype: caterina.tiburzi84<br></span></div><div><span style="color:rgb(68,68,68)"><br></span></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div>