<html>
  <head>
    <meta content="text/html; charset=utf-8" http-equiv="Content-Type">
  </head>
  <body bgcolor="#FFFFFF" text="#000000">
    Unfortunately they're much larger (260Ah/ea I believe) batteries
    that make up the bank there.  Ryan fixed it just before 10:00AM
    today:<br>
    <br>
    <img src="cid:part1.9631AB7D.A8D60B41@bartk.us"><br>
    <br>
    Looks like there was some power mis-wiring on the last emergency
    visit up there.  That one was to fix a low oil condition in the
    generator that prevented it from supplying emergency charge to the
    batteries when needed, and to provide the DMR repeater with power
    toggle capability since its Ethernet locked up once.  During the DMR
    power toggle wiring, a critical charger was mis-wired and was no
    longer able to charge the bank.<br>
    <br>
    In other news, after DAYS of running on generator power @ Baldi, we
    finally got back onto utility power yesterday around 4:30PM:<br>
    <br>
    <img src="cid:part2.E9E56230.362A4417@bartk.us" alt="Baldi TrippLite
      UPS - Tripplite Voltage"><br>
    <br>
    Here is the history of the whole event:<br>
    <br>
    <img src="cid:part3.82341B33.D85B5B14@bartk.us" alt="Baldi TrippLite
      UPS - Tripplite Voltage"><br>
    <br>
    Thanks for the replacement offer, Paul!  Let's hope we never have
    this kind of situation in those 150Ah batteries (which will be
    getting installed @ Baldi).  This new and very expensive Haystack
    bank will never again perform the same due to this deep discharge
    event.<br>
    <br>
    --Bart<br>
    <br>
    <div class="moz-cite-prefix">On 2/11/2017 10:38 AM, Paul's eMail
      wrote:<br>
    </div>
    <blockquote
cite="mid:DM5PR08MB27937C6EAC5FF708CF57B013AE470@DM5PR08MB2793.namprd08.prod.outlook.com"
      type="cite">
      <meta http-equiv="Content-Type" content="text/html; charset=utf-8">
      <meta content="text/html; charset=Windows-1252">
      <meta content="text/html; charset=utf-8">
      <p dir="auto">If they are mine they will look like this: <font
          color="#55ad5a">https</font><font color="#a09ea0">://</font><font
          color="#363536">seattle.craigslist.org</font><font
          color="#a09ea0">/tac/pts/5963221711.html</font></p>
      <p dir="auto">Thanks, Paul<br>
      </p>
      <br>
      <br>
      <br>
      <div class="gmail_quote">On Sat, Feb 11, 2017 at 10:20 AM -0800,
        "Paul's eMail" <span dir="ltr">
          <<a moz-do-not-send="true"
            href="mailto:paulproko@hotmail.com" target="_blank">paulproko@hotmail.com</a>></span>
        wrote:<br>
        <br>
        <blockquote class="gmail_quote" style="margin:0 0 0 .8ex;
          border-left:1px #ccc solid; padding-left:1ex">
          <div dir="3D"ltr"">
            <meta content="text/html; charset=utf-8">
            <p dir="auto">If those are my batteries, I will replace them
              for free. Just need the cores. Let me know good sirs. Safe
              journey to the top.</p>
            <p dir="auto">Thanks, Paul<br>
            </p>
            <br>
            <br>
            <br>
            <div class="gmail_quote">On Sat, Feb 11, 2017 at 9:18 AM
              -0800, "Bart Kus" <span dir="ltr">
                <<a moz-do-not-send="true" href="mailto:me@bartk.us"
                  target="_blank">me@bartk.us</a>></span> wrote:<br>
              <br>
              <blockquote class="gmail_quote" style="margin:0 0 0 .8ex;
                border-left:1px #ccc solid; padding-left:1ex">
                <div dir="3D"ltr"">Something has gone
                  seriously wrong @ Haystack.  We're down to 14V on the
                  24V battery bank:<br>
                  <br>
                  <img src="cid:part6.A71AAF91.52DCE92A@bartk.us" alt=""><br>
                  <br>
                  Ryan's already 1/2 way up on foot, and I'm leaving now
                  to follow him on snowmobile.  Site will probably die
                  in the next couple hours, before we even get there. 
                  Boourns.<br>
                  <br>
                  --Bart<br>
                  <br>
                  <br>
                  <div class="moz-cite-prefix">On 2/9/2017 4:31 PM,
                    Nigel Vander Houwen wrote:<br>
                  </div>
                  <blockquote type="cite">
                    <pre>Aaaaand apparently Haystack-S3 wanted to prove me wrong. It seems to be back for the moment, so the issue appears to have been temporary, at least for now. We’ll keep an eye out for further issues.

Nigel

</pre>
                    <blockquote type="cite">
                      <pre>On Feb 9, 2017, at 14:06, Nigel Vander Houwen <a moz-do-not-send="true" class="moz-txt-link-rfc2396E" href="mailto:nigel@nigelvh.com"><nigel@nigelvh.com></a> wrote:

Hey All,

Got a couple of quick updates for you this afternoon.

First, our PTZ camera on Baldi we added in the fall and died in a power failure shortly thereafter seems to have made a miraculous recovery in another power failure/recovery two days ago. So, for now the camera is online, but it hasn’t left us with high confidence. At this point we’re planning to acquire and install a replacement power supply, as we think the coincidence with the camera dying and recovering both in mains power events is pretty telling.

Baldi in general has had a rough season this winter with regards to power, and while we do have a UPS up there, the batteries aren’t holding out long enough. We’re working out when we can get the additional capacity up there. For now we’re relying on our UPS, and the onsite generator (not automatic, and not in our control).

We have also apparently just lost Haystack sector 3. The rest of Haystack remains online, but if you connect to, or hoping to connect to S3, that’s not going to work for the moment. There appears to be a short circuit, and the modem is powered down. We’ve tried resetting the PoE injector, and the short remains, so until we can get up there to diagnose, hopes aren’t high for S3 coming back online.

Thanks!
Nigel
_______________________________________________
PSDR mailing list
<a moz-do-not-send="true" class="moz-txt-link-abbreviated" href="mailto:PSDR@hamwan.org">PSDR@hamwan.org</a>
<a moz-do-not-send="true" class="moz-txt-link-freetext" href="http://mail.hamwan.net/mailman/listinfo/psdr">http://mail.hamwan.net/mailman/listinfo/psdr</a>
</pre>
                    </blockquote>
                    <pre>_______________________________________________
PSDR mailing list
<a moz-do-not-send="true" class="moz-txt-link-abbreviated" href="mailto:PSDR@hamwan.org">PSDR@hamwan.org</a>
<a moz-do-not-send="true" class="moz-txt-link-freetext" href="http://mail.hamwan.net/mailman/listinfo/psdr">http://mail.hamwan.net/mailman/listinfo/psdr</a>
</pre>
                  </blockquote>
                  <br>
                </div>
              </blockquote>
            </div>
            <div>Something has gone seriously wrong @ Haystack.  We're
              down to 14V on the 24V battery bank:<br>
              <br>
              <img src="cid:part6.A71AAF91.52DCE92A@bartk.us" alt=""><br>
              <br>
              Ryan's already 1/2 way up on foot, and I'm leaving now to
              follow him on snowmobile.  Site will probably die in the
              next couple hours, before we even get there.  Boourns.<br>
              <br>
              --Bart<br>
              <br>
              <br>
              <div class="moz-cite-prefix">On 2/9/2017 4:31 PM, Nigel
                Vander Houwen wrote:<br>
              </div>
              <blockquote type="cite">
                <pre>Aaaaand apparently Haystack-S3 wanted to prove me wrong. It seems to be back for the moment, so the issue appears to have been temporary, at least for now. We’ll keep an eye out for further issues.

Nigel

</pre>
                <blockquote type="cite">
                  <pre>On Feb 9, 2017, at 14:06, Nigel Vander Houwen <a moz-do-not-send="true" class="moz-txt-link-rfc2396E" href="mailto:nigel@nigelvh.com"><nigel@nigelvh.com></a> wrote:

Hey All,

Got a couple of quick updates for you this afternoon.

First, our PTZ camera on Baldi we added in the fall and died in a power failure shortly thereafter seems to have made a miraculous recovery in another power failure/recovery two days ago. So, for now the camera is online, but it hasn’t left us with high confidence. At this point we’re planning to acquire and install a replacement power supply, as we think the coincidence with the camera dying and recovering both in mains power events is pretty telling.

Baldi in general has had a rough season this winter with regards to power, and while we do have a UPS up there, the batteries aren’t holding out long enough. We’re working out when we can get the additional capacity up there. For now we’re relying on our UPS, and the onsite generator (not automatic, and not in our control).

We have also apparently just lost Haystack sector 3. The rest of Haystack remains online, but if you connect to, or hoping to connect to S3, that’s not going to work for the moment. There appears to be a short circuit, and the modem is powered down. We’ve tried resetting the PoE injector, and the short remains, so until we can get up there to diagnose, hopes aren’t high for S3 coming back online.

Thanks!
Nigel
_______________________________________________
PSDR mailing list
<a moz-do-not-send="true" class="moz-txt-link-abbreviated" href="mailto:PSDR@hamwan.org">PSDR@hamwan.org</a>
<a moz-do-not-send="true" class="moz-txt-link-freetext" href="http://mail.hamwan.net/mailman/listinfo/psdr">http://mail.hamwan.net/mailman/listinfo/psdr</a>
</pre>
                </blockquote>
                <pre>_______________________________________________
PSDR mailing list
<a moz-do-not-send="true" class="moz-txt-link-abbreviated" href="mailto:PSDR@hamwan.org">PSDR@hamwan.org</a>
<a moz-do-not-send="true" class="moz-txt-link-freetext" href="http://mail.hamwan.net/mailman/listinfo/psdr">http://mail.hamwan.net/mailman/listinfo/psdr</a>
</pre>
              </blockquote>
              <br>
            </div>
          </div>
        </blockquote>
      </div>
      <div>
        <p dir="auto">If those are my batteries, I will replace them for
          free. Just need the cores. Let me know good sirs. Safe journey
          to the top.</p>
        <p dir="auto">Thanks, Paul<br>
        </p>
        <br>
        <br>
        <br>
        <div class="gmail_quote">On Sat, Feb 11, 2017 at 9:18 AM -0800,
          "Bart Kus" <span dir="ltr">
            <<a moz-do-not-send="true" href="mailto:me@bartk.us"
              target="_blank">me@bartk.us</a>></span> wrote:<br>
          <br>
          <blockquote class="gmail_quote" style="margin:0 0 0 .8ex;
            border-left:1px #ccc solid; padding-left:1ex">
            <div dir="3D"ltr"">Something has gone seriously
              wrong @ Haystack.  We're down to 14V on the 24V battery
              bank:<br>
              <br>
              <img src="cid:part6.A71AAF91.52DCE92A@bartk.us" alt=""><br>
              <br>
              Ryan's already 1/2 way up on foot, and I'm leaving now to
              follow him on snowmobile.  Site will probably die in the
              next couple hours, before we even get there.  Boourns.<br>
              <br>
              --Bart<br>
              <br>
              <br>
              <div class="moz-cite-prefix">On 2/9/2017 4:31 PM, Nigel
                Vander Houwen wrote:<br>
              </div>
              <blockquote type="cite">
                <pre>Aaaaand apparently Haystack-S3 wanted to prove me wrong. It seems to be back for the moment, so the issue appears to have been temporary, at least for now. We’ll keep an eye out for further issues.

Nigel

</pre>
                <blockquote type="cite">
                  <pre>On Feb 9, 2017, at 14:06, Nigel Vander Houwen <a moz-do-not-send="true" class="moz-txt-link-rfc2396E" href="mailto:nigel@nigelvh.com"><nigel@nigelvh.com></a> wrote:

Hey All,

Got a couple of quick updates for you this afternoon.

First, our PTZ camera on Baldi we added in the fall and died in a power failure shortly thereafter seems to have made a miraculous recovery in another power failure/recovery two days ago. So, for now the camera is online, but it hasn’t left us with high confidence. At this point we’re planning to acquire and install a replacement power supply, as we think the coincidence with the camera dying and recovering both in mains power events is pretty telling.

Baldi in general has had a rough season this winter with regards to power, and while we do have a UPS up there, the batteries aren’t holding out long enough. We’re working out when we can get the additional capacity up there. For now we’re relying on our UPS, and the onsite generator (not automatic, and not in our control).

We have also apparently just lost Haystack sector 3. The rest of Haystack remains online, but if you connect to, or hoping to connect to S3, that’s not going to work for the moment. There appears to be a short circuit, and the modem is powered down. We’ve tried resetting the PoE injector, and the short remains, so until we can get up there to diagnose, hopes aren’t high for S3 coming back online.

Thanks!
Nigel
_______________________________________________
PSDR mailing list
<a moz-do-not-send="true" class="moz-txt-link-abbreviated" href="mailto:PSDR@hamwan.org">PSDR@hamwan.org</a>
<a moz-do-not-send="true" class="moz-txt-link-freetext" href="http://mail.hamwan.net/mailman/listinfo/psdr">http://mail.hamwan.net/mailman/listinfo/psdr</a>
</pre>
                </blockquote>
                <pre>_______________________________________________
PSDR mailing list
<a moz-do-not-send="true" class="moz-txt-link-abbreviated" href="mailto:PSDR@hamwan.org">PSDR@hamwan.org</a>
<a moz-do-not-send="true" class="moz-txt-link-freetext" href="http://mail.hamwan.net/mailman/listinfo/psdr">http://mail.hamwan.net/mailman/listinfo/psdr</a>
</pre>
              </blockquote>
              <br>
            </div>
          </blockquote>
        </div>
        <div>Something has gone seriously wrong @ Haystack.  We're down
          to 14V on the 24V battery bank:<br>
          <br>
          <img src="cid:part6.A71AAF91.52DCE92A@bartk.us" alt=""><br>
          <br>
          Ryan's already 1/2 way up on foot, and I'm leaving now to
          follow him on snowmobile.  Site will probably die in the next
          couple hours, before we even get there.  Boourns.<br>
          <br>
          --Bart<br>
          <br>
          <br>
          <div class="moz-cite-prefix">On 2/9/2017 4:31 PM, Nigel Vander
            Houwen wrote:<br>
          </div>
          <blockquote type="cite">
            <pre>Aaaaand apparently Haystack-S3 wanted to prove me wrong. It seems to be back for the moment, so the issue appears to have been temporary, at least for now. We’ll keep an eye out for further issues.

Nigel

</pre>
            <blockquote type="cite">
              <pre>On Feb 9, 2017, at 14:06, Nigel Vander Houwen <a moz-do-not-send="true" class="moz-txt-link-rfc2396E" href="mailto:nigel@nigelvh.com"><nigel@nigelvh.com></a> wrote:

Hey All,

Got a couple of quick updates for you this afternoon.

First, our PTZ camera on Baldi we added in the fall and died in a power failure shortly thereafter seems to have made a miraculous recovery in another power failure/recovery two days ago. So, for now the camera is online, but it hasn’t left us with high confidence. At this point we’re planning to acquire and install a replacement power supply, as we think the coincidence with the camera dying and recovering both in mains power events is pretty telling.

Baldi in general has had a rough season this winter with regards to power, and while we do have a UPS up there, the batteries aren’t holding out long enough. We’re working out when we can get the additional capacity up there. For now we’re relying on our UPS, and the onsite generator (not automatic, and not in our control).

We have also apparently just lost Haystack sector 3. The rest of Haystack remains online, but if you connect to, or hoping to connect to S3, that’s not going to work for the moment. There appears to be a short circuit, and the modem is powered down. We’ve tried resetting the PoE injector, and the short remains, so until we can get up there to diagnose, hopes aren’t high for S3 coming back online.

Thanks!
Nigel
_______________________________________________
PSDR mailing list
<a moz-do-not-send="true" class="moz-txt-link-abbreviated" href="mailto:PSDR@hamwan.org">PSDR@hamwan.org</a>
<a moz-do-not-send="true" class="moz-txt-link-freetext" href="http://mail.hamwan.net/mailman/listinfo/psdr">http://mail.hamwan.net/mailman/listinfo/psdr</a>
</pre>
            </blockquote>
            <pre>_______________________________________________
PSDR mailing list
<a moz-do-not-send="true" class="moz-txt-link-abbreviated" href="mailto:PSDR@hamwan.org">PSDR@hamwan.org</a>
<a moz-do-not-send="true" class="moz-txt-link-freetext" href="http://mail.hamwan.net/mailman/listinfo/psdr">http://mail.hamwan.net/mailman/listinfo/psdr</a>
</pre>
          </blockquote>
          <br>
        </div>
      </div>
      <br>
      <fieldset class="mimeAttachmentHeader"></fieldset>
      <br>
      <pre wrap="">_______________________________________________
PSDR mailing list
<a class="moz-txt-link-abbreviated" href="mailto:PSDR@hamwan.org">PSDR@hamwan.org</a>
<a class="moz-txt-link-freetext" href="http://mail.hamwan.net/mailman/listinfo/psdr">http://mail.hamwan.net/mailman/listinfo/psdr</a>
</pre>
    </blockquote>
    <br>
  </body>
</html>