<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml" xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office"> <head> <meta name="viewport" content="width=device-width,initial-scale=1"> <!--[if gte mso 9]>
    <xml>
      <o:OfficeDocumentSettings>
        <o:AllowPNG/>
        <o:PixelsPerInch>96</o:PixelsPerInch>
     </o:OfficeDocumentSettings>
    </xml>
    <![endif]--> <style type="text/css">* a:hover{cursor:pointer;}</style> <style>body {-webkit-animation:bugfix infinite 1s;}@-webkit-keyframes bugfix {from {position:relative;}to {position:relative;}}</style> </head> <body style="word-wrap:normal;word-break:break-word"> <style>a {word-wrap:normal;word-break:break-word;}.background-contain {background-size:contain;}@media only screen and (max-width:600px) {.container {-webkit-text-size-adjust:none !important;}.container,.palm-one-whole {width:100% !important;min-width:100% !important;}.palm-one-half {width:50% !important;min-width:50% !important;box-sizing:border-box;}blockquote .container,blockquote .container div,blockquote .container table {width:auto !important;min-width:0 !important;position:relative !important;}img {max-width:100%;}.border-outer,.border-middle,.border-inner,.inner,[title="separator"] {width:100% !important;}.innercell {padding:8px !important;}.palm-block {display:block !important;}td.palm-one-whole {display:inline-block !important;padding:0;}td.palm-one-whole:first-child:not(:only-child) {margin-bottom:16px;}td.hostname {padding-top:3px !important;}}@media only screen and (min-width:601px) {.preview-card {max-width:600px !important;}}@media only screen and (min-device-width :320px) and (max-device-width :568px),only screen and (min-device-width :768px) and (max-device-width :1024px),only screen and (max-device-width:640px),only screen and (max-device-width:667px),only screen and (max-width:480px){.container {width:100% !important;min-width:100% !important;}.p,.small,li,font[size="2"],font[size="3"] {font-size:1em !important;}}@media only screen and (min-device-width :320px) and (max-device-width :568px),only screen and (min-device-width :768px) and (max-device-width :1024px),only screen and (min-device-width :1224px)  {.message-wrapper {padding-top:6px;}.apple-only[style] {display:block !important;max-height:none !important;line-height:normal !important;overflow:visible !important;height:auto !important;width:100% !important;position:relative !important;}.no-apple {display:none !important;}form {font-size:inherit;}input[type="text"] {height:43px;padding-left:4px !important;}button:hover {cursor:pointer;}}@media only screen and (min-device-width :1224px)  {.apple-mail-form {display:block !important;background-color:white !important;}}* [office365] .outlook-com-hidden {display:none !important;}* [office365] .outlook-com-button {display:block;}* [office365] .outlook-com-only {display:block !important;max-height:none !important;line-height:normal !important;overflow:visible !important;height:auto !important;width:100% !important;position:relative !important;}.ExternalClass {width:100%;}.ExternalClass .outlook-com-button {display:block;}.ExternalClass button {height:auto;}.ExternalClass .outlook-com-hidden {display:none !important;}.ExternalClass .outlook-com-only {display:block !important;max-height:none !important;line-height:normal !important;overflow:visible !important;height:auto !important;width:100% !important;position:relative !important;}.ExternalClass .ecxlabels {display:none !important;}.ExternalClass .ecxlabels {display:none !important;}.ExternalClass .ecxarrow {display:none !important;}.ExternalClass cite >div + div {padding:0 0 4px 0;}.ExternalClass .h1 {padding-bottom:5px;}.ExternalClass .h2 {padding-bottom:5px;}.ExternalClass .h3 {padding-bottom:5px;}.ExternalClass [lang="brand-pinterest"] {width:280px !important;}</style> <!--[if (gte mso 9)|(IE)]>
    
    <style>
      a, body {
        font-family: 'Calibri', Arial, sans-serif;
      }
    
      img {
        border: none !important;
        -ms-interpolation-mode:bicubic;
      }
    
      td {
        mso-line-height-rule:exactly !important;
      }
    
      .mso-card-inner table {
        border-collapse: collapse !important;
        mso-table-lspace:0pt;
        mso-table-rspace:0pt;
        vertical-align: top;
      }
    
      .outlook-com-only {
        display: none !important;
        font-size: 0 !important;
      }
    
      #mso-one-whole {
        width: 100% !important;
      }
    
    
    
        .border-outer,
        .border-middle,
        .border-inner {
          border: none !important;
        }
    
        .border-middle,
        .border-inner {
          width: 100% !important;
        }
    
        .mso-border-outer,
        .mso-border-middle,
        .mso-border-inner {
          padding: 1px;
        }
    
        .mso-border-outer { background-color: rgb(245, 255, 255); }
        .mso-border-middle { background-color: rgb(223, 246, 255); }
        .mso-border-inner { background-color: rgb(153, 176, 225); }
    
    </style>
    
    <![endif]--> <table class="container" lang="container" dir="ltr" border="0" cellpadding="0" cellspacing="0" valign="top" style="width:100%"> <tr> <td valign="top" class="message-wrapper" style="color:#222;font-family:arial,sans-serif"> <!--[if mso]><table  border="0" cellpadding="0" cellspacing="0" valign="top" style="border-collapse:separate;"><tr><td valign="top"><![endif]--> <div>In short, +1 to the above ideas. I think 1.1.0 looks a better choice now. And we'd better have a branch for the bug fixes releases of each feature release, such as branch 1.0.y.</div><div><br></div><div>I offline discussed with @bergwolf and @WeiZhang555. To make things simple:</div><div><br></div><div>- The major version change, 1.x to 2.x should include significant feature update, or introduce significant changes for the users. The current situation is not such a big change definitely.</div><div>- The minor version change, let me talk it later because it is the current debating point.</div><div>- The bug fix number, such as 1.0.x to 1.0.y, should only include bug fix or security fix, which should not break main data structures, interfaces, and wire protocol.</div><div><br></div><div>As the protobuf definition had been changed, bump version to 1.1.0 is almost what we have to do.</div><div><br></div><div>Then we should could define things like the following:</div><div><br></div><div>- Any feature update that introduce interface or protobuf definition change </div><div>  - should not be put into "stable release branch vM.n.y", and should be merged to master.</div><div>  - should be labeled as "feature update" or similar label, and be listed in the release note later.</div><div>- We checkpoint the master to make a new stable release tag 'vM.(n+1).0' and branch 'vM.(n+1).y' at the release date, and make packages.</div><div><br></div><div>- Xu</div><img align="left" width="0" height="0" style="border:0;width:0px;height:0px" src="https://track.mixmax.com/api/track/v2/7M2xlBqvF6DlDyYt1/gIoNnLyVGc5hGQ1hnI" alt=""> <!--[if mso]></td></tr></table><![endif]--> </td> </tr> </table> <div> <div> <p data-m-apply-default-font="true"><br></p> <div class="gmail_extra"> <p data-m-apply-default-font="true"><br></p> <div class="gmail_quote"> On Sat, Jun 23, 2018 12:59 AM, Ricardo Aravena <span dir="ltr"> <a href="mailto:raravena80@gmail.com" target="_blank">raravena80@gmail.com</a></span> wrote:<br> <blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"> <u></u> <div dir="ltr">+1 on 1.1.0.<div><br></div><div>Live-upgrade is nice, but lots of people are starting to do more immutable infrastructure. Bring up new workloads on a brand new server/cluster with a newer version. Just need to document that 1.1.0 is not compatible with 1.0.0.</div><div><br></div><div>We see something similar with K8s and Mesos. It's pretty common with projects with a fast release cycle.</div><div><br></div><div>We are running K8s 1.4.x and the latest is 1.11.x. We are not even thinking about upgrading from 1.4.x to 1.11.x, we are just saying let's create a new cluster and move all the workloads gradually. Also, 1.11.x comes a brand new set of container runtimes. </div><div><br></div><div>With Mesos, we are doing the same, upgrading from 1.3.0 to 1.6.0 by creating a new cluster.</div><div><br></div><div>Cheers.</div><div><br></div><div><br></div></div><div><br><div>On Fri, Jun 22, 2018 at 6:13 AM, Hunt, James O <span dir="ltr"><<a href="mailto:james.o.hunt@intel.com" target="_blank">james.o.hunt@intel.com</a>></span> wrote:<br><blockquote style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi Sebastien,<div><br></div><div>Thanks very much for kicking off what has turned into a great thread from the humble beginnings of [1] ;)<div><br></div><div>I've attempted to summarise it to distill the essence as there is a lot of detail:</div><div><br></div><div>- There seems to be general consensus that:</div><div><br></div><div>    - 1.1.0 is better than 2.0.0.</div><div>    - 1.1.0 is also better than 1.0.1.</div><div><br></div><div>   By changing the minor number users can see it is more than a bugfix release, but we're arguably abusing the naming slightly by not bumping the major number.</div><div><br></div><div>  That seeming abuse of semver is handled by a "get out of jail free card", namely that we haven't documented the gRPC protocol and hence implicitly haven't agreed (and documented) precisely what API breakage means yet.</div><div><br></div><div>  We also need to remember to include details of the breakage in the release notes.</div><div><br></div><div>- Plan B:</div><div><br></div><div>  It's worth mentioned that another thought we had yesterday was that we could revert the breaking change [2] to allow us to release a true 1.0.1.</div><div>  That would give us breathing space to investigate the breakage more fully and find a way to avoid it happening in the future (or atleast detect and minimise).</div><div><br></div><div><br></div><div>== TODO list from this thread ==</div><div><br></div><div>I've raised a bunch of issues here and referenced some existing ones. Please dive in by commenting, emojifying, assigning to yourself (please! ;), etc:</div><div><br></div><div>- Jon plans to write up a slide deck on gRPC API evolution best practices (I'd love to see this! ;)</div><div><br></div><div>- We need to document the gRPC protocol:</div><div><br></div><div>  <a href="https://github.com/kata-containers/agent/issues/150" target="_blank">https://github.com/kata-<wbr>containers/agent/issues/150</a></div><div><br></div><div>- We need to version the gRPC protocol:</div><div><br></div><div>  <a href="https://github.com/kata-containers/kata-containers/issues/17" target="_blank">https://github.com/kata-<wbr>containers/kata-containers/<wbr>issues/17</a></div><div>  <a href="https://github.com/kata-containers/agent/issues/272" target="_blank">https://github.com/kata-<wbr>containers/agent/issues/272</a></div><div><br></div><div>- We need to guarantee persistent state files are consumable by newer component versions:</div><div><br></div><div>  <a href="https://github.com/kata-containers/kata-containers/issues/25" target="_blank">https://github.com/kata-<wbr>containers/kata-containers/<wbr>issues/25</a></div><div><br></div><div>- We need to update our documentation to explain that we cannot handle "live upgrade":</div><div><br></div><div>  <a href="https://github.com/kata-containers/documentation/issues/178" target="_blank">https://github.com/kata-<wbr>containers/documentation/<wbr>issues/178</a></div><div><br></div><div>- We need to update our documentation to explain that all component versions must (currently) match for correct operation:</div><div><br></div><div>  <a href="https://github.com/kata-containers/documentation/issues/177" target="_blank">https://github.com/kata-<wbr>containers/documentation/<wbr>issues/177</a></div><div><br></div><div>Cheers,</div><div><br></div><div>James</div><div><br></div><div><div>[1] - <a href="https://github.com/kata-containers/proxy/pull/76" target="_blank">https://github.com/kata-contai<wbr>ners/proxy/pull/76</a><br><div>[2] - <a href="https://github.com/kata-containers/runtime/pull/357" style="color:rgb(17,85,204);font-size:small;background-color:rgb(255,255,255)" target="_blank">https://github.com/kata-cont<wbr>ainers/runtime/pull/357</a></div><div><br></div></div></div><div><div><div><br><div>2018-06-22 10:55 GMT+01:00 Thierry Carrez <span dir="ltr"><<a href="mailto:thierry@openstack.org" target="_blank">thierry@openstack.org</a>></span>:<br><blockquote style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><span>zhangwei (CR) wrote:<br> <blockquote style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"> To summarize:<br> 1) We  already break the backward compatibility, and we will break a lot more in near future definitely.  Actually in Vancouver, the participants all agree that we can't promise the API won't be broken and current API isn't a stable version.<br> 2) Before we claim that kata can support "live ugrade" and kata is real production ready, I'm fine with the breakage and also fine with 1.0.1 or 1.1.0, maybe latter one looks better.<br> 3) After we claim that kata can support "live upgrade" in future, we should reject any modifications which will break the running workloads, unless this is really inevitable, by then, we need to upgrade kata version from x.0.0 to y.0.0.<br> But I hope our kata developers can understand what a disaster this could be to a cloud provider like us :-(, and I hope this will never happen.<br> 4) Better document that we don't support "live upgrade" yet, and tell users that if you want to upgrade to this new kata-containers version, you must stop all you running kata containers, or there will be anticipated issues.<br> </blockquote> <br></span> That summary sounds in line with what Jon said... the protocol between the runtime and the agent is not (yet) part of the external contract for Kata. Once it is (be it by supporting live upgrade or other explicit documentation that you support mixing versions between agent and runtime) then you should avoid breaking that altogether (and bump X number in the case you really need to).<br> <br> In example 1 from Sebastien (PauseContainer()), I would still recommend you bump Y though, and make it 1.1.0. You're adding a feature and modifying the protocol. I would keep .Z bumps for basic bugfixes that do not introduce incompatible protocol changes at all, if only to develop user confidence that those .Z bumps can be deployed with limited risk.<span><font color="#888888"><br> <br> -- <br> Thierry Carrez (ttx)</font></span><div><div><br> <br> ______________________________<wbr>_________________<br> kata-dev mailing list<br> <a href="mailto:kata-dev@lists.katacontainers.io" target="_blank">kata-dev@lists.katacontainers.<wbr>io</a><br> <a href="http://lists.katacontainers.io/cgi-bin/mailman/listinfo/kata-dev" rel="noreferrer" target="_blank">http://lists.katacontainers.io<wbr>/cgi-bin/mailman/listinfo/kata<wbr>-dev</a><br> </div></div></blockquote></div><br><br clear="all"><div><br></div></div></div><span><font color="#888888">-- <br><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><font color="#888888"><span style="font-family:monospace,monospace"><span style="font-family:monospace,monospace">James<br>---</span></span></font></div><div dir="ltr"><a href="https://katacontainers.io/" style="color:rgb(17,85,204);font-family:monospace,monospace" target="_blank">https://katacontainers.io/</a><span style="color:rgb(136,136,136);font-family:monospace,monospace"> | <a href="https://github.com/clearcontainers" target="_blank">https://github.com/kata-contai<wbr>ners</a></span><font color="#888888"><span style="font-family:monospace,monospace"><span style="font-family:monospace,monospace"><br></span></span></font></div><div dir="ltr"><font color="#888888"><font face="monospace, monospace">Open Source Technology Center</font><br><font face="monospace, monospace">Intel Corporation (UK) Ltd. - Co. Reg. #1134945 - Pipers Way, Swindon SN3 1RJ.</font></font><br></div></div></div></div></div></div></div></div></div></div></div> </font></span></div></div></div> <br>______________________________<wbr>_________________<br> kata-dev mailing list<br> <a href="mailto:kata-dev@lists.katacontainers.io">kata-dev@lists.katacontainers.<wbr>io</a><br> <a href="http://lists.katacontainers.io/cgi-bin/mailman/listinfo/kata-dev" rel="noreferrer" target="_blank">http://lists.katacontainers.<wbr>io/cgi-bin/mailman/listinfo/<wbr>kata-dev</a><br> <br></blockquote></div><br></div> </blockquote> </div> </div> </div> </div> <br><br><div style="font-size:12.8px">--</div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px">Xu Wang</div><div style="font-size:12.8px">CTO & Cofounder, Hyper</div><div style="font-size:12.8px">github/twitter/wechat: @gnawux</div><div style="font-size:12.8px"><a href="http://hyper.sh/" target="_blank" style="color:rgb(17,85,204)">http://hyper.sh</a></div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px">Hyper_: Make VM run like container</div> </body> </html>