<html dir="ltr">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=gb2312">
<style type="text/css" id="owaParaStyle">P {margin-top:0;margin-bottom:0;}</style>
</head>
<body fpstyle="1" ocsi="0">
<div style="direction: ltr;font-family: Tahoma;color: #000000;font-size: 10pt;">Yeah. Kata is designed to function like regular containers and thus driven through normal Kubernetes orchestration. It does this by adding a new container somewhere else and stopping
 it on the old host. aka cattle.<br>
<br>
If you want live migration of stuff in a vm, then kubevirt is probably a better fit for your use case, as its optimized for pets.<br>
<br>
Thanks,<br>
Kevin<br>
<div style="font-family: Times New Roman; color: #000000; font-size: 16px">
<hr tabindex="-1">
<div id="divRpF258713" style="direction: ltr;"><font size="2" face="Tahoma" color="#000000"><b>From:</b> EJ Campbell via kata-dev [kata-dev@lists.katacontainers.io]<br>
<b>Sent:</b> Monday, December 17, 2018 11:32 PM<br>
<b>To:</b> zhangwei (CR)<br>
<b>Cc:</b> sweil@redhat.com; Qixuan Wu; Graham Whaley; miklos@szeredi.hu; kata-dev@lists.katacontainers.io; swhiteho@redhat.com; vgoyal@redhat.com<br>
<b>Subject:</b> Re: [kata-dev] 答复: [Announce] virtio-fs released with Kata Containers support<br>
</font><br>
</div>
<div></div>
<div>
<div dir="ltr">Hi Wei,
<div><br>
</div>
<div>Got it. Though given your workloads need to be able to survive a hardware failure anyway, it seems like focusing all your effort on having your workloads support using K8s primitives to drain nodes and have them safely respawn on another physical host
 might be a better option.
<div>
<div><br>
</div>
<div>Thanks for the quick response,</div>
<div>EJ</div>
</div>
</div>
</div>
<br>
<div class="gmail_quote">
<div dir="ltr">On Mon, Dec 17, 2018 at 11:28 PM zhangwei (CR) <<a href="mailto:zhangwei555@huawei.com" target="_blank" rel="noopener noreferrer">zhangwei555@huawei.com</a>> wrote:<br>
</div>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex; border-left:1px solid rgb(204,204,204); padding-left:1ex">
<div lang="EN-US">
<div class="gmail-m_-1345239476986171017WordSection1">
<p class="MsoNormal"><span style="font-size:11pt; font-family:Calibri,sans-serif; color:rgb(31,73,125)">Hi EJ,<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt; font-family:Calibri,sans-serif; color:rgb(31,73,125)"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt; font-family:Calibri,sans-serif; color:rgb(31,73,125)">Kata Container is one tiny VM per POD, you can choose to run k8s+kata in another VM provisioned by OpenStack, in this case, we run into the nested virtualization
 scenario. It works well but brings some unnecessary overhead from nested VM usage.
<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt; font-family:Calibri,sans-serif; color:rgb(31,73,125)"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt; font-family:Calibri,sans-serif; color:rgb(31,73,125)">To avoid this kind of overhead, we can also choose to run K8S cluster on bare metal, which means every worker/node of K8S is bare metal machine instead of
 VM. By doing this, K8S becomes the lowest level of infrastructure and should provide live migration capability similar to OpenStack VM scenarios.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt; font-family:Calibri,sans-serif; color:rgb(31,73,125)"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt; font-family:Calibri,sans-serif; color:rgb(31,73,125)">Live migration could be useful in this scene as every POD is a VM running on bare metal now, we need a reliable way to keep workload alive when host machine
 needs reboot(let’s say, fixing some CVEs).<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt; font-family:Calibri,sans-serif; color:rgb(31,73,125)"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt; font-family:Calibri,sans-serif; color:rgb(31,73,125)">-Wei<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11pt; font-family:Calibri,sans-serif; color:rgb(31,73,125)"><u></u> <u></u></span></p>
<p class="MsoNormal"><b><span style="font-size:11pt; font-family:微软雅黑,sans-serif" lang="ZH-CN">发件人</span></b><b><span style="font-size:11pt; font-family:微软雅黑,sans-serif">:</span></b><span style="font-size:11pt; font-family:微软雅黑,sans-serif"> EJ Campbell [mailto:<a href="mailto:ejc3@oath.com" target="_blank" rel="noopener noreferrer">ejc3@oath.com</a>]
<br>
<b><span lang="ZH-CN">发送时间</span>:</b> 2018<span lang="ZH-CN">年</span>12<span lang="ZH-CN">月</span>18<span lang="ZH-CN">日</span> 14:11<br>
<b><span lang="ZH-CN">收件人</span>:</b> zhangwei (CR) <<a href="mailto:zhangwei555@huawei.com" target="_blank" rel="noopener noreferrer">zhangwei555@huawei.com</a>><br>
<b><span lang="ZH-CN">抄送</span>:</b> Ernst, Eric <<a href="mailto:eric.ernst@intel.com" target="_blank" rel="noopener noreferrer">eric.ernst@intel.com</a>>; Stefan Hajnoczi <<a href="mailto:stefanha@redhat.com" target="_blank" rel="noopener noreferrer">stefanha@redhat.com</a>>;
<a href="mailto:sweil@redhat.com" target="_blank" rel="noopener noreferrer">sweil@redhat.com</a>; Qixuan Wu <<a href="mailto:qixuan.wu@linux.alibaba.com" target="_blank" rel="noopener noreferrer">qixuan.wu@linux.alibaba.com</a>>; Graham Whaley <<a href="mailto:graham.whaley@gmail.com" target="_blank" rel="noopener noreferrer">graham.whaley@gmail.com</a>>;
<a href="mailto:miklos@szeredi.hu" target="_blank" rel="noopener noreferrer">miklos@szeredi.hu</a>;
<a href="mailto:kata-dev@lists.katacontainers.io" target="_blank" rel="noopener noreferrer">
kata-dev@lists.katacontainers.io</a>; <a href="mailto:swhiteho@redhat.com" target="_blank" rel="noopener noreferrer">
swhiteho@redhat.com</a>; <a href="mailto:vgoyal@redhat.com" target="_blank" rel="noopener noreferrer">
vgoyal@redhat.com</a><br>
<b><span lang="ZH-CN">主题</span>:</b> Re: [kata-dev] <span lang="ZH-CN">答复</span>: [Announce] virtio-fs released with Kata Containers support<u></u><u></u></span></p>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<p class="MsoNormal">Hi Zhangwei,<u></u><u></u></p>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Could you go into more detail on the use case for live migration on bare metal?<u></u><u></u></p>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Thanks,<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">EJ<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
</div>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<div>
<p class="MsoNormal">On Mon, Dec 17, 2018 at 6:20 PM zhangwei (CR) <<a href="mailto:zhangwei555@huawei.com" target="_blank" rel="noopener noreferrer">zhangwei555@huawei.com</a>> wrote:<u></u><u></u></p>
</div>
<blockquote style="border-top:none; border-right:none; border-bottom:none; border-left:1pt solid rgb(204,204,204); padding:0cm 0cm 0cm 6pt; margin:5pt 0cm 5pt 4.8pt">
<p class="MsoNormal">Stefan, Eric,<br>
<br>
There isn't live migration requirement so far, but, I will take this as a potential requirement when Kata is growing more powerful.<br>
In my mind, this is rational as some of us are running kata on bare metal, in this scene, we don't have an infrastructure software such as OpenStack to guarantee the lifecycle of workload.<br>
<br>
Virtio-fs is in RFC state, it could be OK as long as it doesn't have native gap for supporting live migration,  and I will be glad to see it being listed in some roadmap.<br>
<br>
By the way, really nice work! We finally get a better option against 9pfs :-) Thanks!<br>
<br>
-----<span style="font-family:宋体" lang="ZH-CN">邮件原件</span>-----<br>
<span style="font-family:宋体" lang="ZH-CN">发件人</span>: Ernst, Eric [mailto:<a href="mailto:eric.ernst@intel.com" target="_blank" rel="noopener noreferrer">eric.ernst@intel.com</a>]
<br>
<span style="font-family:宋体" lang="ZH-CN">发送时间</span>: 2018<span style="font-family:宋体" lang="ZH-CN">年</span>12<span style="font-family:宋体" lang="ZH-CN">月</span>17<span style="font-family:宋体" lang="ZH-CN">日</span> 22:30<br>
<span style="font-family:宋体" lang="ZH-CN">收件人</span>: Stefan Hajnoczi <<a href="mailto:stefanha@redhat.com" target="_blank" rel="noopener noreferrer">stefanha@redhat.com</a>><br>
<span style="font-family:宋体" lang="ZH-CN">抄送</span>: <a href="mailto:sweil@redhat.com" target="_blank" rel="noopener noreferrer">
sweil@redhat.com</a>; Qixuan Wu <<a href="mailto:qixuan.wu@linux.alibaba.com" target="_blank" rel="noopener noreferrer">qixuan.wu@linux.alibaba.com</a>>; Graham Whaley <<a href="mailto:graham.whaley@gmail.com" target="_blank" rel="noopener noreferrer">graham.whaley@gmail.com</a>>;
<a href="mailto:miklos@szeredi.hu" target="_blank" rel="noopener noreferrer">miklos@szeredi.hu</a>;
<a href="mailto:kata-dev@lists.katacontainers.io" target="_blank" rel="noopener noreferrer">
kata-dev@lists.katacontainers.io</a>; <a href="mailto:swhiteho@redhat.com" target="_blank" rel="noopener noreferrer">
swhiteho@redhat.com</a>; <a href="mailto:vgoyal@redhat.com" target="_blank" rel="noopener noreferrer">
vgoyal@redhat.com</a><br>
<span style="font-family:宋体" lang="ZH-CN">主题</span>: Re: [kata-dev] [Announce] virtio-fs released with Kata Containers support<br>
<br>
Stefan -<br>
<br>
No, there isn’t a live migration requirement for Kata (sorry for the top post). <br>
<br>
Eric<br>
<br>
> On Dec 17, 2018, at 6:27 AM, Stefan Hajnoczi <<a href="mailto:stefanha@redhat.com" target="_blank" rel="noopener noreferrer">stefanha@redhat.com</a>> wrote:<br>
> <br>
>> On Sun, Dec 16, 2018 at 09:09:48AM +0800, Qixuan Wu wrote:<br>
>> 1) Did you compare the performance to the virtio-blk raw or qcow2 <br>
>> solution of normal virtual machine?<br>
> <br>
> Not yet.<br>
> <br>
> Guest and host page cache performance can dominate benchmarks, so we <br>
> typically use fio direct=1 with QEMU -drive cache=none (O_DIRECT) to <br>
> focus purely on disk I/O performance and not page cache.  The same <br>
> thing can be done with virtio-fs so that every I/O operation requires <br>
> communication with the host.  In theory virtio-fs should be comparable <br>
> to virtio-blk on raw.<br>
> <br>
> In real-world scenarios the page cache will be enabled, especially for <br>
> the virtio-fs DAX feature.  So I need to think carefully about what to <br>
> benchmark, but it will probably include both configurations.<br>
> <br>
>> 2) Whether does it impact live-migration of guest os ?<br>
> <br>
> Virtio-fs currently does not support live migration.  Is there a <br>
> requirement for live migration with Kata Containers use cases?<br>
> <br>
> Stefan<br>
<br>
_______________________________________________<br>
kata-dev mailing list<br>
<a href="mailto:kata-dev@lists.katacontainers.io" target="_blank" rel="noopener noreferrer">kata-dev@lists.katacontainers.io</a><br>
<a href="http://lists.katacontainers.io/cgi-bin/mailman/listinfo/kata-dev" target="_blank" rel="noopener noreferrer">http://lists.katacontainers.io/cgi-bin/mailman/listinfo/kata-dev</a><br>
_______________________________________________<br>
kata-dev mailing list<br>
<a href="mailto:kata-dev@lists.katacontainers.io" target="_blank" rel="noopener noreferrer">kata-dev@lists.katacontainers.io</a><br>
<a href="http://lists.katacontainers.io/cgi-bin/mailman/listinfo/kata-dev" target="_blank" rel="noopener noreferrer">http://lists.katacontainers.io/cgi-bin/mailman/listinfo/kata-dev</a><u></u><u></u></p>
</blockquote>
</div>
</div>
</div>
</blockquote>
</div>
</div>
</div>
</div>
</body>
</html>