原文地址：https://chenhsuanlin.bitbucket.io/3D-point-cloud-generation/paper.pdf摘要：对于3D物体的重建，信息主要丰富在表面。本文的目的在于以密集点云的形式表示3D模型，这边文章讲的就是用2D图像如何生成3D模型。2D图像也是从3D的世界投影来的，从3D到2D必然是缺少了很多信息的，所以单一视角的2D图像是不可能恢复出3D模型的。如果非要的必须要有一些先验知识。作者说采用这种编码解码学习一个压缩的表达，是最有希望的方式（黑人问号？）关于3D模型的表达方式，有以下三种：先看看体素网格：体素网格就是用规则的有体积的小网格去表达3D模型，会损失一些细节，当分辨率越高，需要的小网格也就越多，但其实我们只需要表面的，所以就算量比较大，要衡量分辨率和计算量之间的权衡，不过这种表达方式还是比较容易地输入到CNN里面。多边形网丝：由顶点、边缘和朝向（定义表面的3要素）组成，它可以抓住细小的细节。点云：（x,y,z),点云数量越多表达的越细节。以上两个优点在于表达细腻，但是不能直接用于CNN网络方案：我们使用点云紧实的的表达和传统的2d 卷积，学习先验的形状信息。第一步：3D结构生成器该模块根据2D的RGB图和物体对应的binary mask预测像素点的三维坐标（x,y,z)，该步骤的输入输出为：其中：2D projection == 3D coordinates (x,y,z) + binary mask (m)第二步：Point Cloud Fusion（点云融合）融合点云成3D模型，这是可行的（因为每幅图像对应的3D姿态是固定的且事先知道的）其输入输出如下：第三步：根据3D模型生成新的2D投影，跟GroundTruth比对计算loss其输入输出如下：也就是说如果生成的3D模型是接近真实的，那么新视角的投影应该也是接近真实的ground_truth总体的流程如下图所示：结果对比：下图是真实的点云信息和生成的点云信息的对比：最终的结果：总结：本文确实是从一系列的2D图像以及每张图片对应的映射矩阵生成3D模型，最聪明的举动在于融合和新角度的渲染生成，陈生了差异以及几何意义，利用这种差异我们才能从2D投影学习到3D点云。代码地址：Pytorch code: https://github.com/lkhphuc/pytorch-3d-point-cloud-generationTensorflow code: https://github.com/chenhsuanlin/3D-point-cloud-generationPaper: https://arxiv.org/abs/1706.07036Original project website: https://chenhsuanlin.bitbucket.io/3D-point-cloud-generation/}

本文转自【科技日报】；科学家首次用笔实现2D绘图到3D的转变，图为实验过程视频截图。图片来源：《科学》杂志网站科技日报北京3月25日电 （实习记者张佳欣）钢笔绘图是一种简单、廉价、直观的2D图形制作方法，而标准的3D打印需要一台笨重、昂贵的机器，近日，科学家首次用笔实现了2D到3D的转变。据24日发表在《科学进展》杂志上的最新论文，来自韩国首尔国立大学的研究人员开发了一种可以直接将笔画的2D图形转换成3D图形的技术。报道称，研究人员使用了一种类似记号笔的笔，用红色和黑色的墨水在一块岩石上，画了一朵小红花模样的图案。他们在笔中加入两种不同的墨水：一种是红色墨水，其中含有被称为表面活性剂的化合物，可使油墨的黏合性降低；另一种是黑色墨水，不含表面活性剂，它可将图形“锚定”在其绘制的表面上（如岩石），使得红色墨水绘制的图形在转变为3D形状时能够固定。当研究人员将绘制好的图案浸入水中时，黑色墨水保持不动，但由于受一种被称为毛细管诱导剥离现象的影响，红色墨水膜会浮起，在该现象中，水会渗透到黏性较低的墨水和岩石之间。墨水是疏水性的，可以排斥水，因此由于薄膜和水之间的张力，黏性较小的墨水以3D形状漂浮在表面上。科学家们在试图将成品从水中移走时遇到了一个障碍：精致的3D胶片无法保持原状。因此，他们通过添加铁微粒来调整两种墨水的化学成分，并将图纸浸入含有过硫酸钾的溶液中。论文中称，过硫酸钾在浸泡3分钟后会与铁发生反应，可覆盖并增强3D物体的强度。研究人员说，这种墨水可以应用于现有的批量生产印刷品技术中，比如印刷报纸的卷对卷系统。物品将以2D形式被批量打印，然后被浸入到过硫酸钾溶液中，并转化为3D形式。报道称，该团队承认，这项技术还需要改进。例如，要将该技术用于建造诸如太阳能电池板之类的物体，它还必须能够承载导电组件。没有参与这项研究的哈佛大学工程师詹妮弗·刘易斯对此表示赞同。她说，如果墨水膜能够携带电子电路，“那将是非常强大的。”尽管如此，她说，该团队的方法对3D打印领域来说是一个重要的进步。韩国蔚山国家科学与技术研究所材料科学家金继云表示，这项技术除了对制造业有价值之外，用笔写作还有一种不可抗拒的力量。“人们仍然喜欢用手作画。”她说：“看着自己的画变得栩栩如生是一件有趣的事，因此我认为这项技术也有艺术价值。”总编辑圈点其实，乍看这一技术，未免觉得有些“复古”：得手工操作，使用特制墨水；再用硫酸钾溶液浸泡，让3D胶片显现，然后将其完整地转移到其他介质上。不过，仔细一想，其实电脑打印同样可行，也能批量生产。泡一泡，就完成从二维向三维的转变，还挺有趣。不过，它的商业价值还有待检验。研究人员还提出了另一个好玩的应用领域，那就是艺术。这种新方式，能对书法、绘画作品进行“升维”。手工完成作品，再将它手动转成3D效果，确实是让人耳目一新的体验。}