INFOCOM2023-OmniSense
计算天地

INFOCOM2023-OmniSense

Abstract OmniSense是第一个特别关注实际系统效率的边缘辅助的低延迟和高精度的在线360°视频分析框架,解决了计算和网络资源的挑战。主要实现了以下几方面内容: 通过轻量级的球形感兴趣区域(SRoI)预测方法,修剪360°视频帧的冗余信息 结合视频内容和网络动态性智能选择视觉模型分析SRoI,优化资源利用率 由现有的视觉模型提供支持,不需要设计和重新训练现有模型 Introduction 360°视频是球面图像,投影到2D平面实现存储和传输。 现有的模型大多针对2D透视图像(perspective images,PIs),应用到360°图像时会造成几何扭曲和边界不连续,影响精度 如右上图所示,上下两极的图像有扭曲,其中一辆汽车不连续 一种解决方案是将整个球形内容投影到多个无失真的PIs中,但是要在不影响准确性的情况下减少分析所有PI的延迟是一个问题 专门为360°图像设计的分析算法十分消耗带宽 本文的贡献: 分析从现实世界收集的数据集,确定内容特征和资源节省的机会 边缘辅助框架,动态自适应分配不同的视觉模型去分析不同的SRoI对应的PI,在计算、网络、延迟的限制下提高精度 轻量级的SRoI预测算法,针对特定内容的模型性能评估模型,从而解决延迟受限的模型分配问题 在商用设备上实施和部署OmniSense Background and related work 1.Regular视频的在线分析 几种优化方法: 由于感兴趣的事件是稀疏的,因此采用帧过滤 前后端拆分模型,最小化中间数据传输 基于RoI信息修剪冗余信息 2.沉浸式视频分析 全景到2D: 等距柱状投影ERP(equirectangular projection)和Cubemap projection立方体贴图投影 几何扭曲和边界不连续 透视投影: [1]将球形细分为二十面体相切的多个平面图像网格,并将现有DNN应用于这些切线图像 需要大量的PIs,资源密集且耗时 [2]多重投影,将球体划分为四个宽重叠的子窗口,并通过立体投影将每个子窗口映射到平面 集中于提升准确率,不强调计算和网络资源的消耗 将投影失真的不变性显式编码到CNN中: [3]学习一个球面卷积网络,在极低区域增加卷积核的大小,以近似ERP图像中的失真 [4]调整卷积滤波器的采样位置,有效扭转卷曲,将滤波器包裹在球体周围 上述两种方法需要重新设计卷积滤波器并重新训练 Ours:为沉浸式视频提供即插即用的底层分析框架,即应用现有模型而不进行修改 [1]M. Eder, M. Shvets, J. Lim, and J.-M. Frahm, “Tangent images for mitigating spherical distortion,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR’20), 2020, pp. 12 426–12 434. [2]W. Yang, Y. Qian, J.-K. Kämäräinen, F. Cricri, and L. Fan, “Object detection in equirectangular panorama,” in Proceedings of the 24th International Conference on Pattern Recognition, 2018, pp. 2190–2195. [3]Y.-C. Sun and K. Grauman, “Learning…

《狗神》
书影世界

《狗神》

上帝为他关了一扇窗,又为他开了另一扇窗。看完《狗神》后,我想起了《小丑》 他说,人自私贪婪,狗忠诚团结。 这个残酷的世界与原生家庭,让道格最终与狗成为了家人 他本可以善良的成长,父亲的残暴让他失去了童年,失去了双腿,也失去了作为人该有的喜怒哀乐。 在人的世界里,偷窃违法;在他的世界里,是财富的再分配。 他爱读书,爱莎士比亚,他也有着文艺的熏陶;他养狗,爱狗。 他帮助弱势,他很勇敢 在法律的角度上,他犯罪;在心灵的角度上,他可怜。 每当有这种情节时,我都会觉得,当你阅读完他的人生,你才能理解他的行为。《一个叫欧维的男人决定去死》中说:“每个人的生命中总有那么一刻决定他们将成为什么样的人。要是你不了解那个故事,就不了解那个人。”我想,如果我不了解那个故事,我会觉得狗神疯狂;我了解了那个故事,我也了解了那个人——狗神。 吕克贝松用狗神,讲述了一个关乎人性的故事。

大四下出行日记(一)——白鹿小镇+中坝森林
生活杂谈

大四下出行日记(一)——白鹿小镇+中坝森林

抓住本科的小尾巴,奔赴几个未曾踏足的地域,享受这世界的山川湖海。 周末(3月11日)和猴子姐姐跟着“侣途出行”的团去了白鹿小镇和中坝森林,一起来看看吧! 第一站:白鹿镇 一个色彩清新的小镇,漫步在凹凸不平的青石板上,听着舒缓的音乐,环绕在中法风格的城堡之间,仿佛置身于童话世界。 无论走在哪个地方,按着快门,总不会让人失望。 第二站:中坝森林 坐落于成都的暮光森林,上山的路途没有十分惊艳,步行半小时左右到达森林入口,沿着木栈道一路走上,整齐的杉树笔直通天。暗绿的色调下,是一片幽静。无人机的镜头下,一片绿色包裹了一条通往丛林中心的小路。 对于会拍摄的人来说,是一个很出片的地方。而手机里的中坝森林,却是眼睛里的真实。

《芬奇》|一人、一狗、一机器
书影世界

《芬奇》|一人、一狗、一机器

这是一部只有一个人的电影,但一人、一狗、一机器所传递的温暖胜却多人演绎的效果。 这是一部温暖又治愈的科幻片。 在世界末日后的地球上,芬奇为保护爱犬建造了机器人杰夫。这天,为逃离恶劣的环境生存下去,芬奇计划带着他的狗和机器人前往金门大桥。 一路上,芬奇教会了机器人如何获取食物,教他给自己取名(杰夫),教他开车,教他信任,教他和爱犬相处。然而,还没等到达目的地,芬奇就病故了,留下杰夫去完成他的遗愿:照顾狗狗、前往金门大桥…… 芬奇甚至给杰夫装了专门开狗罐头的部件。 明明他是机器人,我们却能在他身上,感受到爱与信任。在人类的道德与规则崩塌后,杰夫却学会了人类的率真和乐观。 芬奇说:“我们人类就是充满各种矛盾,你已经可以跟我说出,金门大桥上有多少颗铆钉,用了多长的悬索,桥有多高,但是只有当你站在上面,看到它的美,听到悬索在风中歌唱…这是一种体验,是一种人类的体验,不只是想象,而是生活。”  

直播本校|一个保研边缘人的升学之路
生活杂谈

直播本校|一个保研边缘人的升学之路

暑假准备保研考研以致时隔多天没有发推送,这段时间也经历了很多,索性就分享一下保研历程了!总的来说,虽然很费劲,但是很顺利。 个人基本情况 电子科技大学-计算机科学与技术专业 加权平均分:88.28;专业排名:31/160 综合测评成绩:88.58;综测排名:34/160 科研经历:无 获奖:国家奖学金、第八届“互联网+”大学生创新创业大赛省赛银奖等 最终去向:保研本校直博 大一大二 大一结束,我的专业排名为第八;大二上学期,除了学习课程外,我还做了不少学生工作,导致C++(机考:5道程序题)缺少代码训练,5道题只拿到了一道半的分,最终总评成绩63分。而且对专业课的学习掌握也没有很到位,所以大二结束时我的专业排名综合起来大概二十几吧。事实证明,专业课一定要认真学,语言课一定要动手练,时间一定要管理好! 大三 大三刚开学,我操作系统与毛概的目标分数是90分以上。我在复习操作系统时将学习重点放在了前几章,而且对计算题缺少训练,在考试时有一道10分的题卡住了,考试两小时有一半多的时间用来了这道题上,考完试也没有十分有把握的感觉,最后操作系统的卷面成绩都没及格;毛概最后也只有85分。当时得知了操作系统和毛概的成绩后,我就崩溃了。一边买大英赛的题准备大英赛,另一边说服自己开始准备考研。 大三下,我的专业课的成绩都在95分以上,但是大家分数都很好,很难靠这一学期的成绩拉开差距。除了专业课学习,就是在忙着打比赛了,我参加了计算机设计大赛(最不爽的一次比赛经历)、大英赛(事实证明,我的英语听力还有理解力确实不够)、“互联网+”创新创业大赛(参加的最认真的一次比赛了)。 大三总结:追成绩、打比赛,最好还能有科研经历。 暑假 暑假七月份,我一整个就在准备“互联网+”比赛了,最终我们与金奖差了0.11分(加分0.3)。最后一个比赛结束后,我预估到自己最后的排名是34(21.25%),也就是说,保研率为21%我才有保研机会而且是最后一个。所以我就在想,可能最终的命运也就是支教保研吧(支教保研是我很早就在考虑的了)。 研究生支教团——电子科技大学今年有8个名额,支教团成员前往四川康定、贵州岑巩支教一年,同时获得保研资格。因为我的志愿服务经历、支教经历、学生工作等方面很有优势,而且自己也有这个意愿,所以也做了充足的准备。而且支教保研我自己也很想去,因为我觉得支教是一件很有意义的事情,都说“用一年不长的时间,做一件终身难忘的事”。当时还想如果支教保研成功了,我以后可能会做个辅导员之类的工作吧,感觉自己也很适合。 最坏的打算也就是考研了,所以暑假的八月份,我每天扎在图书馆里,学高等数学以及专业课。 由于我的专业排名确实有点低(相对保研来讲),而且也没什么出色的竞赛奖项与科研经历,我连找导师的底气也没有,七八月也一直拿竞赛与考研逃避找导师这件事情。 这里还是想说一下,就算是保研边缘也要提前联系导师,不然推免名单出来后,找老师的过程真的很痛苦。一是想去外校更要提前联系导师,二是很容易选不到自己心仪的本校导师,虽然我和舍友最终都找到了自己比较好的归宿。找导师时,一定要提前备好自己的简历(对简历里自己写的课程与项目都要十分熟悉)以及自己的未来规划等。 简历内容的一半以上放项目经历(仅个人建议,详细写3个左右,可写科研项目、竞赛项目、大创等)。 找导师 推免名单出来前,我已经提交了支教保研的报名表,结果我获得了保研资格,就开始赶快联系老师了。当天晚上,超哥(辅导员)和我说我的研支团报名表写的很好,给几位报名研支团的同学当模板用。 我联系的第一位老师,也就是我最终的导师。实验室的面试是一道有关输入法按键编码的题目,要求在三天之内做完并PPT演示。三天里,我一边在做这道题,一边也在联系其他导师(害怕被刷,毕竟排名比较低)。三天内,没有一位老师给自己确定的offer,但是我也没有那么着急。我陆陆续续给十多个老师发了邮件,有的回了有的没回,但是都属于待定状态。 三天里,我也不知道自己吃了几顿泡面,每天起床就待寝室,连门都没出过,不是联系老师,就是做面试题。在面试前一晚,我没有吃晚饭,准备PPT到了凌晨三点多,只记得第二天早晨快九点起床,身体很不舒服,才去食堂吃了一顿早饭。针对简历上的内容,我没有细细准备,学长问的时候我很多都不知道。 因为面试的人比较多,我很担心自己被刷掉。结果晚上6:00,赵老师给我打电话了,他说我讲的挺好的,但是回答问题回答的有点不好,还问我想不想直博,我当时一激动,就说自己想要直博,过后仔细想了想,我还是很想直博的。Offer就定下来了,于是之前想当辅导员、从事教育行业的想法全被打消了,取而代之的是未来继续做科研满满的热情与向往。 做了实验室的面试题还是很有收获的!下图是实验室今年的面试题目,有兴趣可以钻研一下。 学院复试 最后一个阶段就是学院的复试了,我们专业是12进7,最终面试的结果我排名第5。在准备复试期间,我也是每天待在寝室,点外卖(因为再也吃不下泡面了)。第二天答辩前一晚,我又没吃晚饭,早晨起来也是不舒服,赶快去吃了早饭。非常感谢赵老师和李学长对我简历、PPT以及面试的指点,才让我能对直博复试期间自我介绍以及回答问题能游刃有余。 计算机学院直博复试流程: 1、5分钟自我介绍(需PPT),我使用了英文自我介绍,包括个人基本情况、学术科研经历及成果、攻读博士学位的初步研究计划等; 2、不少于5分钟的外语口语能力考察,问了我简历上的项目; 3、专业知识考查,程序设计与数据结构,我抽到了动态规划; 4、综合能力,主要问了我简历。 复试也要好好准备,因为外校外院报名计算机的有很多,硕士复试时,我被分到的一组18人里只有两位(包括我)是本院的,竞争也很激烈! 致谢 最后,非常感谢父母对我大学四年的关心与照顾,也感谢辅导员老师们一直以来的关注与照顾(特别是超哥、硕总、媛姐),还感谢实验室赵老师以及学长学姐们在准备复试过程中对我的指点,以及朋友们听我分享悲伤与快乐……

阆中之恋——阆山、阆水、阆中城
生活杂谈

阆中之恋——阆山、阆水、阆中城

和“猴姐姐”一起筹划4月初去阆中游城玩水,结果因为疫情、考试等种种原因一再推迟行程,所幸6月底,踏上了阆中古城的青石板。 阆中古城,国家AAAAA级旅游景区,古城已有2300多年的建城历史,素有“阆苑仙境、巴蜀要冲”之美誉。作为境内拥中国四大保存最完整的古城之一,也是中国第一风水古城(按照唐代天文风水理论而建址)。杜甫为之写诗:“阆中胜事可肠断,阆州城南天下稀”。 阆苑三绝:保宁醋、白糖蒸馍、张飞牛肉。 6月25日早,从成都北门客运站出发,中午抵达阆中。 第一站 中天楼,在楼上,可以俯瞰到古城全景,整齐排列的一条条街道与古色古香的青瓦白墙尽收眼底。 第二站 地质矿物博物馆,馆内收藏了来自全球80多个国家和地区经过亿万年的低质演变而形成的矿晶宝石,藏品近5000件。 展馆收藏有重达4.5吨的夜明珠——迄今中国第二大夜明珠;镇馆之宝——产自美国的金云母,荣获吉尼斯世界纪录,是目前世界上、晶体保存完整的金云母。 第三站 嘉陵江游船,夜晚游船行驶在嘉陵江上,站在船头,感受海风迎面而来,神清气爽。 回到南屏苑,醋泡脚。 阆中古城居民喜好使用醋淋浴、泡脚,可以灭细菌,促进血液循环,使人感到放松、解乏,增强免疫力,尤以保宁醋为佳,长期坚持可以起到良好的保健作用。 第四站 汉桓侯祠,俗称张飞庙,明清时期重建的四合庭院式古建筑群,由山门、 敌万楼、左右牌坊、东西厢房、大殿、后殿、墓亭、墓冢组成,总建筑面积2200平方米。 有幸见到国家一级美术师、中华国礼艺术家蔡元甫先生现场作画。 其他的零零碎碎 袁天罡旧居——想起了历史学到的《推背图》,大概这也是阆中被称为风水古城的原因之一吧。 附“猴姐姐”B站视频链接: 【阆中之恋】篇一 我&路-哔哩哔哩】https://b23.tv/g54fqwh 【阆中之恋】篇二 夕阳&游船-哔哩哔哩】https://b23.tv/YUCZtg1 图文:空山馨雨Fancy 部分来源于网络

送给正在备考期末的弟弟的一封信
生活杂谈

gate.io address

缘起: 钟老师:马上期末考试了,希望家长为孩子写一份鼓励孩子的信,写好拍照发到班级小程序统一打印出来。到期末考试时打印好发到孩子手中。我认为很有意义,这种有温度的教育理念一直是钟老师追求的,希望大家积极配合。我相信孩子们一定会非常珍惜,也会化鼓励为动力! 笔落:

夸夸天花板|她叫房琪不放弃
人物志

夸夸天花板|她叫房琪不放弃

两次高考三本毕业,最后辞去了央视外景主持的铁饭碗,做了一个旅行博主圈粉千万——她就是房琪。 第一次认识房琪,是偶然在dy上刷到了她的那期旅行视频,“原来张万森和林背星看的那片荧光海,真的存在……”视频中她光着脚踏在那片荧光海上,给人一种温柔又向往的感觉。 她不想人生一眼就看到终点。“因为生活,才不会看你是姑娘就手下留情。”于是她做起了旅行博主。她的视频让人很治愈,她也戳中了当下年轻人诗和远方的心里,那些大家想去但去不了的地方,她替我们去了。 后来刷到她不是因为她的旅行视频,而是她在《为歌而赞》里的点评。很多人说《为歌而赞》走红的不是歌手,而是让人认识到读书魅力的房琪。她温柔又有力量的点评告诉我们,原来文字真的能打动人心。 来自房琪的发言 张含韵 当张含韵唱完自己的新歌被频频质疑后,她说话了:如果真的要用一个词来形容你,比起女王,我更喜欢清风,他强任他强,清风拂山岗。十五六岁的那股清风越过了重重的山岗,吹到今天你也还是最好的年纪,这就是上天对勇敢的女孩最好的奖励。短短几句话让张含韵泪流满面。 杨宗纬 当所有人对杨宗纬走出舒适圈,展示唱跳却被质疑失败时,她默默地给了他很大力量:我刚才在这个舞台上看到了作为一个歌手最大的真诚。因为其实作为一个已经有知名度的歌手来说,你大可不必把自己的软肋暴露在这样的舞台之上,让每一个人来评价你。但你还是这样做了,作为一个观众我非常佩服你的勇气,我也尊重你的改变。但是作为一个喜欢你的歌迷,我却感觉很心疼。因为我们终其一生不是为了要满足每一个人,而是要找到跟自己同频共振的那一部分人。作为其中的一员,我想跟你说,这世界很喧嚣,做你自己就好。 郁可唯 当郁可唯被其他人说没有辨识度的时候,房琪的发声变成了无形的支持:我觉得郁可唯是白色的,因为白色可以反射这个世界上大部分的可见光,所以我们把自己的喜怒哀乐悲欢离合都折射到了你和你的歌身上,如果一个能够去承载我们悲欢离合和喜怒哀乐的歌手都没有辨识度,那么什么样的歌手才有呢? 蔡国庆 她评价蔡国庆老师的作品:他提到了天青色等烟雨而我在等你,但其实方文山写的这一句词,也是引用了“雨过天青云破处,这般颜色做将来”。他讲的是汝窑,但是方文山依然把这个汝窑变成了爱情的印象。我觉得我们在引用诗词作为歌词的时候,可能在品鉴上有高低之分,但在立意上没有高下。 人为什么要多读书,我们在她身上找到了。

短剧推荐|《猎罪图鉴》
gate.io交易所

短剧推荐|《猎罪图鉴》

“与众不同或许很难被理解。但应该被尊重。” ——《猎罪图鉴》 剧情梗概: 该剧讲述了因一起尘封旧案而结怨的模拟画像师沈翊和刑警队长杜城,在机缘巧合下被迫搭档,两人联手侦破多起离奇疑案,共同追踪谜底真相的故事。 经典台词: 我们是人民和罪犯之间的最后一道防线,不管发生什么,防线不能破。 纯粹的艺术太难实现了,名利和虚荣容易让人迷失。 与众不同或许很难被理解,但应该被尊重。 黑暗中照来一束光,贪恋光的人便有了罪。 茫茫人海中平淡无奇的我们,却在彼此眼里散发着光。 不管多么孤独,多么异类,总会找到那个合适的人。 影片评价: 猎罪图鉴不是那种“duang-duang-duang”的悬疑刑侦剧,而是淡淡的,轻轻的,柔柔的,如涓涓细流般舒缓:就像写了一篇散文,但剧情跌宕起伏,有自己独特的叙事方式。它试图在观众的心里泛起涟漪,荡起一点余波,但是波及范围有多大,完全取决于每一个个体。于我而言,就恰到好处。我最欣赏的是,“猎罪天团”在遇到悬疑案件时总能沉着冷静的抓住细微的线索,进行严密的逻辑推理,最终将其侦破。 整个剧情以雷队被害案作为主线,以画像师沈翊和刑警队长杜城为引,串联起无数个单元案件。在大结局播放前,雷队被害的缘由便被交代清楚了,那么令人期待的,便是犯罪分子如何落网。但理应最精彩的主线案件,会落入复仇的俗套吗?好在结局给出了一个超满分答卷。整个案件不单单只是为牺牲的雷队讨回公道,还向我们传达了一个更宏大的主题——全心全意为人民服务,维护人民群众的安全与利益。他们所做的事不是复仇,而是将雷队这样的人民警察的精神传承着,并升华了。更可贵的是,这种升华不是空洞的歌功颂德,而是扎实的埋在前期人物逻辑线里的伏笔。 然而,就在观众以为这部剧就这么圆满地结束了的时候,导演却在最后一集玩了一个反转。 那个闯进沈翊画室的黑衣人究竟是谁? 被剖开的沈翊自画像下为什么会有另一个人的脸? 这一切的背后到底还有什么不为人知的故事? 让我们共同期待第二季吧! 来源:朱运