Google I/O 2017 Keynote 筆記

一年一度的 Google I/O 又來啦！
有好多 talk 都想看，但可能無法全部看完，為了瞭解整體的重點，就先從 keynote 開始吧。

以下是圖文記錄：

1. Mobile first → AI first

貫串整場的主軸就是，今年起要把重心轉移到 AI 上了，並且開始應用到所有產品上。

以 Smart Reply 為例：

1.1 new interfaces: Voice, Vision

voice

藉由deep learning技術，使錯誤率下降，能處理noisy環境

  • Google Home
    • 即便較少麥克風也能正確辨識 (從原訂的8個減為2個即可)
    • 現在已可以辨識6個不同人的聲音了

Vision

Image recognition: 比人準了

  • 可以把充滿雜訊的圖片清晰化

  • 移除障礙物

  • Product: Google Lens

    • 辨識花朵
    • 辨識圖片中條碼，自動連線
    • 辨識街道上建築

2. Infrastructure to support ML

去年推出的tensor process unit (TPU)：

  • 速度：已經比CPU & GPU快幾十倍，但還是希望更快。
  • 應用：只適合作Inference，但Training比Inference運算量更吃重。

今年，推出Cloud TPU：

  • 目前Google所有AI運算產品都是用TPU支援
    譬如google search, 語音，還有Alpha Go.
  • 是Nvidia GPU的強力競爭者

3. Google.ai

Google的AI成果大集合

3.1 Research

AutoML: 自己訓練自己

  • Health care

    乳癌。用ML來找出擴散到附近淋巴結的癌細胞，協助病理學家做診斷。正確率高達89%，比原本的73%高。

  • DNA sequencing

  • chemistry
    預測分子特性。對藥物或材料科學研究有所助益。

3.2 Tools

TensorFlow, Cloud TPU

3.3 Applied AI

  • AutoDraw

  • Google Search & Google Assistant
    是目前最重要的應用

4. Google Assistant

4.1 conversation to get things done

不用動手，就能方便地完成事情。
70%使用者是用自然語言來發request, 而非像搜尋時用keyword.
Even more natural conversation

  • 辨識不同人的聲音

  • 加上文字輸入
    在公眾場合較方便

  • 簡化工作流程
    可以針對看到的圖片，進一步用聲音詢問，甚至執行動作

    • 譬如出國旅遊，看到他國語言的「價目表」：
      在Google Lens裡，打開鏡頭，語音要求翻譯→用圖像翻譯→語音要求搜尋圖片→視覺化回覆


    • 又譬如，在路上看到活動廣告
      可自動辨識活動內容，並買票或加入行事歷
      (過程完全不用打字或輸入細節)

4.2 Always available

  • 支援iPhone
  • Google Assistant SDK - 支援各種裝置、更多語言 (目前還不含中文)

4.3 Ready for help

Google Assistant不只是做search, 也能像助理幫忙做事。
讓3rd party 開發者能做其他有用的整合。

5. Actions on Google

Actions on Google lets you build apps for the Google Assistant.

  • 可以跨裝置

  • supporting transaction
    VUI搭GUI，線上購物。
    就像和店員講話一樣。




  • supporting smart home control

6. Google Home

  • Proactive Assistance
    使用者問：有什麼要注意的事嗎？
    回應：提醒你今日交通擁擠，要提早多久出門
  • Hands-Free Calling
    可辨識不同講話的人

  • Entertainment

    • more source: Spotify以外，又加了許多其他的

    • Bluetooth
      可播Android或iOS上的音樂

    • Video on TV
      更多 source

    • support visual response
      補足聲音的不足

      • eg.問交通，會在手機上秀地圖

      • eg.問行事曆、天氣，會在電視上秀資訊

      • eg. youtube
        自動打開電視，聲控關閉

    個人聯想：
    Amazon前陣子也推出一個和echo搭配用的小螢幕 (Echo show)，不過兩者的呈現方式不同：

    • Google 一個是和現成的螢幕結合 (我個人比較喜歡)
    • Amazon 則是出了另一台小螢幕
      兩者其實各有優缺點，到底怎能才是比較好的方式呢？不論如何，從這些產品看來，語音助理裝置確實有視覺輔助的需求在。

7. Google Photos

以AI為核心

  • suggested sharing
    抓照片中的人，傳給對方
    對方也可以新增照片到同相簿裡
  • Shared Libraries
    只要包含太太、小孩的照片，自動傳給太太，且可自動存進太太的google photos

  • Photo Books
    自動建議照片，自動印刷成書

  • 整合Google Lens功能！

8. Youtube

  • 360 in the Living Room
    用遙控器控制方向
  • Live Streaming
    Super Chat
    付費觀眾說的話會被highlight

9. Android

2 billion users!

  • Wear
  • Auto
  • android things
  • chrome book

10. Android O

Fluid Experiences

  • Picture-in-Picture

  • Notification Dots
    長按，秀通知

  • Auto Fill
    就像在web一樣

  • Smart Text Selection
    運用ML,自動抓附近關鍵字，建議相關的app

  • TensorFlow Lite
    在Android裝置上運行

Vitals

  • security enhancements
    Google Play Protect 掃描掉有問題的app
  • OS Optimizations
    • 2x speed for boot time & app操作
    • 背景運作限制，避免無謂耗電

  • Developer Tools
    Play Console Dashboards

  • Android Studio Profilers

  • Officially support Kotlin!!

Affordability
Android GO - for entry level devices

  • OS
    • Data management and saving
    • Chrome Data Saver
  • Apps
    • Youtube Go
    • Preview
    • Offline Sharing (P2P)
    • Multilingual - GBoard translation
  • Play
    • Building for Billions

11. VR & AR

  • Daydream: Galaxy S8

  • Standalone VR

  • VIVE, Lenovo

  • Tango
  • GPS:室外定位
  • Visual Positioning Service(VPS) - 室內
  • eg.大賣場找東西

  • Expeditions + AR
  • 可用在教學

12. Google for Jobs

用ML把類似職稱group在一起

自己的觀察

講了這麼多，其實就還是一個重點— AI everywhere，除了辨識、研究能力的增強，在應用設計上也讓操作流程便利性大幅提升了。

其他新聞報導

從新一代 TPU 到 Google.ai，詳解 Google I/O 首日人工智慧五大亮點

留言

張貼留言