組建人工智能風險監督機構這項構想，是由谷歌「DeepMind」公司前執行長Demis Hassabis提出的。Hassabis先生於8月初轉任公司董事長。他建議成立一個類似美國金融業監管局（FINRA）的機構，由人工智能產業進行自我監管。
美國金融業監管局的設立是獲得聯邦法律授權，並接受美國證券交易委員會（SEC）的監督。
近幾個月來，人工智能產業的主要企業不斷呼籲美國政府制定產業規範，並對人工智能安全實施監管。
美國前總統川普政府於8月初啟動了一項針對新型人工智能模型的評估程序，但該程序採取企業自願參與的原則，具體運行機制尚未公布。
Anthropic執行長Dario Amodei日前呼籲放慢人工智能的發展速度。此後，美國總統川普及多名執政黨官員再次表示，不希望對此產業施加過多限制，理由是擔心中國藉機取得領先地位。一週前，人工智能開發者Jacob Cockson曾警告，人工智能可能對人類構成威脅，川普則將這類說法斥為「騙局」。
由人工智能產業自行設立監督機構，很可能需要獲得立法授權，尤其是為了避免相關企業被指控相互串通、違反市場競爭規則。
谷歌「DeepMind」公司前執行長Hassabis於7月中旬在網路上發表文章，設想由產業企業出資成立此機構，其理事會成員應包含獨立專家以及開放人工智能生態系統的代表。所謂開放人工智能生態系統，主要由開放式人工智能模型的開發者組成。
根據這項設想，監督機構成立後，技術最先進的人工智能企業在推出新模型之前，必須將模型送交審查，審查重點尤其包含安全問題。
Hassabis先生表示，如果人工智能安全研究跟不上技術發展的速度，此監督機構可以協調各家公司共同放慢研發步伐。
美國民主黨籍聯邦參議員Bernie Sanders對此表示，事關人類未來，不能只依靠企業自願遵守的產業標準，而需要制定具有約束力的國際規則。
Hassabis先生認為，此機構可以成為制定先進人工智能國際標準的起點。
不過，一些觀察人士擔心，人工智能巨頭可能藉監管之名聯手制定有利於自己的規則，排擠競爭對手，形成所謂的「人工智能卡特爾」。
川普的重要顧問David Sachs因此主張，各家公司應自行採取安全措施，必要時個別放慢研發速度，而不應相互協調。但在人工智能競爭激烈、企業投入巨大的情況下，任何一家公司都難以率先減速。