Mã cung cấp năng lượng cho cuộc sống của chúng ta có một phí môi trường ẩn
Một bài báo mới gây sửng sốt cho thấy dấu chân carbon khổng lồ của máy học.
Mã cung cấp năng lượng cho cuộc sống của chúng ta có một phí môi trường ẩn
[Nguồn hình ảnh: vasabii / iStock]
BỞI KATHARINE SCHWAB5 PHÚT ĐỌC
Này Hey Siri, bạn nói 'Tôi yêu bạn' bằng tiếng Đức như thế nào?
Đó có vẻ như là một câu hỏi vô thưởng vô phạt để hỏi điện thoại hoặc loa thông minh của bạn. Nhưng các thuật toán cung cấp năng lượng cho phần mềm có thể trả lời một câu hỏi như thế này có một bí mật đen tối: Quá trình dạy các mô hình này để hiểu ngôn ngữ của con người có dấu chân carbon lớn đáng kinh ngạc.
Theo một bài báo mới sẽ được trình bày tại hội nghị thường niên của Hiệp hội Ngôn ngữ học tính toán ở Florence, Ý, vào cuối mùa hè này, đào tạo một thuật toán dịch máy phổ biến có dấu chân carbon tương tự với toàn bộ vòng đời của năm chiếc xe , bao gồm cả nhiên liệu của họ.
[Nguồn hình ảnh: vasabii / iStock]
Đối với Emma Strubell, tác giả chính của bài báo, phát hiện gây sốc nhất của nghiên cứu là khi cô phân tích một trong những mô hình gần đây mà cô thiết kế như một phần của công việc tiến sĩ của mình tại Đại học Massachusetts Amherst. Mặc dù dấu chân carbon của thuật toán là 78,468 pound carbon dioxide, không lớn bằng một số loại khác mà cô đánh giá trong bài báo, nó vẫn có kích thước tương tự như carbon dioxide mà người Mỹ trung bình phát ra trong hai năm.
Nghiên cứu máy học không phải là công nghệ phổ biến duy nhất có lượng khí thải carbon lớn. Theo một nghiên cứu, công nghệ đang đi đúng hướng chiếm 20% tổng lượng phát thải toàn cầu vào năm 2040 . Một nghiên cứu gần đây cho thấy tình yêu xem video trên YouTube của thế giới cũng có dấu vết carbon nghiêm trọng : Nó tương đương với một thành phố nhỏ như Frankfurt hoặc Glasgow, Scotland, trong suốt một năm.
Công việc của Strubell là một phần của nhận thức ngày càng tăng về khí thải carbon và cách hạn chế chúng trong thế giới thiết kế và công nghệ. Các nhà thiết kế và kỹ sư đã phản ứng bằng cách cố gắng thiết kế công nghệ xanh hơn và bền vững hơn . Các trang web xanh đã tối ưu hóa video và ảnh để tiêu thụ ít năng lượng hơn và chúng đơn giản hơn rất nhiều, giúp các trang web tải nhanh hơn (và thật trùng hợp, giúp mọi người tìm thấy những gì họ đang tìm kiếm nhanh hơn). Trang web của một tạp chí hoàn toàn chạy bằng năng lượng mặt trời và đôi khi nó hoạt động ngoại tuyến nếu thời tiết quá nhiều mây.
Tuy nhiên, có nhiều điều đơn giản mà các công ty lớn có thể làm để giảm lượng khí thải. Các dịch vụ lưu trữ ảnh như iCloud của Apple và Google Images có thể cung cấp để xóa các bản sao ảnh (bạn có thực sự cần 15 ảnh tự chụp khi bạn chán trên tàu một lần không?). Theo nghiên cứu của YouTube, nền tảng này có thể giảm 3% lượng khí thải carbon của video nếu nó chỉ tắt video khi phát trong tab trình duyệt nền, vì có khả năng người dùng chỉ sử dụng YouTube để nghe Âm nhạc. Điều đó nghe có vẻ không đáng kể, nhưng 3% có lượng khí thải carbon tương đương với 50.000 xe hơi trong một năm.
[Nguồn hình ảnh: vasabii / iStock]
Đó chỉ là thiết kế web. Khi các thuật toán AI bắt đầu cung cấp năng lượng ngày càng nhiều cho các hoạt động và dịch vụ chúng tôi sử dụng trực tuyến, điều quan trọng là phải xem xét chi phí môi trường để phát triển chúng. Tại sao các thuật toán học máy sử dụng hết năng lượng như vậy ngay từ đầu? Một phần, Strubell nói, đó là bởi vì trong vài năm gần đây đã có xu hướng tận dụng các bộ dữ liệu khổng lồ và khả năng xử lý dữ liệu sẵn có và chỉ cần sử dụng nhiều dữ liệu và sức mạnh tính toán hơn để đạt được kết quả chính xác hơn. Trước đây, điều này không khả thi vì thay vào đó sẽ mất quá nhiều thời gian để dạy mô hình, thay vào đó, các nhà nghiên cứu sẽ tập trung vào các tập dữ liệu nhỏ hơn. Nhưng những tiến bộ gần đây trong điện toán đã làm cho nó trở thành một lựa chọn sẵn sàng.
Chẳng hạn, một nhân viên thực tập của Google năm ngoái đã tạo ra một mạng lưới thần kinh ấn tượng có thể tạo ra những hình ảnh cực kỳ chân thực với kết cấu giống như thật. Để tạo ra kết quả tuyệt vời này, nhà nghiên cứu Andrew Brock nói với tôi rằng anh ta chỉ đơn giản là đã tạo ra rất nhiều sức mạnh tính toán cho vấn đề bằng cách tăng độ phức tạp của mạng lưới thần kinh và sau đó hiển thị thuật toán nhiều hình ảnh hơn. Tin tốt là AI bây giờ có thể cung cấp cho bạn một hình ảnh đáng tin cậy hơn về một đĩa mì spaghetti, nghệ sĩ dữ liệu và nhà nghiên cứu Jer Thorp đã viết trên Twitter vào thời điểm đó. Anh ấy nói đùa rằng: Tin xấu là nó đã sử dụng năng lượng đủ để cung cấp năng lượng cho Cleveland vào buổi chiều. Theo Thorp và tính toán chung của tôi tại thời điểm đó, lượng năng lượng mà Brock sử dụng chỉ trong một thí nghiệm có thể cung cấp cho một hộ gia đình trung bình ở Mỹ trong sáu tháng. Google nói rằng công ty đang đầu tư vào các thuật toán hiệu quả hơn và vào tháng 5 đã công bố một nhóm các mô hình học máy có hiệu suất năng lượng cao gấp 10 lần so với các phiên bản trước.
Có một xu hướng tương tự xảy ra trong khu vực xử lý ngôn ngữ tự nhiên mà Strubell tập trung vào, trong đó tập trung vào việc giúp máy tính hiểu ngôn ngữ của con người. Strubell nói rằng các nhà nghiên cứu trước tiên đã bắt đầu dạy các mô hình của họ cách ngôn ngữ hoạt động bằng cách cung cấp cho các thuật toán hàng tỷ trang văn bản được lấy từ internet, một quá trình tốn nhiều năng lượng. Sau đó, mô hình được sắp xếp hợp lý bằng cách sử dụng dữ liệu được chú thích bởi con người, có chất lượng cao hơn nhiều và sử dụng ít năng lượng hơn, nhưng đắt hơn nhiều. Bây giờ, Strubell nói, phần lớn nghiên cứu mới về xử lý ngôn ngữ được xây dựng dựa trên các mô hình có dấu chân carbon lớn.
[Nguồn hình ảnh: vasabii / iStock]
Giúp máy móc hiểu ngôn ngữ là một vấn đề cực kỳ quan trọng, mà bạn có thể tranh luận khiến nó đáng giá chi phí carbon (sẽ gây tranh cãi hơn nếu chúng ta thực sự cần máy tính để tạo ra hình ảnh thực tế). Nhưng Strubell chỉ ra rằng các nhà nghiên cứu thường xuyên chi hàng ngàn đô la và hàng ngàn tấn săn bắn carbon để tăng độ chính xác rất nhỏ.
Nếu tất cả các dấu chân carbon và tiền này được yêu cầu để đào tạo mô hình, có lẽ sẽ hợp lý nếu đó là một mô hình đột phá, sáng tạo làm thay đổi bộ mặt nghiên cứu, tăng độ chính xác và thực sự giải quyết vấn đề, cô nói. Tất cả mọi người quan tâm là làm cho số [chính xác] cao hơn bằng mọi giá. Chúng ta không nên làm điều đó. Nó chỉ không chịu trách nhiệm.
Strubell tin rằng các nhà nghiên cứu nên bao gồm một phép đo phổ biến cho biết mức độ sức mạnh tính toán mà họ cần để đào tạo một thuật toán trong bất kỳ bài báo nào họ viết. Cô cũng hy vọng rằng các công ty như Google chạy các nền tảng phổ biến trong đó mọi người viết mô hình học máy sẽ bắt đầu hỗ trợ các thuật toán hiệu quả năng lượng hơn bằng cách cung cấp cho mọi người một cách dễ dàng để tính toán sức mạnh tính toán của họ. Strubell nói rằng có nhiều cách để hợp lý hóa các thuật toán để chúng không cần đào tạo nhiều, nhưng mọi người thường không dành thời gian để tự mã hóa cơ chế hiệu quả đó. Tuy nhiên, Google có thể tích hợp nó vào Tensorflow nền tảng của mình để các nhà phát triển có thể truy cập vào kỹ thuật tiên tiến hơn chỉ bằng một vài dòng mã, giúp họ dễ dàng thiết kế các thuật toán tiết kiệm năng lượng hơn.
Các nhà nghiên cứu thường đặt mục tiêu làm cho các thuật toán hiệu quả nhất có thể: Điều đó thường có nghĩa là nhanh nhất có thể. Nhưng Strubell hy vọng rằng công việc của cô có thể thuyết phục các nhà nghiên cứu xem xét hiệu quả năng lượng của mã của họ. Thay vì tập trung vào việc tạo ra các thuật toán lớn hơn, nặng hơn với nhiều dữ liệu hơn, cô hy vọng rằng ngành học sẽ hướng tới các kỹ thuật học máy tiên tiến, thân thiện với carbon hơn, chính xác như các thuật toán dựa vào sức mạnh vũ phu.
Cuối cùng, công việc của Strubell đặt ra câu hỏi về vấn đề nào đủ quan trọng để tiêu tốn năng lượng quý giá.
Bạn thực sự chỉ nên thực hiện quy mô nghiên cứu này nếu bạn nghĩ rằng kết quả sẽ thực sự có ảnh hưởng, theo ông Strubell. Người dân nên quan tâm nhiều hơn về điều đó.
Mã cung cấp năng lượng cho cuộc sống của chúng ta có một phí môi trường ẩn
[Nguồn hình ảnh: vasabii / iStock]
BỞI KATHARINE SCHWAB5 PHÚT ĐỌC
Này Hey Siri, bạn nói 'Tôi yêu bạn' bằng tiếng Đức như thế nào?
Đó có vẻ như là một câu hỏi vô thưởng vô phạt để hỏi điện thoại hoặc loa thông minh của bạn. Nhưng các thuật toán cung cấp năng lượng cho phần mềm có thể trả lời một câu hỏi như thế này có một bí mật đen tối: Quá trình dạy các mô hình này để hiểu ngôn ngữ của con người có dấu chân carbon lớn đáng kinh ngạc.
Theo một bài báo mới sẽ được trình bày tại hội nghị thường niên của Hiệp hội Ngôn ngữ học tính toán ở Florence, Ý, vào cuối mùa hè này, đào tạo một thuật toán dịch máy phổ biến có dấu chân carbon tương tự với toàn bộ vòng đời của năm chiếc xe , bao gồm cả nhiên liệu của họ.
[Nguồn hình ảnh: vasabii / iStock]
Đối với Emma Strubell, tác giả chính của bài báo, phát hiện gây sốc nhất của nghiên cứu là khi cô phân tích một trong những mô hình gần đây mà cô thiết kế như một phần của công việc tiến sĩ của mình tại Đại học Massachusetts Amherst. Mặc dù dấu chân carbon của thuật toán là 78,468 pound carbon dioxide, không lớn bằng một số loại khác mà cô đánh giá trong bài báo, nó vẫn có kích thước tương tự như carbon dioxide mà người Mỹ trung bình phát ra trong hai năm.
Nghiên cứu máy học không phải là công nghệ phổ biến duy nhất có lượng khí thải carbon lớn. Theo một nghiên cứu, công nghệ đang đi đúng hướng chiếm 20% tổng lượng phát thải toàn cầu vào năm 2040 . Một nghiên cứu gần đây cho thấy tình yêu xem video trên YouTube của thế giới cũng có dấu vết carbon nghiêm trọng : Nó tương đương với một thành phố nhỏ như Frankfurt hoặc Glasgow, Scotland, trong suốt một năm.
Công việc của Strubell là một phần của nhận thức ngày càng tăng về khí thải carbon và cách hạn chế chúng trong thế giới thiết kế và công nghệ. Các nhà thiết kế và kỹ sư đã phản ứng bằng cách cố gắng thiết kế công nghệ xanh hơn và bền vững hơn . Các trang web xanh đã tối ưu hóa video và ảnh để tiêu thụ ít năng lượng hơn và chúng đơn giản hơn rất nhiều, giúp các trang web tải nhanh hơn (và thật trùng hợp, giúp mọi người tìm thấy những gì họ đang tìm kiếm nhanh hơn). Trang web của một tạp chí hoàn toàn chạy bằng năng lượng mặt trời và đôi khi nó hoạt động ngoại tuyến nếu thời tiết quá nhiều mây.
Tuy nhiên, có nhiều điều đơn giản mà các công ty lớn có thể làm để giảm lượng khí thải. Các dịch vụ lưu trữ ảnh như iCloud của Apple và Google Images có thể cung cấp để xóa các bản sao ảnh (bạn có thực sự cần 15 ảnh tự chụp khi bạn chán trên tàu một lần không?). Theo nghiên cứu của YouTube, nền tảng này có thể giảm 3% lượng khí thải carbon của video nếu nó chỉ tắt video khi phát trong tab trình duyệt nền, vì có khả năng người dùng chỉ sử dụng YouTube để nghe Âm nhạc. Điều đó nghe có vẻ không đáng kể, nhưng 3% có lượng khí thải carbon tương đương với 50.000 xe hơi trong một năm.
[Nguồn hình ảnh: vasabii / iStock]
Đó chỉ là thiết kế web. Khi các thuật toán AI bắt đầu cung cấp năng lượng ngày càng nhiều cho các hoạt động và dịch vụ chúng tôi sử dụng trực tuyến, điều quan trọng là phải xem xét chi phí môi trường để phát triển chúng. Tại sao các thuật toán học máy sử dụng hết năng lượng như vậy ngay từ đầu? Một phần, Strubell nói, đó là bởi vì trong vài năm gần đây đã có xu hướng tận dụng các bộ dữ liệu khổng lồ và khả năng xử lý dữ liệu sẵn có và chỉ cần sử dụng nhiều dữ liệu và sức mạnh tính toán hơn để đạt được kết quả chính xác hơn. Trước đây, điều này không khả thi vì thay vào đó sẽ mất quá nhiều thời gian để dạy mô hình, thay vào đó, các nhà nghiên cứu sẽ tập trung vào các tập dữ liệu nhỏ hơn. Nhưng những tiến bộ gần đây trong điện toán đã làm cho nó trở thành một lựa chọn sẵn sàng.
Chẳng hạn, một nhân viên thực tập của Google năm ngoái đã tạo ra một mạng lưới thần kinh ấn tượng có thể tạo ra những hình ảnh cực kỳ chân thực với kết cấu giống như thật. Để tạo ra kết quả tuyệt vời này, nhà nghiên cứu Andrew Brock nói với tôi rằng anh ta chỉ đơn giản là đã tạo ra rất nhiều sức mạnh tính toán cho vấn đề bằng cách tăng độ phức tạp của mạng lưới thần kinh và sau đó hiển thị thuật toán nhiều hình ảnh hơn. Tin tốt là AI bây giờ có thể cung cấp cho bạn một hình ảnh đáng tin cậy hơn về một đĩa mì spaghetti, nghệ sĩ dữ liệu và nhà nghiên cứu Jer Thorp đã viết trên Twitter vào thời điểm đó. Anh ấy nói đùa rằng: Tin xấu là nó đã sử dụng năng lượng đủ để cung cấp năng lượng cho Cleveland vào buổi chiều. Theo Thorp và tính toán chung của tôi tại thời điểm đó, lượng năng lượng mà Brock sử dụng chỉ trong một thí nghiệm có thể cung cấp cho một hộ gia đình trung bình ở Mỹ trong sáu tháng. Google nói rằng công ty đang đầu tư vào các thuật toán hiệu quả hơn và vào tháng 5 đã công bố một nhóm các mô hình học máy có hiệu suất năng lượng cao gấp 10 lần so với các phiên bản trước.
Có một xu hướng tương tự xảy ra trong khu vực xử lý ngôn ngữ tự nhiên mà Strubell tập trung vào, trong đó tập trung vào việc giúp máy tính hiểu ngôn ngữ của con người. Strubell nói rằng các nhà nghiên cứu trước tiên đã bắt đầu dạy các mô hình của họ cách ngôn ngữ hoạt động bằng cách cung cấp cho các thuật toán hàng tỷ trang văn bản được lấy từ internet, một quá trình tốn nhiều năng lượng. Sau đó, mô hình được sắp xếp hợp lý bằng cách sử dụng dữ liệu được chú thích bởi con người, có chất lượng cao hơn nhiều và sử dụng ít năng lượng hơn, nhưng đắt hơn nhiều. Bây giờ, Strubell nói, phần lớn nghiên cứu mới về xử lý ngôn ngữ được xây dựng dựa trên các mô hình có dấu chân carbon lớn.
[Nguồn hình ảnh: vasabii / iStock]
Giúp máy móc hiểu ngôn ngữ là một vấn đề cực kỳ quan trọng, mà bạn có thể tranh luận khiến nó đáng giá chi phí carbon (sẽ gây tranh cãi hơn nếu chúng ta thực sự cần máy tính để tạo ra hình ảnh thực tế). Nhưng Strubell chỉ ra rằng các nhà nghiên cứu thường xuyên chi hàng ngàn đô la và hàng ngàn tấn săn bắn carbon để tăng độ chính xác rất nhỏ.
Nếu tất cả các dấu chân carbon và tiền này được yêu cầu để đào tạo mô hình, có lẽ sẽ hợp lý nếu đó là một mô hình đột phá, sáng tạo làm thay đổi bộ mặt nghiên cứu, tăng độ chính xác và thực sự giải quyết vấn đề, cô nói. Tất cả mọi người quan tâm là làm cho số [chính xác] cao hơn bằng mọi giá. Chúng ta không nên làm điều đó. Nó chỉ không chịu trách nhiệm.
Strubell tin rằng các nhà nghiên cứu nên bao gồm một phép đo phổ biến cho biết mức độ sức mạnh tính toán mà họ cần để đào tạo một thuật toán trong bất kỳ bài báo nào họ viết. Cô cũng hy vọng rằng các công ty như Google chạy các nền tảng phổ biến trong đó mọi người viết mô hình học máy sẽ bắt đầu hỗ trợ các thuật toán hiệu quả năng lượng hơn bằng cách cung cấp cho mọi người một cách dễ dàng để tính toán sức mạnh tính toán của họ. Strubell nói rằng có nhiều cách để hợp lý hóa các thuật toán để chúng không cần đào tạo nhiều, nhưng mọi người thường không dành thời gian để tự mã hóa cơ chế hiệu quả đó. Tuy nhiên, Google có thể tích hợp nó vào Tensorflow nền tảng của mình để các nhà phát triển có thể truy cập vào kỹ thuật tiên tiến hơn chỉ bằng một vài dòng mã, giúp họ dễ dàng thiết kế các thuật toán tiết kiệm năng lượng hơn.
Các nhà nghiên cứu thường đặt mục tiêu làm cho các thuật toán hiệu quả nhất có thể: Điều đó thường có nghĩa là nhanh nhất có thể. Nhưng Strubell hy vọng rằng công việc của cô có thể thuyết phục các nhà nghiên cứu xem xét hiệu quả năng lượng của mã của họ. Thay vì tập trung vào việc tạo ra các thuật toán lớn hơn, nặng hơn với nhiều dữ liệu hơn, cô hy vọng rằng ngành học sẽ hướng tới các kỹ thuật học máy tiên tiến, thân thiện với carbon hơn, chính xác như các thuật toán dựa vào sức mạnh vũ phu.
Cuối cùng, công việc của Strubell đặt ra câu hỏi về vấn đề nào đủ quan trọng để tiêu tốn năng lượng quý giá.
Bạn thực sự chỉ nên thực hiện quy mô nghiên cứu này nếu bạn nghĩ rằng kết quả sẽ thực sự có ảnh hưởng, theo ông Strubell. Người dân nên quan tâm nhiều hơn về điều đó.
Nhận xét
Đăng nhận xét