Thực đơn
trang chủĐiện thoại

Học sâu của mạng lưới thần kinh là gì. Tương lai của học sâu. Mạng lưới thần kinh là gì

Cuộc cách mạng sắp tới robot thông minhđã được dự đoán 10 năm một lần kể từ những năm 1950. Tuy nhiên, nó chưa bao giờ xảy ra. Tiến bộ trong lĩnh vực này trí tuệ nhân tạo diễn ra thiếu chắc chắn, đôi khi nhàm chán, mang đến sự thất vọng cho nhiều người đam mê. Những thành công có thể nhìn thấy được - máy tính Deep Blue, được IBM tạo ra vào giữa những năm 1990 và đã đánh bại Garry Kasparov trong môn cờ vua năm 1997, hoặc xuất hiện vào cuối những năm 1990 phiên dịch điện tử- nhiều khả năng là kết quả của các phép tính "thô" hơn là việc chuyển các cơ chế nhận thức của con người sang quá trình tính toán của máy tính.

Tuy nhiên, câu chuyện về sự thất vọng và thất bại hiện đang thay đổi đáng kể. Chỉ mười năm trước, các thuật toán nhận dạng đối tượng và thị giác máy tính có thể xác định một hình cầu hoặc một hình song song trên nền đơn giản. Giờ đây, họ có thể phân biệt khuôn mặt con người tốt như con người, thậm chí trên nền tự nhiên, phức tạp. Sáu tháng trước, Google đã phát hành một ứng dụng dành cho điện thoại thông minh có thể dịch văn bản từ hơn 20 ngôn ngữ. Tiếng nước ngoài bằng cách đọc các từ trong ảnh, biển báo đường bộ hoặc văn bản viết tay!

Tất cả điều này trở nên khả thi sau khi rõ ràng là một số ý tưởng cũ trong lĩnh vực mạng lưới thần kinh, nếu được sửa đổi một chút bằng cách thêm “sự sống”, tức là. việc chiếu các chi tiết về nhận thức của con người và động vật có thể mang lại một kết quả đáng kinh ngạc mà không ai ngờ tới. Lần này, cuộc cách mạng trí tuệ nhân tạo dường như thực sự có thật.

Nghiên cứu mạng lưới thần kinh trong lĩnh vực này học máy trong hầu hết các trường hợp luôn dành cho việc tìm kiếm các kỹ thuật nhận dạng mới nhiều loại khác nhau dữ liệu. Do đó, một máy tính được kết nối với máy ảnh phải sử dụng thuật toán nhận dạng hình ảnh để có thể phân biệt được Chất lượng kém một khuôn mặt con người, một tách trà hay một con chó. Tuy nhiên, trong lịch sử, việc sử dụng mạng lưới thần kinh cho những mục đích này đã đi kèm với những khó khăn đáng kể. Ngay cả thành công nhỏ cũng cần có sự can thiệp của con người - mọi người đã giúp chương trình xác định những đặc điểm quan trọng hình ảnh như đường viền hình ảnh hoặc đơn giản hình học không gian. Các thuật toán hiện có Họ không thể học cách tự làm điều đó.

Tình hình đã thay đổi đáng kể nhờ vào việc tạo ra cái gọi là mạng lưới thần kinh với học kĩ càng , giờ đây có thể phân tích hình ảnh hiệu quả gần như con người. Các mạng nơ-ron như vậy sử dụng hình ảnh chất lượng kém làm đầu vào cho các nơ-ron cấp độ đầu tiên, sau đó truyền “hình ảnh” thông qua các kết nối phi tuyến tính đến các nơ-ron cấp độ tiếp theo. Sau một đợt huấn luyện nhất định, các “tế bào thần kinh” sẽ hoạt động nhiều hơn. mức độ cao có thể sử dụng các khía cạnh trừu tượng hơn của hình ảnh để nhận dạng. Ví dụ: họ có thể sử dụng các chi tiết như đường viền của hình ảnh hoặc đặc điểm vị trí của nó trong không gian. Thật ngạc nhiên, những mạng như vậy có thể học cách ước tính những đặc điểm quan trọng nhất của hình ảnh mà không cần sự trợ giúp của con người!

Một ví dụ tuyệt vời về việc sử dụng mạng lưới thần kinh với học sâu là nhận dạng các đối tượng giống hệt nhau được chụp từ các góc độ khác nhau hoặc ở các tư thế khác nhau (nếu chúng ta đang nói về một người hoặc một động vật). Các thuật toán sử dụng chức năng quét từng pixel “nghĩ” rằng chúng đang xem hai hình ảnh khác nhau, trong khi mạng thần kinh “thông minh” “hiểu” rằng chúng đang nhìn vào cùng một đối tượng. Và ngược lại - hình ảnh của hai con chó thuộc các giống khác nhau, được chụp trong cùng một tư thế, có thể được các thuật toán trước đây coi là ảnh của cùng một con chó. Mạng lưới thần kinh với deep learning có thể xác định các chi tiết trong hình ảnh giúp họ phân biệt giữa các loài động vật.

Kết hợp các kỹ thuật học sâu, kiến ​​thức và sức mạnh khoa học thần kinh tiên tiến máy tính hiện đại mở ra cho trí tuệ nhân tạo triển vọng mà chúng tôi thậm chí chưa thể đánh giá được. Sự thật hiển nhiên là tâm trí không chỉ có bản chất sinh học.

Ngày nay có rất nhiều cuộc nói chuyện và viết về mạng lưới thần kinh nhân tạo, cả trong bối cảnh dữ liệu lớn và học máy cũng như bên ngoài nó. Trong bài viết này, chúng tôi sẽ nhắc lại ý nghĩa của khái niệm này, một lần nữa phác thảo phạm vi ứng dụng của nó, đồng thời nói về một cách tiếp cận quan trọng liên quan đến mạng lưới thần kinh - học sâu, chúng tôi sẽ mô tả khái niệm của nó, cũng như những ưu điểm và nhược điểm trong các trường hợp sử dụng cụ thể.

Mạng lưới thần kinh là gì?

Như bạn đã biết, khái niệm mạng lưới thần kinh (NN) xuất phát từ sinh học và là một mô hình cấu trúc có phần đơn giản hóa bộ não con người. Nhưng chúng ta đừng đi sâu vào sự hoang dã của khoa học tự nhiên - cách dễ nhất là tưởng tượng một tế bào thần kinh (bao gồm cả tế bào nhân tạo) như một loại hộp đen có nhiều lỗ đầu vào và một đầu ra.

Về mặt toán học, nơ-ron nhân tạo thực hiện phép biến đổi vector tín hiệu đầu vào(tác động) X vào vectơ đầu ra Y bằng cách sử dụng hàm gọi là hàm kích hoạt. Trong kết nối (mạng nơ-ron nhân tạo - ANN), ba loại nơ-ron có chức năng: đầu vào (nhận thông tin từ thế giới bên ngoài - giá trị của các biến mà chúng ta quan tâm), đầu ra (trả về các biến mong muốn - ví dụ: dự báo hoặc tín hiệu điều khiển), cũng như các tế bào thần kinh trung gian, thực hiện một số chức năng bên trong (“ẩn”) nhất định. Do đó, ANN cổ điển bao gồm ba lớp nơ-ron trở lên và trong lớp thứ hai và lớp tiếp theo (“ẩn” và lớp đầu ra), mỗi phần tử được kết nối với tất cả các phần tử của lớp trước đó.

Điều quan trọng cần nhớ là khái niệm nhận xét, xác định loại cấu trúc ANN: truyền tín hiệu trực tiếp (tín hiệu đi tuần tự từ lớp đầu vào qua lớp ẩn và đi vào lớp đầu ra) và cấu trúc tái phát, khi mạng chứa các kết nối quay trở lại, từ các nơ-ron xa hơn đến các nơ-ron gần hơn). Tất cả những khái niệm này tạo nên đòi hỏi tối thiểu thông tin để đi đến cấp độ tiếp theo hiểu ANN - đào tạo mạng lưới thần kinh, phân loại các phương pháp của nó và hiểu nguyên tắc hoạt động của từng phương pháp.

Đào tạo mạng lưới thần kinh

Chúng ta không nên quên lý do tại sao những phạm trù như vậy nói chung được sử dụng - nếu không sẽ có nguy cơ sa lầy vào toán học trừu tượng. Trên thực tế, mạng lưới thần kinh nhân tạo có nghĩa là một lớp phương pháp để giải quyết một số vấn đề nhất định vấn đề thực tế, trong đó những vấn đề chính là các vấn đề về nhận dạng mẫu, ra quyết định, xấp xỉ và nén dữ liệu, cũng như những vấn đề thú vị nhất đối với chúng ta về phân tích và dự báo cụm.

Không đi sang hướng cực đoan khác và không đi sâu vào chi tiết hoạt động của các phương pháp ANN trong từng trường hợp cụ thể, chúng ta hãy tự nhắc nhở mình rằng trong mọi trường hợp, đó là khả năng học của mạng lưới thần kinh (với giáo viên hoặc “tự học” ) đó là điểm quan trọng dụng nó để giải quyết các vấn đề thực tế.

TRONG trường hợp chung, huấn luyện ANN như sau:

  1. nơ-ron đầu vào nhận các biến (“kích thích”) từ môi trường bên ngoài;
  2. theo thông tin nhận được, các tham số tự do của mạng nơ-ron thay đổi (các lớp nơ-ron trung gian hoạt động);
  3. Do những thay đổi trong cấu trúc của mạng nơ-ron, mạng “phản ứng” với thông tin theo một cách khác.

Như thế đấy thuật toán chung huấn luyện mạng lưới thần kinh (hãy nhớ đến con chó của Pavlov - vâng, đó chính xác là cơ chế bên trong hình thành phản xạ có điều kiện - và hãy quên ngay: xét cho cùng, bối cảnh của chúng ta liên quan đến việc vận hành với các khái niệm và ví dụ kỹ thuật).

Rõ ràng là một thuật toán học tập phổ quát không tồn tại và rất có thể không thể tồn tại; Về mặt khái niệm, các phương pháp học tập được chia thành học tập có giám sát và học tập không giám sát. Thuật toán đầu tiên giả định rằng đối với mỗi vectơ đầu vào (“học”) có một giá trị bắt buộc của vectơ đầu ra (“đích”) - do đó, hai giá trị này tạo thành một cặp huấn luyện và toàn bộ tập hợp các cặp đó là tập huấn luyện. Trong trường hợp học không giám sát, tập huấn luyện chỉ bao gồm các vectơ đầu vào - và tình huống này hợp lý hơn theo quan điểm của cuộc sống thực.

Học kĩ càng

Khái niệm học sâu đề cập đến một phân loại khác và biểu thị một cách tiếp cận để đào tạo cái gọi là cấu trúc sâu, bao gồm các mạng lưới thần kinh đa cấp. Một ví dụ đơn giản từ lĩnh vực nhận dạng hình ảnh: cần phải dạy một chiếc máy xác định các đặc điểm ngày càng trừu tượng theo các đặc điểm trừu tượng khác, nghĩa là xác định mối quan hệ giữa biểu hiện của toàn bộ khuôn mặt, mắt và miệng, và, cuối cùng là các cụm pixel màu về mặt toán học. Do đó, trong mạng lưới thần kinh sâu, mỗi cấp độ tính năng có lớp riêng; Rõ ràng để đào tạo được một “khổng lồ” như vậy thì phải có kinh nghiệm phù hợp của các nhà nghiên cứu và trình độ chuyên môn. phần cứng. Các điều kiện thuận lợi cho việc học sâu của mạng lưới thần kinh chỉ được phát triển vào năm 2006 - và 8 năm sau, chúng ta có thể nói về cuộc cách mạng mà phương pháp này tạo ra trong học máy.

Vì vậy, trước hết, trong bối cảnh bài viết của chúng tôi, điều đáng chú ý là: học kĩ càng trong hầu hết các trường hợp nó không được kiểm soát bởi con người. Nghĩa là, cách tiếp cận này liên quan đến việc đào tạo mạng lưới thần kinh mà không cần giáo viên. Đây là ưu điểm chính của phương pháp tiếp cận “sâu”: học máy có giám sát, đặc biệt trong trường hợp cấu trúc sâu, đòi hỏi chi phí về thời gian và nhân công rất lớn. Mặt khác, học sâu là một cách tiếp cận mô hình hóa (hoặc ít nhất là cố gắng ước tính) tư duy trừu tượng của con người, thay vì khai thác nó.

Ý tưởng, như thường lệ, thật tuyệt vời, nhưng những vấn đề khá tự nhiên nảy sinh trong cách tiếp cận - trước hết, bắt nguồn từ những tuyên bố của nó về tính phổ quát. Trên thực tế, trong khi các phương pháp học sâu đã đạt được thành công đáng kể trong lĩnh vực nhận dạng hình ảnh, thì việc xử lý ngôn ngữ tự nhiên tương tự vẫn đặt ra nhiều câu hỏi hơn là câu trả lời. Rõ ràng là trong n năm tới khó có thể tạo ra một “Leonardo Da Vinci nhân tạo” hoặc thậm chí - ít nhất là vậy! - “con người nhân tạo”.

Tuy nhiên, các nhà nghiên cứu trí tuệ nhân tạo đã phải đối mặt với câu hỏi về đạo đức: những nỗi sợ hãi được thể hiện trong mọi bộ phim khoa học viễn tưởng đầy tự trọng, từ “Kẻ hủy diệt” đến “Transformers”, dường như không còn buồn cười nữa (mạng lưới thần kinh phức tạp hiện đại có thể được coi là hợp lý). mô hình hóa công việc của bộ não côn trùng!), nhưng hiện tại rõ ràng là không cần thiết.

Tương lai công nghệ lý tưởng xuất hiện với chúng ta như một thời đại mà con người có thể giao hầu hết quyền lực của mình cho một cỗ máy - hoặc ít nhất có thể cho phép nó tạo điều kiện thuận lợi cho một phần đáng kể công việc trí tuệ của mình. Khái niệm học sâu là một bước hướng tới ước mơ này. Con đường phía trước còn dài, nhưng rõ ràng là mạng lưới thần kinh và tất cả các phương pháp tiếp cận đang phát triển liên quan đến chúng đều có khả năng hiện thực hóa khát vọng của các nhà văn khoa học viễn tưởng theo thời gian.

Từ bài viết bạn sẽ biết deep learning là gì. Bài viết cũng chứa nhiều tài nguyên mà bạn có thể sử dụng để thành thạo lĩnh vực này.

TRONG thế giới hiện đại Từ chăm sóc sức khỏe đến sản xuất, deep learning đang được sử dụng ở mọi nơi. Các công ty đang chuyển sang công nghệ này để giải quyết vấn đề phức tạp, chẳng hạn như nhận dạng giọng nói và đối tượng, dịch máy, v.v.

Một trong những thành tích ấn tượng nhất năm nay là việc AlphaGo đánh bại kỳ thủ cờ vây giỏi nhất thế giới. Ngoài cờ vây, máy móc còn đánh bại con người trong các trò chơi khác: cờ đam, cờ vua, đảo ngược và Jeopardy.

Có thể chiến thắng ở trò chơi trên bàn cờ dường như không thể áp dụng được cho giải pháp vấn đề thực sự Tuy nhiên, điều này hoàn toàn không phải vậy. Cờ vây được thiết kế để trí tuệ nhân tạo không thể đánh bại được. Để làm được điều này, anh ấy cần phải học một điều quan trọng trong trò chơi này - trực giác của con người. Giờ đây, với sự trợ giúp của sự phát triển này, có thể giải quyết được nhiều vấn đề mà trước đây máy tính không thể tiếp cận được.

Rõ ràng, deep learning vẫn chưa hoàn hảo nhưng nó đã gần hữu ích về mặt thương mại. Ví dụ như những chiếc xe tự lái này. Các công ty nổi tiếng như Google, Tesla và Uber đang cố gắng giới thiệu ô tô tự hành trên đường phố.

Ford dự đoán tăng đáng kể chia sẻ máy bay không người lái Phương tiện giao thôngđến năm 2021. Chính phủ Hoa Kỳ cũng đã cố gắng xây dựng một bộ quy tắc an toàn cho họ.

Học sâu là gì?

Để trả lời câu hỏi này, bạn cần hiểu cách nó tương tác với máy học, mạng lưới thần kinh và trí tuệ nhân tạo. Để làm điều này, chúng tôi sử dụng phương pháp trực quan hóa bằng các vòng tròn đồng tâm:

Vòng ngoài là trí tuệ nhân tạo nói chung (ví dụ: máy tính). Xa hơn một chút là học máy, và ngay trung tâm là mạng lưới thần kinh nhân tạo và học sâu.

Nói một cách đại khái, deep learning đơn giản là một cái tên tiện lợi hơn cho mạng lưới thần kinh nhân tạo. “Sâu” trong cụm từ này đề cập đến mức độ phức tạp (độ sâu) của mạng lưới thần kinh, thường có thể khá hời hợt.

Những người tạo ra mạng lưới thần kinh đầu tiên được lấy cảm hứng từ cấu trúc của vỏ não. Lớp cơ sở của mạng, perceptron, về cơ bản là phần tử tương tự về mặt toán học của một nơ-ron sinh học. Và, cũng như trong não, các perceptron giao nhau với nhau có thể xuất hiện trong mạng lưới thần kinh.

Lớp đầu tiên của mạng nơ-ron được gọi là lớp đầu vào. Mỗi nút trong lớp này nhận một số thông tin làm đầu vào và truyền nó đến các nút tiếp theo trong các lớp khác. Thông thường, không có kết nối nào giữa các nút của một lớp và nút cuối cùng của chuỗi đưa ra kết quả của mạng lưới thần kinh.

Các nút ở giữa được gọi là ẩn vì chúng không có kết nối tới thế giới bên ngoài, dưới dạng các nút đầu ra và đầu vào. Chúng chỉ được gọi khi các lớp trước đó được kích hoạt.

Học sâu về cơ bản là một kỹ thuật đào tạo mạng lưới thần kinh sử dụng nhiều lớp để giải quyết các vấn đề phức tạp (như nhận dạng giọng nói) bằng cách sử dụng các mẫu. Vào những năm 80, hầu hết các mạng nơ-ron đều là mạng đơn lớp do chi phí cao và khả năng dữ liệu hạn chế.

Nếu coi machine learning là một nhánh hay một biến thể của trí tuệ nhân tạo thì deep learning chính là loại chuyên dụng một nhánh như vậy.

Học máy sử dụng trí thông minh máy tính không cung cấp câu trả lời ngay lập tức. Thay vào đó, mã sẽ chạy trên dữ liệu thử nghiệm và dựa trên tính chính xác của kết quả, sẽ điều chỉnh tiến trình của nó. Để quá trình này thành công, nhiều kỹ thuật, phần mềm đặc biệt và khoa học máy tính thường được sử dụng để mô tả phương pháp tĩnh và đại số tuyến tính.

Phương pháp học sâu

Phương pháp học sâu được chia thành hai loại chính:

  • Đào tạo kèm cặp
  • Học tập không giám sát

Phương pháp đầu tiên sử dụng dữ liệu được lựa chọn đặc biệt để đạt được kết quả mong muốn. Nó đòi hỏi khá nhiều sự can thiệp của con người, vì dữ liệu phải được lựa chọn thủ công. Tuy nhiên, nó rất hữu ích cho việc phân loại và hồi quy.

Hãy tưởng tượng rằng bạn là chủ sở hữu của một công ty và muốn xác định tác động của tiền thưởng đến thời hạn hợp đồng của cấp dưới. Với dữ liệu được thu thập trước, phương pháp học có giám sát sẽ là không thể thiếu và rất hiệu quả.

Phương pháp thứ hai không bao hàm các câu trả lời và thuật toán làm việc được chuẩn bị trước. Nó nhằm mục đích xác định các mẫu ẩn trong dữ liệu. Nó thường được sử dụng cho các nhiệm vụ phân cụm và liên kết, chẳng hạn như nhóm khách hàng theo hành vi. “Họ cũng chọn cái này” trên Amazon là một biến thể của nhiệm vụ liên kết.

Mặc dù việc học có giám sát thường khá thuận tiện nhưng nó còn phức tạp hơn lựa chọn khó khăn vẫn tốt hơn. Học sâu đã chứng tỏ mình là một mạng lưới thần kinh không cần sự giám sát của con người.

Tầm quan trọng của học sâu

Máy tính từ lâu đã sử dụng công nghệ để nhận dạng các đặc điểm nhất định trong hình ảnh. Tuy nhiên, kết quả đã không thành công. Thị giác máy tính đã có tác động đáng kinh ngạc đến việc học sâu. Chính hai kỹ thuật này khoảnh khắc này giải quyết mọi vấn đề về nhận dạng.

Đặc biệt, Facebook đã thành công trong việc nhận diện khuôn mặt trong ảnh bằng deep learning. Đây không phải là một cải tiến đơn giản về công nghệ mà là một bước ngoặt làm thay đổi mọi niềm tin trước đó: “Một người có thể xác định với xác suất 97,53% liệu cùng một người có đại diện cho hai người hay không. những bức ảnh khác nhau. Chương trình do nhóm Facebook phát triển có thể thực hiện điều này với xác suất 97,25%, bất kể ánh sáng hay người đó đang nhìn thẳng vào máy ảnh hay quay sang một bên.”

Nhận dạng giọng nói cũng đã trải qua những thay đổi đáng kể. Nhóm nghiên cứu tại Baidu, một trong những công cụ tìm kiếm hàng đầu ở Trung Quốc, đã phát triển một hệ thống nhận dạng giọng nói có thể vượt xa con người về tốc độ và độ chính xác khi viết văn bản bằng tiếng Anh. thiêt bị di động. Bằng tiếng Anh và tiếng Quan Thoại.

Điều đặc biệt thú vị là việc viết một mạng lưới thần kinh chung cho hai ngôn ngữ hoàn toàn khác nhau không đòi hỏi nhiều công sức: “Trong lịch sử, người ta coi tiếng Trung và tiếng Anh là hai ngôn ngữ hoàn toàn khác nhau. ngôn ngữ khác nhau, vì vậy mỗi người trong số họ yêu cầu một cách tiếp cận khác nhau,” Andrew Ng, người đứng đầu trung tâm nghiên cứu Baidu cho biết. “Các thuật toán học tập hiện nay đã được khái quát hóa đến mức bạn có thể Chỉ học hỏi."

Google sử dụng deep learning để quản lý năng lượng trong trung tâm dữ liệu của công ty. Họ đã có thể giảm 40% chi phí tài nguyên làm mát. Đó là mức cải thiện khoảng 15% về hiệu quả năng lượng và tiết kiệm hàng triệu đô la.

Dịch vụ vi mô học sâu

Đây Đánh giá ngắn dịch vụ liên quan đến deep learning.

Trình gắn thẻ minh họa. Được cải tiến bởi Illustration2Vec, dịch vụ này cho phép bạn đánh dấu các hình ảnh với xếp hạng “được bảo vệ”, “có vấn đề”, “nguy hiểm”, “bản quyền” hoặc “chung” để hiểu trước nội dung của hình ảnh.

  • Tiện ích bổ sung Theano của Google
  • Có thể chỉnh sửa bằng Python và Numpy
  • Thường được sử dụng để giải quyết một loạt vấn đề cụ thể
  • Không mục đích chung. Tập trung vào thị giác máy
  • Đã chỉnh sửa bằng C++
  • Có một giao diện bằng Python

Các khóa học trực tuyến về học sâu

Google và Udacity đã hợp tác để tạo một khóa học miễn phí về học sâu, một phần của Khóa học máy học của Udacity. Chương trình này được dẫn dắt bởi các nhà phát triển giàu kinh nghiệm, những người muốn phát triển lĩnh vực học máy và đặc biệt là học sâu.

Một lựa chọn phổ biến khác là khóa học máy học của Andrew Ng, được Coursera và Stanford hỗ trợ.

  1. Học máy - Stanford của Andrew Ng trên Coursera (2010-2014)
  2. Học máy - Caltech của Yaser Abu-mostafa (2012-2014)
  3. Học máy - Carnegie Mellon của Tom Mitchell (Mùa xuân 2011)
  4. Mạng lưới thần kinh cho máy học – Geoffrey Hinton trên Coursera (2012)
  5. Lớp mạng lưới thần kinh– Hugo Larochelle từ Đại học Sherbrooke (2013)

Sách về học sâu

Trong khi các tài nguyên ở phần trước dựa trên nền tảng kiến ​​thức khá sâu rộng, thì ngược lại, Grokking Deep Learning lại nhắm đến người mới bắt đầu. Như các tác giả đã nói: “Nếu bạn đã học xong lớp 11 và hiểu sơ bộ về cách viết Python, chúng tôi sẽ dạy bạn học sâu”.

Một lựa chọn thay thế phổ biến cho cuốn sách này là một cuốn sách có tựa đề dễ hiểu là Deep Learning Book. Nó đặc biệt tốt vì nó bao gồm tất cả các phép toán mà bạn cần để tiếp cận lĩnh vực này.

    1. "Học sâu" của Yoshua Bengio, Ian Goodfellow và Aaron Courville (2015)
  1. “Mạng lưới thần kinh và học sâu” của Michael Nielsen (2014)
  2. "Học sâu" từ Microsoft Research (2013)
  3. “Hướng dẫn học sâu” từ Phòng thí nghiệm LISA, Đại học Montreal (2015)
  4. “Thảo luận thần kinh” của Andrej Karpathy
  5. "Giới thiệu về thuật toán di truyền"
  6. “Cách tiếp cận hiện đại với trí tuệ nhân tạo”
  7. "Tổng quan về học sâu và mạng lưới thần kinh"

Video và bài giảng

Deep Learning Simplified là một kênh YouTube tuyệt vời. Đây là video đầu tiên của họ:

— Phòng thí nghiệm còn non trẻ: nhóm chúng tôi chỉ có 5 người, công việc là ruộng chưa cày xới nhưng chúng tôi rất nghiêm túc. Trọng tâm chính là phát triển và nghiên cứu hệ thống đối thoại - chuyên gia tư vấn và trợ lý trực tuyến, những người trả lời thành thạo mọi câu hỏi của người dùng. Nhiều công ty vẫn có những dịch vụ như vậy, nhưng hoặc hoạt động kém, liên tục mắc lỗi, hoặc có người sống ở phía bên kia màn hình không thể trực tuyến 24/7, hơn nữa còn phải trả tiền. Chúng tôi muốn phát triển một thuật toán cho phép chúng tôi tạo ra những robot có khả năng trò chuyện chính thức. Một robot như vậy sẽ có thể mua vé máy bay cho bạn trong vài phút hoặc tư vấn cho bạn về bất kỳ vấn đề cấp bách nào. Hiện tại, cấp độ hệ thống này không tồn tại.

Mạng lưới thần kinh và trí tuệ nhân tạo

Ý tưởng về mạng lưới thần kinh ra đời vào giữa thế kỷ 20 tại Mỹ cùng với sự ra đời của những chiếc máy tính đầu tiên. Các nhà thần kinh học đã nghiên cứu khía cạnh lý thuyết hoạt động của bộ não, họ tin rằng việc tổ chức hoạt động của máy tính theo hình ảnh và sự giống với hoạt động của bộ não con người sẽ giúp tạo ra trí tuệ nhân tạo đầu tiên trong tương lai gần.

Sự khác biệt giữa trí tuệ nhân tạo và tất cả các thuật toán của thế hệ trước là mạng nơ-ron được huấn luyện không hoạt động theo đường dẫn nhất định và độc lập tìm cách đạt được mục tiêu một cách hiệu quả nhất. Hoạt động của một “tế bào thần kinh” máy tính đơn lẻ trông như thế này: để huấn luyện, đầu vào chương trình được cung cấp các đối tượng thuộc hai loại - A và B - và mang một số loại giá trị số. Chương trình, dựa trên dữ liệu trong tập huấn luyện, hiểu phạm vi giá trị nào tương ứng với đối tượng A và đối tượng nào với B, sau đó có thể phân biệt chúng một cách độc lập. Trong các bài toán thực tế, hệ thống phải phân biệt giữa nhiều loại, mỗi loại có thể có hàng chục thuộc tính. Để giải quyết chúng, cần có một cấu trúc phức tạp hơn của các lớp tế bào thần kinh. khả năng tính toán Và một số lượng lớn các bài kiểm tra đào tạo. Thế kỷ 21 đã đánh dấu sự khởi đầu của một kỷ nguyên trong đó những công nghệ này có thể được sử dụng để giải quyết các vấn đề hàng ngày.

Mikhail Burtsev, người đứng đầu phòng thí nghiệm:

— Khái niệm về cách thức hoạt động của mạng lưới thần kinh khá đơn giản: chúng ta cung cấp cho máy một lượng lớn văn bản và nó ghi nhớ cách các từ khớp với nhau. Dựa trên thông tin này, nó có thể tái tạo các văn bản tương tự - máy không cần biết các quy tắc cú pháp, cách biến cách và cách chia động từ. Đã có những mạng lưới thần kinh học được từ các tác phẩm của Pushkin và đang cố gắng viết theo phong cách của ông. Đây là một tính năng khác của mạng lưới thần kinh: chúng học “phong cách” mà chúng được giao cho việc học. Nếu bạn cung cấp Wikipedia làm tài liệu, chương trình sẽ thêm các thuật ngữ và chủ yếu sử dụng phong cách báo chí. Vì phòng thí nghiệm của chúng tôi đang nỗ lực tạo ra các hệ thống trả lời câu hỏi nên chúng tôi sử dụng các đoạn hội thoại có sẵn để đào tạo mạng. Trong một thử nghiệm, họ sử dụng phụ đề từ các bộ phim và để mạng lưới của chúng tôi nghiên cứu toàn bộ câu chuyện về ma cà rồng. Sau khi phân tích mảng dữ liệu này, mạng lưới thần kinh đã có thể hỗ trợ cuộc trò chuyện.

Đối thoại giữa nhân viên phòng thí nghiệm và mạng lưới thần kinh

Đội: hôm nay và ngày mai

Phòng thí nghiệm hợp tác với các trung tâm nghiên cứu lớn có trụ sở tại Đại học Nghiên cứu Hạt nhân Quốc gia MEPhI và Viện Kurchatov. Các chuyên gia nước ngoài trong lĩnh vực học máy và tin học thần kinh cũng tham gia vào các hoạt động của nó, chẳng hạn như Sergey Plis từ Mạng nghiên cứu tâm trí. Ngoài ra, các sự kiện thường xuyên được tổ chức nhằm quảng bá các hoạt động của phòng thí nghiệm và tìm kiếm tài năng trẻ. Chiến thắng một cuộc thi hackathon hoặc hoàn thành thành công một khóa học sẽ mang lại cho bạn cơ hội tốt để vào phòng thí nghiệm.

Valentin Malykh, nhân viên phòng thí nghiệm:

“Con đường đến phòng thí nghiệm của tôi rất khó khăn. Chỉ bốn năm trước, tôi gần như không động đến chủ đề học máy. Sau đó, tôi theo học ngôn ngữ học máy tính, và chúng tôi bắt đầu... Tôi đã thay đổi công việc nhiều lần: Tôi đã thử sức với lĩnh vực robot, tôi làm việc trong lĩnh vực phát triển phần mềm kết hợp với tầm nhìn máy tính, chính ở đó tôi đã làm quen với máy học và tôi muốn thực hiện nghiên cứu nghiêm túc.
Trong suốt quá trình làm việc của mình, tôi đã cố gắng tham gia một số cuộc thi hackathons do phòng thí nghiệm tổ chức - có lẽ là điều thú vị nhất đã xảy ra với tôi trong khoảng thời gian đó. Sau đó tôi đến gặp mọi người và nói rằng tôi muốn làm việc cho họ. Họ đã đưa tôi đi.

Triết lý của DeepHack

Hackathons, mặc dù có tên như vậy nhưng không liên quan gì đến phần mềm hack ( Tiếng Anh hack - để hack). Đây là những cuộc thi lập trình nhóm trong đó người tham gia dành vài ngày và đôi khi hàng tuần để giải quyết một vấn đề cụ thể. Chủ đề của hackathon được thông báo trước và thường có hàng trăm người tham gia. Những sự kiện như vậy không chỉ được tổ chức bởi các viện nghiên cứu mà còn các công ty lớn những người đang tìm kiếm các chuyên gia tài năng. Tại Viện Phystech, Phòng thí nghiệm Mạng lưới thần kinh và Học sâu đã tổ chức hai cuộc thi hackathon - những người tham gia nghe bài giảng về hệ thống trả lời câu hỏi và đối thoại và viết mã trong một tuần.

Vladislav Belyaev, nhân viên phòng thí nghiệm:

— Năm nay và năm ngoái chúng tôi đã tổ chức hackathons về học máy. Có rất nhiều đơn đăng ký, không chỉ từ Nga và CIS, mà còn từ Châu Âu và Hoa Kỳ. Trong cuộc thi hackathon, các nhà khoa học từ Oxford và Stanford, Google DeepMind và OpenAI đã trình bày các bài giảng. đồng nghiệp Nga, Chắc chắn. Bây giờ chúng tôi đang chuẩn bị một khóa học về mạng thần kinh, chúng tôi sẽ cho bạn biết mọi thứ từ đầu đến cuối: từ khái niệm sinh học và các mô hình cơ bản trong lập trình đến ứng dụng thực tế và cách triển khai cụ thể.

Thời gian rảnh

Phòng thí nghiệm vẫn còn ít nhân viên nên mỗi người có một khối lượng lớn công việc mang tính chất khác nhau: họ cần nghiên cứu thuật toán, viết mã và chuẩn bị các ấn phẩm khoa học.

Mikhail Burtsev, người đứng đầu phòng thí nghiệm:

- Tôi phải làm việc rất nhiều - Tôi không nghĩ mình còn nhớ nó như thế nào nữa thời gian rảnh. Không đùa đâu, thực tế là không có thời gian để thư giãn: trong sáu tháng qua, chúng tôi đã có thể đi ăn thịt nướng một lần theo nhóm. Mặc dù ở một khía cạnh nào đó, công việc có thể là sự thư giãn. Hackathons và hội thảo mang đến cơ hội giao tiếp trong môi trường ít trang trọng hơn với đồng nghiệp và làm quen với những người mới. Chúng tôi vẫn chưa bắt đầu truyền thống dành thời gian cho nhau sau giờ làm việc - chúng tôi còn quá trẻ. Vào mùa hè, chúng tôi dự định hòa mình vào thiên nhiên với toàn bộ phòng thí nghiệm, thuê một ngôi nhà nhỏ và cùng nhau giải quyết những vấn đề khó khăn và thú vị nhất trong hai tuần - chúng tôi sẽ tổ chức cuộc thi hackathon nhỏ của riêng mình. Hãy xem phương pháp này có hiệu quả như thế nào. Có lẽ đây sẽ trở thành truyền thống tốt đẹp đầu tiên của chúng tôi.

Thuê người làm

Phòng thí nghiệm sẽ mở rộng và đang tìm kiếm nhân viên mới. Cách dễ nhất để có được một vị trí là hoàn thành khóa thực tập kéo dài hai tháng, thời gian này bạn được chọn dựa trên một cuộc phỏng vấn. Một điều kiện cần thiết vượt qua cuộc phỏng vấn là hoàn thành một phần nhiệm vụ của khóa học Deep Learning. Trong thời gian thực tập, bạn có cơ hội tham gia vào các dự án tùy chỉnh được trả lương. Kinh phí cho phòng thí nghiệm vẫn chưa được bố trí, tuy nhiên, theo các nhân viên phòng thí nghiệm, vấn đề này sẽ được giải quyết trong thời gian tới. “Đến với chúng tôi bây giờ đồng nghĩa với việc có cơ hội trở thành “cha đẻ” của phòng thí nghiệm theo hướng hứa hẹn nhất công nghệ thông tin“Mikhail Burtsev nói.

Hình ảnh và hình ảnh được cung cấp bởi Phòng thí nghiệm Mạng thần kinh và Học sâu MIPT. Nhiếp ảnh gia: Evgeny Pelevin.

Học sâu là gì ( học kĩ càng) ? Ngày 3 tháng 3 năm 2016

Ngày nay, họ nói về các công nghệ học sâu thời thượng như thể đó là ma-nang từ thiên đường. Nhưng liệu người nói có hiểu nó thực sự là gì không? Nhưng khái niệm này không có định nghĩa chính thức và nó kết hợp cả một loạt công nghệ. Trong bài đăng này, tôi muốn giải thích một cách phổ biến nhất có thể và về cơ bản những gì đằng sau thuật ngữ này, tại sao nó lại phổ biến và những công nghệ này mang lại cho chúng ta những gì.


Nói tóm lại, thuật ngữ mới này (học sâu) nói về cách tập hợp một sự trừu tượng (biểu diễn) phức tạp hơn và sâu sắc hơn từ một số sự trừu tượng đơn giản. mặc dù thực tế là ngay cả những phần trừu tượng đơn giản nhất cũng phải được lắp ráp bởi chính máy tính chứ không phải bởi con người. Những thứ kia. Nó không còn chỉ là về học tập nữa mà là về siêu học tập. Nói một cách hình tượng, bản thân máy tính phải học cách học tốt nhất. Và trên thực tế, đây chính xác là ý nghĩa của thuật ngữ “sâu”. Hầu như luôn luôn, thuật ngữ này được áp dụng cho các mạng thần kinh nhân tạo sử dụng nhiều hơn một lớp ẩn, do đó, “sâu” chính thức cũng có nghĩa là kiến ​​trúc mạng thần kinh sâu hơn.

Ở đây trong slide phát triển, bạn có thể thấy rõ deep learning khác với học thông thường như thế nào. Tôi lặp lại, Điều độc đáo về học sâu là máy tự tìm ra các tính năng(các đặc điểm chính của thứ gì đó giúp dễ dàng tách một lớp đối tượng này khỏi lớp đối tượng khác) và cấu trúc các dấu hiệu này theo thứ bậc: những dấu hiệu đơn giản hơn được kết hợp thành những dấu hiệu phức tạp hơn. Dưới đây chúng ta sẽ xem xét điều này với một ví dụ.

Chúng ta hãy xem một ví dụ về nhiệm vụ nhận dạng hình ảnh: trước đây, họ đã nhét một nhiệm vụ khổng lồ vào mạng thần kinh thông thường có một lớp (1024×768 - khoảng 800.000 Giá trị kiểu số) và nhìn chiếc máy tính dần chết đi, ngột ngạt vì thiếu bộ nhớ và không thể hiểu được pixel nào quan trọng để nhận dạng và pixel nào không. Chưa kể đến hiệu quả của phương pháp này. Đây là kiến ​​trúc của một mạng lưới thần kinh thông thường (nông).

Sau đó, họ lắng nghe cách bộ não phân biệt các đặc điểm và nó thực hiện điều này theo cách phân cấp nghiêm ngặt, đồng thời họ cũng quyết định trích xuất cấu trúc phân cấp từ các bức ảnh. Để làm được điều này, cần phải thêm nhiều lớp ẩn hơn (các lớp nằm giữa đầu vào và đầu ra; nói một cách đại khái là các giai đoạn chuyển đổi thông tin) vào mạng nơ-ron. Mặc dù họ quyết định làm điều này gần như ngay lập tức khi tế bào thần kinh được phát minh, nhưng các mạng chỉ có một lớp ẩn đã được huấn luyện thành công. Những thứ kia. về cơ bản mạng lưới sâuđã tồn tại lâu như những cái thông thường, chúng tôi không thể đào tạo chúng. Điều gì đã thay đổi?

Vào năm 2006, một số nhà nghiên cứu độc lập đã giải quyết vấn đề này ngay lập tức (ngoài ra, khả năng phần cứng đã đủ phát triển, các card màn hình khá mạnh đã xuất hiện). Các nhà nghiên cứu này là: Geoffrey Hinton (và đồng nghiệp của ông là Ruslan Salakhutidinov) với kỹ thuật đào tạo trước từng lớp của mạng lưới thần kinh bằng máy Boltzmann bị ràng buộc (thứ lỗi cho tôi vì những thuật ngữ này...), Yann LeCun với mạng lưới thần kinh tích chập, và Yoshuay Bengio với bộ mã hóa tự động xếp tầng. Hai người đầu tiên ngay lập tức được Google và Facebook tuyển dụng. Đây là hai bài giảng: một - Hinton, cái khác - Lyakuna, trong đó họ cho biết học sâu là gì. Không ai có thể nói với bạn về điều này tốt hơn họ. Một cái hay khác bài học Schmidhuber về sự phát triển của deep learning, cũng là một trong những trụ cột của ngành khoa học này. Và Hinton cũng có một khóa học tuyệt vời về tế bào thần kinh.

Mạng lưới thần kinh sâu có thể làm gì bây giờ? Họ có thể nhận biết và mô tả đồ vật; người ta có thể nói rằng họ “hiểu” đồ vật đó là gì. Đó là về về việc nhận biết ý nghĩa.

Chỉ cần xem video này để nhận biết theo thời gian thực những gì camera nhìn thấy.

Như tôi đã nói, công nghệ deep learning là một nhóm công nghệ và giải pháp. Tôi đã liệt kê một số mạng trong số chúng ở đoạn trên, một ví dụ khác là mạng lặp lại, được sử dụng trong video ở trên để mô tả những gì mạng nhìn thấy. Nhưng đại diện phổ biến nhất của loại công nghệ này vẫn là mạng nơ-ron tích chập của LyaKun. Chúng được xây dựng bằng cách tương tự với các nguyên tắc hoạt động của vỏ não thị giác của não mèo, trong đó cái gọi là tế bào đơn giản được phát hiện, phản ứng với các đường thẳng ở các góc khác nhau và các tế bào phức tạp - phản ứng liên quan đến kích hoạt một bộ nhất định tế bào đơn giản. Mặc dù thành thật mà nói, bản thân LaCun không tập trung vào sinh học nhưng anh ấy quyết định nhiệm vụ cụ thể(xem bài giảng của anh ấy), và rồi nó trùng hợp.

Nói một cách đơn giản, mạng tích chập là mạng trong đó thành phần cấu trúc chính của việc học là một nhóm (tổ hợp) các nơ-ron (thường là hình vuông 3x3, 10x10, v.v.) chứ không chỉ một. Và ở mỗi cấp độ của mạng lưới, hàng chục nhóm như vậy được đào tạo. Mạng tìm thấy sự kết hợp của các nơ-ron nhằm tối đa hóa thông tin về hình ảnh. Ở cấp độ đầu tiên, mạng trích xuất các thông tin cơ bản, có cấu trúc nhất yếu tố đơn giản người ta có thể nói, những bức tranh là những đơn vị xây dựng: ranh giới, nét vẽ, phân đoạn, độ tương phản. Lên cao hơn đã là sự kết hợp ổn định của các yếu tố ở cấp độ đầu tiên, v.v. Tôi muốn nhấn mạnh một lần nữa tính năng chính học sâu: các mạng tự hình thành các yếu tố này và quyết định yếu tố nào quan trọng hơn và yếu tố nào không. Điều này rất quan trọng vì trong lĩnh vực học máy, việc tạo ra các tính năng là điều then chốt và giờ đây chúng ta đang chuyển sang giai đoạn mà máy tính tự học cách tạo và chọn các tính năng. Bản thân máy xác định một hệ thống phân cấp các tính năng thông tin.

Vì vậy, trong quá trình học (xem hàng trăm bức ảnh), mạng tích chập hình thành một hệ thống phân cấp các tính năng nhiều cấp độ khác nhauđộ sâu. Ở cấp độ đầu tiên, họ có thể làm nổi bật, chẳng hạn như các yếu tố như vậy (phản ánh độ tương phản, góc, đường viền, v.v.).


Ở cấp độ thứ hai, đây sẽ là một yếu tố từ các yếu tố của cấp độ đầu tiên. Vào ngày thứ ba - từ thứ hai. Chúng ta phải hiểu rằng bức ảnh này- chỉ là biểu tình thôi. Hiện nay được sử dụng trong công nghiệp, các mạng như vậy có từ 10 đến 30 lớp (cấp độ).

Sau khi mạng như vậy được huấn luyện, chúng ta có thể sử dụng nó để phân loại. Sau khi đưa ra một số hình ảnh làm đầu vào, các nhóm nơ-ron ở lớp đầu tiên sẽ chạy dọc theo hình ảnh, kích hoạt ở những nơi có thành phần hình ảnh tương ứng với một thành phần cụ thể. Những thứ kia. mạng này phân tích hình ảnh thành các phần - đầu tiên là các đường, nét, góc nghiêng, sau đó là các phần phức tạp hơn và cuối cùng đưa ra kết luận rằng hình ảnh là từ kiểu kết hợp này yếu tố cơ bản- khuôn mặt này.

Thông tin thêm về mạng tích chập -