Thực đơn
trang chủWindows 7

Mạng lưới thần kinh hoặc. Nói một cách đơn giản về sự phức tạp: mạng lưới thần kinh là gì? Biểu diễn dữ liệu đầu vào

Các loại kiến ​​trúc mạng thần kinh mới liên tục xuất hiện và chúng có thể gây nhầm lẫn. Chúng tôi đã tổng hợp cho bạn một loại bảng ghi nhớ, chứa hầu hết các loại ANN hiện có. Mặc dù tất cả chúng đều được trình bày là độc nhất nhưng những bức ảnh cho thấy nhiều trong số chúng rất giống nhau.

Vấn đề với các biểu đồ trên là chúng không hiển thị cách sử dụng các mạng tương ứng trong thực tế. Ví dụ: bộ mã hóa tự động biến thiên (VAE) trông giống như bộ mã hóa tự động đơn giản (AE), nhưng quá trình học của chúng khác nhau đáng kể. Các trường hợp sử dụng thậm chí còn khác nhau nhiều hơn vì VAE là một máy phát được cấp điện tiếng ồn mới. AE chỉ cần so sánh dữ liệu nhận được với dữ liệu tốt nhất Hoa văn tương tự nhận được trong quá trình đào tạo.

Cần lưu ý rằng mặc dù hầu hết các chữ viết tắt này thường được chấp nhận nhưng vẫn có những trường hợp ngoại lệ. Với RNN đôi khi chúng có nghĩa là mạng lưới thần kinh đệ quy, nhưng thông thường chúng có nghĩa là tái phát. Bạn cũng có thể thường xuyên thấy việc sử dụng từ viết tắt RNN khi nói về bất kì NS tái phát. Bộ mã hóa tự động cũng phải đối mặt với vấn đề này khi bộ mã hóa tự động biến thiên và khử nhiễu (VAE, DAE) được gọi đơn giản là bộ mã hóa tự động (AE). Ngoài ra, nhiều chữ viết tắt khác nhau về số lượng chữ cái “N” ở cuối, vì trong một số trường hợp, “mạng thần kinh” được sử dụng và trong những trường hợp khác chỉ đơn giản là “mạng”.

Đối với mỗi kiến ​​trúc sẽ được cung cấp rất Mô tả ngắn và một liên kết đến một bài viết dành riêng cho nó. Nếu bạn muốn nhanh chóng làm quen với mạng lưới thần kinh từ đầu, hãy làm theo hướng dẫn đã dịch của chúng tôi, chỉ bao gồm bốn bước.


Mạng lưới thần kinh phân phối trực tiếp (nguồn cấp dữ liệu mạng nơ-ron chuyển tiếp, FF hoặc FFNN) và perceptron (các thụ thể, P) rất đơn giản, chúng truyền tải thông tin từ đầu vào đến đầu ra. Mạng lưới thần kinh thường được mô tả như một chiếc bánh lớp, với mỗi lớp bao gồm các ô đầu vào, ẩn hoặc đầu ra. Các ô trong một lớp không được kết nối với nhau, trong khi các lớp liền kề thường được kết nối hoàn toàn. Mạng thần kinh đơn giản nhất có hai ô đầu vào và một ô đầu ra và có thể được sử dụng làm mô hình cổng logic. FFNN thường được đào tạo bằng cách sử dụng lan truyền ngược, trong đó mạng nhận được nhiều đầu vào và đầu ra. Quá trình này được gọi là học có giám sát và nó khác với học không giám sát ở chỗ trong trường hợp thứ hai, mạng tự biên soạn rất nhiều dữ liệu đầu ra. Lỗi trên là sự khác biệt giữa đầu vào và đầu ra. Nếu một mạng có đủ nơ-ron ẩn thì về mặt lý thuyết nó có thể mô hình hóa sự tương tác giữa đầu vào và đầu ra. Trong thực tế, những mạng như vậy hiếm khi được sử dụng mà chúng thường được kết hợp với các loại khác để tạo ra mạng mới.

Mạng hàm cơ sở xuyên tâm (hàm cơ sở xuyên tâm, RBF) là một FFNN sử dụng các hàm cơ sở xuyên tâm làm hàm kích hoạt. Cô ấy không còn nổi bật nữa :)

Mạng lưới thần kinh Hopfield(Mạng lưới Hopfield, HN) là một mạng lưới thần kinh được kết nối đầy đủ với ma trận kết nối đối xứng. Trong quá trình đầu vào, mỗi nút là một đầu vào, trong quá trình đào tạo, nó sẽ bị ẩn và sau đó trở thành đầu ra. Mạng được đào tạo như thế này: các giá trị của nơ-ron được đặt theo mẫu mong muốn, sau đó các trọng số sẽ được tính toán và không thay đổi sau này. Khi mạng đã được huấn luyện theo một hoặc nhiều mẫu, nó sẽ luôn hội tụ về một trong số các mẫu đó (nhưng không phải lúc nào cũng theo mẫu mong muốn). Nó ổn định tùy thuộc vào “năng lượng” và “nhiệt độ” tổng thể của mạng. Mỗi nơ-ron có ngưỡng kích hoạt phụ thuộc vào nhiệt độ riêng, sau đó nơ-ron nhận một trong hai giá trị (thường là -1 hoặc 1, đôi khi là 0 hoặc 1). Mạng như vậy thường được gọi là mạng bộ nhớ liên kết; Giống như một người, nhìn thấy một nửa cái bàn, có thể tưởng tượng ra nửa sau của cái bàn, mạng lưới này, nhận được một cái bàn ồn ào một nửa, sẽ khôi phục lại cái bàn đầy đủ.

Chuỗi Markov(Chuỗi Markov, MC hoặc Chuỗi Markov thời gian rời rạc, DTMC) là tiền thân của máy Boltzmann (BM) và mạng Hopfield (HN). Ý nghĩa của chúng có thể được giải thích như sau: nếu tôi ở trong nút này thì cơ hội vào được một trong các nút sau là bao nhiêu? Mỗi trạng thái tiếp theo chỉ phụ thuộc vào trạng thái trước đó. Mặc dù chuỗi Markov không thực sự là NN nhưng chúng khá giống nhau. Ngoài ra, chuỗi Markov không nhất thiết phải được kết nối đầy đủ.

máy Boltzmann(Máy Boltzmann, BM) rất giống với mạng Hopfield, nhưng trong đó một số nơ-ron được đánh dấu là đầu vào và một số là ẩn. Các nơ-ron đầu vào sau đó trở thành các nơ-ron đầu ra. Máy Boltzmann là một mạng ngẫu nhiên. Việc đào tạo được thực hiện bằng phương pháp lan truyền ngược hoặc thuật toán phân kỳ so sánh. Nhìn chung, quá trình học tập rất giống với mạng Hopfield.

Máy Boltzmann bị hạn chế(máy Boltzmann bị hạn chế, RBM) rất giống với máy Boltzmann và do đó giống với mạng Hopfield. Sự khác biệt duy nhất là những hạn chế của nó. Trong đó, các nơ-ron cùng loại không được kết nối với nhau. Máy Boltzmann bị hạn chế có thể được huấn luyện giống như FFNN, nhưng có một lưu ý: thay vì truyền dữ liệu chuyển tiếp và truyền ngược, trước tiên bạn cần truyền dữ liệu theo hướng thuận, sau đó theo hướng ngược lại. Sau đó, việc đào tạo được thực hiện bằng phương pháp truyền lỗi tiến và lùi.

Bộ mã hóa tự động(bộ mã hóa tự động, AE) hơi giống với FFNN ở chỗ nó là một cách sử dụng FFNN khác chứ không phải là một kiến ​​trúc khác về cơ bản. Ý tưởng chính là mã hóa tự động (theo nghĩa nén chứ không phải mã hóa) thông tin. Bản thân mạng có hình dạng giống như một chiếc đồng hồ cát, các lớp ẩn của nó nhỏ hơn các lớp đầu vào và đầu ra và nó có tính đối xứng. Mạng có thể được huấn luyện bằng cách sử dụng lan truyền ngược bằng cách cung cấp dữ liệu đầu vào và đặt lỗi là chênh lệch giữa đầu vào và đầu ra.

Bộ mã hóa tự động thưa thớt(bộ mã hóa tự động thưa thớt, SAE)- theo một nghĩa nào đó, trái ngược với thông thường. Thay vì đào tạo mạng để hiển thị thông tin trong một “khối lượng” nút nhỏ hơn, chúng tôi tăng số lượng của chúng. Thay vì thu hẹp về phía trung tâm, mạng lưới sẽ phình ra ở đó. Những loại mạng này rất hữu ích khi làm việc với một số lượng lớn các thuộc tính nhỏ của tập dữ liệu. Nếu bạn huấn luyện mạng giống như một bộ mã hóa tự động thông thường thì nó sẽ không mang lại điều gì hữu ích. Do đó, ngoài dữ liệu đầu vào, một bộ lọc thưa thớt đặc biệt cũng được cung cấp, bộ lọc này chỉ cho phép đi qua một số lỗi nhất định.

Bộ mã hóa tự động biến thể(bộ mã hóa tự động biến thiên, VAE) có kiến ​​trúc tương tự như AE, nhưng dạy cho chúng điều gì đó khác biệt: xấp xỉ phân bố xác suất của các mẫu đầu vào. Trong đó chúng có nguồn gốc từ máy Boltzmann. Tuy nhiên, họ dựa vào toán học Bayes khi nói đến suy luận xác suất và tính độc lập, vốn trực quan nhưng khó thực hiện. Tóm lại, chúng ta có thể nói rằng mạng này có tính đến ảnh hưởng của các nơ-ron. Nếu một việc xảy ra ở nơi này và một việc khác xảy ra ở nơi khác, thì những sự kiện này không nhất thiết có liên quan với nhau và điều này cần được tính đến.

Bộ mã hóa tự động giảm tiếng ồn(bộ mã hóa tự động khử nhiễu, DAE) là các AE mà dữ liệu đầu vào được cung cấp ở trạng thái nhiễu. Chúng tôi tính toán lỗi theo cách tương tự và dữ liệu đầu ra được so sánh với dữ liệu nhiễu. Điều này cho phép mạng học cách chú ý đến các thuộc tính rộng hơn, vì những thuộc tính nhỏ có thể thay đổi theo tiếng ồn.


Mạng lưới niềm tin sâu sắc(Mạng lưới niềm tin sâu sắc, DBN) là tên được đặt cho một loại kiến ​​trúc trong đó mạng bao gồm một số RBM hoặc VAE được kết nối. Các mạng như vậy được đào tạo từng khối và mỗi khối chỉ cần có khả năng mã hóa khối trước đó. Kỹ thuật này được gọi là “học tập tham lam”, bao gồm việc lựa chọn các giải pháp tối ưu cục bộ không đảm bảo tối ưu. kết quả cuối cùng. Mạng cũng có thể được huấn luyện (sử dụng phương pháp lan truyền ngược) để hiển thị dữ liệu dưới dạng mô hình xác suất. Nếu sử dụng phương pháp học không giám sát, mô hình ổn định có thể được sử dụng để tạo dữ liệu mới.


Mạng thần kinh tích chập(Mạng lưới thần kinh tích chập, CNN)và mạng lưới thần kinh tích chập sâu(Mạng lưới thần kinh tích chập sâu, DCNN) rất khác so với các loại mạng khác. Chúng thường được sử dụng để xử lý hình ảnh, ít thường xuyên hơn cho âm thanh. Một cách điển hình để sử dụng CNN là phân loại hình ảnh: nếu có con mèo trong ảnh, mạng sẽ xuất ra “mèo”, nếu có chó là “chó”. Các mạng như vậy thường sử dụng một “máy quét” không phân tích tất cả dữ liệu cùng một lúc. Ví dụ: nếu bạn có hình ảnh 200x200, bạn sẽ không xử lý tất cả 40 nghìn pixel cùng một lúc. Thay vào đó, mạng sẽ đếm một hình vuông có kích thước 20 x 20 (thường là từ góc trên cùng bên trái), sau đó di chuyển 1 pixel và đếm một hình vuông mới, v.v. Những đầu vào này sau đó được chuyển qua các lớp tích chập, trong đó không phải tất cả các nút đều được kết nối với nhau. Các lớp này có xu hướng co lại theo độ sâu, thường sử dụng lũy ​​thừa hai: 32, 16, 8, 4, 2, 1. Trong thực tế, FFNN được gắn vào cuối CNN để xử lý dữ liệu thêm. Những mạng như vậy được gọi là mạng sâu (DCNN).

Mở ra mạng lưới thần kinh(mạng giải mã, DN), còn được gọi là mạng đồ thị nghịch đảo, là nghịch đảo của mạng nơ ron tích chập. Hãy tưởng tượng rằng bạn truyền từ “mèo” lên mạng và nó tạo ra những bức ảnh về mèo trông giống như ảnh thật về mèo. DNN cũng có thể được kết hợp với FFNN. Điều đáng chú ý là trong hầu hết các trường hợp, nó không phải là một chuỗi được truyền tới mạng mà là một vectơ nhị phân: ví dụ:<0, 1>- Nó là con mèo,<1, 0>- một con chó, và<1, 1>- cả một con mèo và một con chó.

TRONG Gần đây họ ngày càng nói nhiều hơn về cái gọi là mạng lưới thần kinh, họ nói rằng chúng sẽ sớm được sử dụng tích cực trong chế tạo robot, trong kỹ thuật cơ khí cũng như trong nhiều lĩnh vực hoạt động khác của con người và các thuật toán của công cụ tìm kiếm, giống như Google, là đã dần dần bắt đầu làm việc với chúng. Những mạng lưới thần kinh này là gì, chúng hoạt động như thế nào, ứng dụng của chúng là gì và chúng có thể hữu ích như thế nào đối với chúng ta. Hãy đọc tiếp về tất cả những điều này.

Mạng lưới thần kinh là gì

Mạng lưới thần kinh là một trong những lĩnh vực nghiên cứu khoa học trong lĩnh vực tạo ra trí tuệ nhân tạo (AI), dựa trên mong muốn bắt chước hệ thống thần kinh của con người. Bao gồm cả khả năng sửa lỗi và tự học (hệ thần kinh). Tất cả điều này, mặc dù hơi thô thiển, sẽ cho phép chúng ta mô phỏng công việc bộ não con người.

Mạng lưới thần kinh sinh học

Nhưng định nghĩa trong đoạn văn trên hoàn toàn mang tính kỹ thuật; nếu chúng ta nói theo ngôn ngữ sinh học, thì mạng lưới thần kinh là hệ thần kinh của con người, tập hợp các tế bào thần kinh trong não của chúng ta, nhờ đó chúng ta suy nghĩ, đưa ra những quyết định nhất định và nhận thức. thế giới quanh ta.

Tế bào thần kinh sinh học là một tế bào đặc biệt bao gồm nhân, cơ thể và các quá trình, đồng thời có mối liên hệ chặt chẽ với hàng nghìn tế bào thần kinh khác. Thông qua kết nối này, các xung điện hóa được truyền đi liên tục, đưa toàn bộ mạng lưới thần kinh vào trạng thái hưng phấn hoặc ngược lại là bình tĩnh. Ví dụ, một số sự kiện thú vị và đồng thời thú vị (gặp người thân yêu, chiến thắng trong một cuộc thi, v.v.) sẽ tạo ra một xung điện hóa trong mạng lưới thần kinh nằm trong đầu chúng ta, điều này sẽ dẫn đến sự kích thích của nó. Kết quả là mạng lưới thần kinh trong não của chúng ta sẽ truyền sự kích thích đến các cơ quan khác trong cơ thể và dẫn đến nhịp tim tăng lên, chớp mắt thường xuyên hơn, v.v.

Trong hình là một mô hình rất đơn giản của mạng lưới thần kinh sinh học của não. Chúng ta thấy tế bào thần kinh gồm có thân tế bào và nhân, thân tế bào lại có nhiều sợi phân nhánh gọi là đuôi gai. Các sợi nhánh dài được gọi là sợi trục và có chiều dài lớn hơn nhiều so với chiều dài thể hiện trong hình này; thông qua các sợi trục, sự giao tiếp giữa các nơ-ron được thực hiện, nhờ chúng mà mạng lưới thần kinh sinh học hoạt động trong đầu chúng ta.

Lịch sử của mạng lưới thần kinh

Lịch sử phát triển của mạng lưới thần kinh trong khoa học và công nghệ là gì? Nó bắt nguồn từ sự ra đời của những chiếc máy tính hoặc máy tính (máy tính điện tử) đầu tiên như chúng được gọi vào thời đó. Vì vậy, vào cuối những năm 1940, một Donald Hebb nào đó đã phát triển một cơ chế mạng lưới thần kinh, cơ chế này đặt ra các quy tắc cho việc dạy máy tính, những “máy tính nguyên mẫu” này.

Trình tự thời gian tiếp theo của các sự kiện như sau:

  • Năm 1954 lần đầu tiên công dụng thực tế mạng nơ-ron trong hoạt động của máy tính.
  • Năm 1958, Frank Rosenblatt đã phát triển một thuật toán nhận dạng mẫu và chú thích toán học cho nó.
  • Vào những năm 1960, sự quan tâm đến sự phát triển của mạng lưới thần kinh phần nào mờ nhạt do sức mạnh máy tính yếu vào thời điểm đó.
  • Và nó đã được hồi sinh trở lại vào những năm 1980, chính trong thời kỳ này đã xuất hiện một hệ thống có cơ chế nhận xét, các thuật toán tự học đang được phát triển.
  • Đến năm 2000, sức mạnh máy tính đã phát triển đến mức có thể biến giấc mơ điên rồ nhất của các nhà khoa học trong quá khứ trở thành hiện thực. Lúc này xuất hiện các chương trình nhận dạng giọng nói, tầm nhìn máy tính và nhiều hơn nữa.

Mạng lưới thần kinh nhân tạo

Mạng nơ-ron nhân tạo thường được hiểu là hệ thống máy tính có khả năng tự học và tăng dần hiệu suất. Các thành phần chính của cấu trúc mạng lưới thần kinh là:

  • Tế bào thần kinh nhân tạo, là các đơn vị cơ bản, được kết nối với nhau.
  • Khớp thần kinh là kết nối được sử dụng để gửi và nhận thông tin giữa các nơ-ron.
  • Tín hiệu là thông tin thực tế được truyền đi.

Ứng dụng của mạng lưới thần kinh

Phạm vi của mạng lưới thần kinh nhân tạo đang mở rộng hàng năm; ngày nay chúng được sử dụng trong các lĩnh vực như:

  • Học máy, một loại trí tuệ nhân tạo. Nó dựa trên việc đào tạo AI bằng cách sử dụng ví dụ về hàng triệu nhiệm vụ tương tự. Ngày nay, học máy đang được triển khai tích cực công cụ tìm kiếm Google, Yandex, Bing, Baidu. Vì vậy, dựa trên hàng triệu truy vấn tìm kiếm, mà tất cả chúng ta nhập vào Google hàng ngày, các thuật toán của họ học cách hiển thị cho chúng ta những kết quả phù hợp nhất để chúng ta có thể tìm thấy chính xác những gì chúng ta đang tìm kiếm.
  • Trong chế tạo robot, mạng lưới thần kinh được sử dụng để phát triển nhiều thuật toán cho “bộ não” sắt của robot.
  • Các kiến ​​trúc sư hệ thống máy tính sử dụng mạng lưới thần kinh để giải quyết vấn đề tính toán song song.
  • Với sự trợ giúp của mạng lưới thần kinh, các nhà toán học có thể giải quyết nhiều vấn đề toán học phức tạp khác nhau.

Các loại mạng thần kinh

Nói chung, chúng được sử dụng cho các nhiệm vụ khác nhau các loại khác nhau và các loại mạng lưới thần kinh, trong số đó là:

  • mạng lưới thần kinh tích chập,
  • mạng lưới thần kinh tái phát,
  • Mạng thần kinh Hopfield.

Mạng thần kinh tích chập

Mạng tích chập là một trong những loại mạng thần kinh nhân tạo phổ biến nhất. Do đó, chúng đã chứng minh được tính hiệu quả của mình trong việc nhận dạng mẫu trực quan (video và hình ảnh), hệ thống gợi ý và xử lý ngôn ngữ.

  • Mạng nơ-ron tích chập có quy mô tốt và có thể được sử dụng để nhận dạng hình ảnh ở bất kỳ độ phân giải cao nào.
  • Các mạng này sử dụng tế bào thần kinh thể tích 3D. Trong một lớp, các nơ-ron chỉ được kết nối bằng một trường nhỏ, gọi là lớp tiếp nhận.
  • Các nơ-ron của các lớp lân cận được kết nối thông qua cơ chế định vị không gian. Hoạt động của nhiều lớp như vậy được đảm bảo bởi các bộ lọc phi tuyến đặc biệt đáp ứng tất cả số lớn hơnđiểm ảnh.

Mạng lưới thần kinh tái phát

Mạng lưới thần kinh tái phát là những mạng có kết nối giữa các nơ-ron tạo thành một chu kỳ chỉ định. Có các đặc điểm sau:

  • Mỗi kết nối có trọng số riêng, còn được gọi là mức độ ưu tiên.
  • Các nút được chia thành hai loại, nút giới thiệu và nút ẩn.
  • Thông tin trong mạng nơ-ron hồi quy được truyền không chỉ theo đường thẳng, từng lớp mà còn giữa chính các nơ-ron.
  • Quan trọng tính năng đặc biệt Mạng thần kinh tái diễn là sự hiện diện của cái gọi là “khu vực chú ý”, khi máy có thể được cung cấp một số phần dữ liệu nhất định yêu cầu xử lý nâng cao.

Mạng thần kinh tái phát được sử dụng để nhận dạng và xử lý dữ liệu văn bản (Google Translator, thuật toán Yandex “Palekh”, v.v.) trợ lý giọng nói Apple Siri).

Mạng lưới thần kinh, video

Và kết luận lại video thú vị về mạng lưới thần kinh.

Tình trạng hiện tại của trí tuệ nhân tạo, mạng lưới thần kinh và học máy là gì? Tại sao lại có một cuộc thảo luận sôi nổi, sôi sục trong tâm trí và đủ kiểu nói chuyện về thực tế là tất cả chúng ta sẽ chết trong một năm hoặc sáu tháng tới?

Câu hỏi rất hay! Tôi đã suy nghĩ về điều này rất nhiều. Hãy để tôi cố gắng trả lời chi tiết.

Ví dụ, khi tôi học ở viện, chúng tôi đã phân tích văn bản. Có một vấn đề như sau: chúng ta lấy một văn bản, xem xét một số từ đánh dấu, tần suất xuất hiện của chúng trong văn bản, dựa vào số lượng và mối quan hệ của các từ đánh dấu này trong văn bản, chúng ta có thể phân loại văn bản này, ví dụ: như tài liệu khoa học, tiểu thuyết hoặc thư từ Twitter.

Các thuật toán ở đó khá thú vị. Một trong những thuật toán là mạng lưới thần kinh. Perceptron đơn giản như vậy, mọi thứ đều rõ ràng. Họ nói với chúng tôi: “Các bạn, mạng lưới thần kinh thật tuyệt, chúng lãng mạn và thú vị. Rất có thể, đây là tương lai, nhưng tương lai này còn khá xa.” Đó là năm 2010. Họ thua về mọi mặt trước các thuật toán phân tích khác mang tính thống kê hơn. Chủ yếu là do thiếu kiểm soát nên mắc nhiều sai sót, gặp nhiều khó khăn trong học tập.

Ví dụ, nếu được dịch sang ngôn ngữ của con người, nó có thể rơi vào vùng an toàn hoặc mức tối thiểu cục bộ, bằng ngôn ngữ toán học và sẽ không thoát ra khỏi đó. Cô nói: “Tôi thích như vậy. Tôi không thể làm tốt hơn. Tất cả. Cút đi!”, thậm chí lắc, đánh hoặc tát cô ấy. Bởi vì điều này, có khá nhiều sự bi quan về mạng lưới thần kinh. Chúng tôi đã đến nơi. Tuyệt vời. Nó dường như được làm việc. Mát mẻ. Đây có lẽ là tương lai. Chúng tôi vẫn chưa hiểu phải làm gì với nó.

Đây đã là lần lặp lại thứ hai của sự bi quan. Lần đầu tiên là vào khoảng những năm 80 khi họ mới mở. Tôi nghĩ đó là quy tắc học tập của Hebb. Họ đã làm điều gì đó tương tự như cách bộ não học hỏi, nhưng chỉ trong một mô hình mạng lưới thần kinh rất nguyên thủy. Nó bằng cách nào đó đã học được. Mọi người: “Chà! Mát mẻ". Nhưng quy tắc này (hebba) nhanh chóng bộc lộ nhiều vấn đề, và hóa ra trong cuộc sống hàng ngày, nó không được áp dụng nhiều. Có rất nhiều sự hoài nghi, bi quan và những mạng lưới thần kinh này đã bị lãng quên trong khoảng 20 năm cho đến khi họ nghĩ ra một phương pháp học gọi là “lan truyền ngược”.

Nhưng vào năm 1998-2003, một sự phát triển thú vị đã xuất hiện. Nó được gọi là “mạng tích chập”. Cô nằm đó rất lâu. Ý tưởng rất đơn giản - nó có cấu trúc gần giống vỏ não thị giác của con người. Ý tưởng rất đơn giản. Chúng tôi chụp một hình ảnh lớn, chia nó thành các ô vuông nhỏ và thực hiện thao tác tương tự trên mỗi ô vuông. Ví dụ: chúng tôi không tạo ra một nơ-ron được kết nối với tất cả các pixel trong hình ảnh. Anh ấy làm việc trong các ô vuông nhỏ và trên mỗi ô vuông theo cùng một cách. Kết quả là tải tính toán trên mạng nơ-ron đã được đơn giản hóa. Dạy kinh doanh này đã trở nên dễ dàng hơn. Độ chính xác đã được cải thiện. Điều quan trọng nhất là mọi thứ ít nhiều đã được kiểm soát.

Và rồi những vấn đề thú vị đầu tiên bắt đầu với Google và Yandex. Hơn nữa, các bên bắt đầu tích cực làm việc về vấn đề này vào khoảng năm 2013. Đầu tiên là nhận dạng mèo trên YouTube.

Đây là những mạng lưới thần kinh tích chập. Chúng không đáng sợ đến thế. Chúng thậm chí còn hoạt động rõ ràng hơn những gì tôi mô tả trong bài viết. Bạn chỉ cần tìm hiểu nó một chút. Ví dụ: đối với một hình vuông có kích thước 10x10 pixel, một nơ-ron có thể nói: “Có một đường chéo ở đây từ trái sang phải”. Và nơ-ron thứ hai sẽ nói: “Ở đây có một phần tử chéo từ phải sang trái”. Theo đó, các đường chéo, ngang, đường thẳng đứng Chúng tôi đã chuyển hình ảnh từ pixel sang gần như vector. Ồ! Chúng tôi lấy nó và xoay nó, chúng tôi không còn nói chuyện bằng pixel nữa mà nói theo đường chéo. Mát mẻ! Đương nhiên, cô ấy làm việc tốt hơn. Đây là, một mặt.

Mặt khác, một thuật toán học di truyền đã xuất hiện kịp thời. Vấn đề là thế này. Bạn nhìn vào mạng, nó chắc chắn có thể hoạt động tốt. Nhưng vì một lý do nào đó vẫn chưa rõ cách chọn ra 5 tỷ hệ số này. Ban đầu họ chỉ sử dụng các thuật toán toán học thuần túy, nhưng sau đó họ bỏ cuộc và nói: “Nào!” Chết tiệt với anh ta! Đừng quan tâm đến bằng chứng. Hãy huấn luyện cô ấy bằng cách nào đó.” Lấy ví dụ, thuật toán di truyền.

Trong thực tế, điều này có nghĩa là chúng ta thay đổi một cái gì đó một cách ngẫu nhiên và kiểm tra nó. Cũng giống như trong cuộc sống. Chúng tôi đã thay đổi điều gì đó, thử điều gì đó. VỀ! Tốt hơn. Hãy di chuyển theo hướng này. Không thành công. Hãy làm điều gì đó khác. Hai điều này đều có những đặc điểm tốt, hãy kết hợp chúng lại. Đại loại như thế này - họ bắt đầu dạy một cách ngẫu nhiên hơn, ngẫu nhiên. Chúng tôi bắt đầu nhận được kết quả rất tốt. Hơn nữa, những kết quả này không còn phụ thuộc vào độ phức tạp của kiến ​​trúc mạng như trước đây.

Sau đó có rất nhiều người rất thông minh chạy đến và thuật ngữ “Deep Learning” xuất hiện. Đây không chỉ là một thuật toán di truyền. Đây là toàn bộ thuật toán Klondike. Ở đâu đó họ sử dụng toán học. Ở đâu đó họ sử dụng thuật toán di truyền. Ở đâu đó họ có thể sử dụng một số thuật toán khác. Mọi thứ đều trở nên sáng tạo. Các mạng như vậy bắt đầu hoạt động với nhận dạng hình ảnh tĩnh. Có lẽ bạn biết câu chuyện này. Chúng tôi lấy giống vật nuôi - hình ảnh của 122 giống chó. Theo thời gian, đến năm 2015, mạng bắt đầu xác định giống động vật (chó) từ những bức ảnh tốt hơn những người nuôi chó.

Nó hoạt động như thế nào?

Chuyện được mọi người tỏ ra hoài nghi, họ cho rằng: “Xử lý ảnh chỉ dành cho con người”. Có một trang web có mẫu đào tạo. Có 122 giống chó - rất nhiều ảnh cho mỗi giống. Họ đã thể hiện tất cả trong một lưới. Có một cuộc thi. Các phòng thí nghiệm tạo ra các thuật toán (không phải mạng thần kinh mà là các thuật toán nhận dạng hình ảnh) đã cho kết quả nhận dạng không có lỗi đến 80%. Đây là một chỉ số rất tốt cho bất kỳ sự công nhận nào. 80-86% là tỷ lệ nhận biết tốt.

Những người ban đầu chỉ làm việc trên mạng lưới thần kinh (theo ý kiến ​​​​của tôi là vào năm 2013) đã đạt được khoảng 80%. Năm 2014, họ nhận được 87%, vượt qua các phòng thí nghiệm đó. Nhưng đến năm 2015 họ đã cho thấy 95%. Mặc dù thực tế là những người nuôi chó chỉ nhận ra được 92%. Bạn đã cho cô ấy xem một mảnh hình ảnh của một con chó, và chỉ cần nhìn vào vị trí của bộ lông (thậm chí còn không rõ bằng cách nào, những dấu hiệu nào mà cô ấy đã tự nhận ra) là cô ấy đã biết đó là giống chó nào. Hơn nữa, nó cho biết xác suất nhận dạng của các giống chó này. Một mạng thông thường hoạt động ổn định hơn nhiều so với con người. Trước hết, mọi người lập tức có chút sợ hãi: “Ôi chao! Điều này có nghĩa là người vận hành có thể được thay thế tại các trạm biến áp điện và nhiều địa điểm khác.” Đây là công nghệ đầu tiên “bùng nổ”. Nó được gọi là mạng tích chập.

Mạng thứ hai là LSTM. Họ bắt đầu vào khoảng thời gian giống nhau. Đây là những mạng tái diễn. Vấn đề là thế này. Trong những gì tôi đã nói với bạn, chúng tôi trình bày một bức tranh tĩnh: một từ tĩnh, một tập hợp số tĩnh nào đó. Bạn hiểu không? Ảnh chụp. Hệ thống cho đầu ra biết nó thuộc về lớp nào. Và nếu tôi chẳng hạn, lập trình chuyển động của robot, thì điều này sẽ thú vị hơn. Tôi có một điều đã xảy ra trong quá khứ - một chuỗi thời gian đọc cảm biến. Ví dụ: tôi có 20 cảm biến và nó hoạt động theo từng khung hình. Ví dụ: cứ sau 20 mili giây, tôi nhận được 20 số đọc cảm biến, được chuẩn hóa từ 0 thành một.

Đương nhiên, tôi cần phải tính đến kinh nghiệm trước đây để đưa ra một số loại hành động kiểm soát hoặc đánh giá tình hình hoặc phân loại điều gì đó. Lựa chọn đầu tiên. Ví dụ: tôi có 20 đầu vào hệ thống điều khiển. Ví dụ, tôi lấy dữ liệu lùi lại 10 bước. Điều này dẫn đến 200 mục.

Để làm được điều này họ đã nghĩ ra một giải pháp rất công nghệ thú vị. Nó được gọi là LSTM. Ví dụ, bài viết của tôi cho thấy cách các tế bào thần kinh truyền tín hiệu, không truyền tín hiệu và bằng cách nào đó tương tác với nó. Đó là một điều tĩnh. Ở đó, tế bào thần kinh bắt đầu thực hiện tương tự với các phép toán logic. Ví dụ, họ có thể trì hoãn tín hiệu một bước. Họ có thể trì hoãn bạn trong vài bước. Họ có thể nhận các giá trị trước đó làm đầu vào. Bạn không cần phải hiểu nó hoạt động như thế nào. Bạn chỉ cần hiểu rằng bây giờ thông tin trên mạng này sẽ được lưu trữ trong khoảng thời gian chính xác mà mạng thấy cần thiết. Một lần nữa, tất cả các cài đặt của mạng này được tách thành một số hệ số. Kết quả rất lớn. Tất cả đều bắt đầu học giống nhau học kĩ càng thuật toán và thế là xong. Chúng tôi đã nhận được gì? Thực tế là một mạng lưới như vậy bây giờ có thể hoạt động tạm thời S trong hàng.

Ta đã làm ngươi thất vọng lâu như vậy, để ngươi không sợ những lời này, hiểu được nó là cái gì. Khi họ bắt đầu kết nối chúng, mọi người đều rất ngạc nhiên. Mạng LSTM thuộc về một loại mạng được gọi là mạng tái phát. LSTM là một trong những công nghệ. Điều thú vị nhất mà mạng lặp lại này có thể làm là nó có thể lấy các từ làm đầu vào. Mỗi từ cô ấy nói đều là một con số. Bằng cách nào đó cô ấy đã vector hóa nó. Mỗi từ là một con số. Cô ấy có thể được cung cấp một chuỗi các từ để di chuyển.

Theo đó, ví dụ một số chatbot hiện đang được phát triển được làm như sau: một chuỗi các từ được đưa ra dưới dạng một nước đi và với lối ra đang đến trình tự các câu trả lời hoàn toàn giống nhau, từng bước một. "Tôi sẽ giết bạn". Lưới nói: "Chết tiệt ...". Cô ấy không biết nó là gì. Cô chỉ biết rằng trong tình huống như vậy cô cần phải ứng phó theo cách này, nếu không sẽ vi phạm một số tiêu chí. Sau đó, bạn trả lời cô ấy: "Em tự đi được không!" Cô nhớ lại những gì mình đã trả lời và nói: "Không, tôi sẽ không đi."

Bây giờ đây vẫn chưa phải là giải pháp đóng hộp. Đây là những giải pháp dành cho Microsoft, Google, Yandex. Cá nhân tôi không có điều này. Nhưng những người đến từ Amsterdam đã rất vui vẻ. Họ đã làm gì? Họ đi ra ngoài và quay phim những gì đang diễn ra trên đường phố. Mọi người đang lái xe, có một số con phố, mọi người đang uống rượu, ai đó đang chạy đi đâu đó, một người phụ nữ đang vội vã đến cửa hàng - một ngày bình thường, không có gì thú vị. Chúng tôi đã quay video này và mang nó về nhà. Tiếp theo, họ kết nối các mạng tích chập và lặp lại. Hình ảnh phân tích tích chập. Những người lặp lại đưa ra mô tả. Kết quả là họ đã nghĩ ra một chương trình hình thức văn bản, và bắt đầu mô tả một cách khá hay: “Một người phụ nữ đang đến đó. Người đi xe đạp đang đi đâu đó.”

Các chàng trai đã áp dụng những công nghệ này và bắt đầu sáng tạo. Chúng tôi mô tả ngắn gọn câu chuyện, chẳng hạn như: “Một người đàn ông sống ở sa mạc,” một điều gì đó khác. Và mạng đưa ra mô tả chi tiết đầy đủ về tình huống này, tưởng tượng những gì đang xảy ra. Họ “cho” cô ấy ăn tất cả những cuốn tiểu thuyết có sẵn, và cô ấy bắt đầu cảnh đẹp viết một trang văn. Bạn có thể “đưa” cho cô ấy một bức ảnh hoặc một số mô tả nhỏ về tình huống. Cô ấy đưa ra một tình huống chi tiết cho bạn: “Anh ấy bị trễ xe buýt nhưng không đến kịp.” Và thậm chí không phải ở cấp độ của một đứa trẻ, mà ở cấp độ của một thiếu niên khá trưởng thành. Thật đáng kinh ngạc.

Nói cách khác, chúng tôi đã vượt qua tất cả các ngưỡng ngăn cản các mạng này hoạt động và có được công nghệ mà bằng cách điều chỉnh các hệ số, bạn có thể nhận được bất kỳ logic nào. Theo đó, tất cả những gì còn lại là điều chỉnh các hệ số cần thiết cho một nhiệm vụ cụ thể. Có thể mất nhiều thời gian, có thể tốn kém, có thể là điều gì đó khác, nhưng điều đó là có thể. Và vì mọi công nghệ đều có xu hướng phát triển theo cấp số nhân, và hiện tại rõ ràng là chúng ta mới chỉ đang ở giai đoạn đầu của tốc độ tăng trưởng theo cấp số nhân nên nó đang dần trở nên đáng sợ.

Điều đẹp nhất có thể xảy ra là một chiến thắng gần đây trong ván cờ vây. Trò chơi cờ vây không thể được tính toán bằng phương pháp phân tích vì số lượng kết hợp nằm ngoài bảng xếp hạng. Đây không phải là cờ vua. Đây là khả năng kết hợp có thể xảy ra cao hơn hàng tỷ tỷ tỷ lần so với trong cờ vua. Một mạng lưới thần kinh để chơi cờ vây được lắp ráp trong sáu tháng và tự chơi trong sáu tháng. Điều này là đủ để cô ấy đánh bại một số nhà vô địch thế giới. Sau đó, họ hạ gục nhà vô địch thế giới ngầu nhất ở môn cờ vây. Cô ấy chơi với chính mình thêm ba tháng nữa và đánh bại nhà vô địch cờ vây ngầu nhất. Cô phải mất một năm để làm mọi việc. Một năm trước, mọi người đều nói: “Go sẽ cầm cự được trí tuệ nhân tạo thêm 10 năm nữa”.

Bây giờ không còn trò chơi nào nữa. Google hiện đang vui vẻ với việc họ muốn đưa StarCraft vào mạng lưới thần kinh. Anh trai tôi, một game thủ StarCraft chuyên nghiệp, nói: “Thảm họa!”, bởi vì người ta biết rằng với vi điều khiển không giới hạn 20 con zerling (đọc - con tốt), bạn có thể phá hủy 10 xe tăng. Người dân, kể cả người Hàn Quốc, sẽ không còn tính cạnh tranh nữa.

Theo đó, sự phát triển bùng nổ của công nghệ bắt đầu. Đây chưa phải là giải pháp đóng hộp. Cách áp dụng thì rõ ràng nhưng ai cũng có chút e ngại và chưa có kinh nghiệm. Mọi người đang chờ xem ai sẽ là người đầu tiên. Dần dần chúng được xây dựng thành tìm kiếm của Google, trong tìm kiếm Yandex, trong kết quả tìm kiếm của Facebook, trong Siri, tất cả mọi thứ, bot trò chuyện. Dần dần, dần dần họ thâm nhập vào đó.

Cái cuối cùng là cái khó nhất. Con người chúng ta yêu chính mình. Nhưng thứ nhất, con người không thể thay đổi bản thân một cách thành công để phù hợp với hoàn cảnh xung quanh, thứ hai là chúng ta luôn có rất ít thông tin. Ví dụ: gần đây, khi chúng tôi dạy một lưới cách đơn giản là tìm kiếm các từ đồng nghĩa và các từ gần nghĩa, chúng tôi đã “nạp” 1 gigabyte Wikipedia vào đó. Để đọc hết, “tiêu hóa” 1 gigabyte Wikipedia trên một chiếc MacBook cũ, cô phải mất 4 giờ, tất cả tiểu thuyết bằng tiếng Nga thêm 8 giờ. Và toàn bộ bộ sưu tập tiểu thuyết viễn tưởng viết bằng tiếng Nga ở Nga chứa khoảng 15 gigabyte, và toàn bộ kho dữ liệu Wikipedia chứa 5 gigabyte. Tổng cộng, trong 3 ngày, một mạng lưới như vậy sẽ “tiêu hóa” mọi thứ, hay đúng hơn là nội dung chính được viết bởi những người bằng tiếng Nga. Cô ấy sẽ biết mọi thứ về tiếng Nga. Việc này sẽ khiến cô ấy mất vài ngày.

Không một nhà ngữ văn nào, không một nhà sử học văn hóa nào, không một nhà văn nào biết tiếng Nga giỏi như cô ấy. Nếu chúng ta không thích điều gì đó về cách thức hoạt động của hệ thống này, chúng ta sẽ nói: “Ra ngoài”, điều chỉnh điều gì đó, thay đổi kiến ​​trúc của nó và thử lại. Nhưng trong một năm chắc chắn chúng ta sẽ có được một nhà văn siêu hạng. Điều này giải thích tại sao mọi người hiện đang bắt đầu sợ mạng lưới thần kinh và tại sao sự tăng trưởng bùng nổ đang diễn ra ngay bây giờ, ngày hôm nay. Như thế này.

Cảm ơn vì câu chuyện tuyệt vời. Giờ đây, mạng lưới thần kinh đã được “mài giũa” để thực hiện một số nhiệm vụ nhất định. Nếu mạng nhận ra được mèo thì không nhận ra được chó nữa, hoặc nếu mạng viết tiểu thuyết bằng tiếng Nga thì nó cũng không thể nhận ra được mèo. Đúng rồi đó?

Vâng đúng. Nhưng bạn cần hiểu rằng con người cũng phải “mài giũa” để hoàn thành hành động nhất định, cụ thể là sinh sản, sinh tồn, thế thôi. Không đua đâu. Chúng ta có một mạng lưới tích chập (tất nhiên là nâng cao) trên vỏ não thị giác, một mạng tái phát nâng cao trên vỏ não thính giác và đâu đó trong sâu thẳm của não có những loại mạng khác mà chúng ta vẫn chưa đi đến tận cùng của chúng. chưa. Nhưng về bản chất, đây là một Klondike gồm nhiều mạng lưới được “điều chỉnh” phù hợp với từng cơ quan cảm giác. Có một động cơ cuối cùng nào đó - một sự đánh giá về những gì đang xảy ra. Theo đánh giá này, cơ thể chúng ta sản xuất endorphin, serotonin hoặc adrenaline - nói một cách dễ hiểu, nó kiểm soát trạng thái chung của hệ thần kinh. Đó là tất cả.

Nhưng con người vẫn có đặc tính tiêu cực. Giả sử tôi đang làm nhiệm vụ tại một trạm biến áp hạt nhân và tôi có những khu phức hợp. Ví dụ, khi còn nhỏ tôi đã bị đánh bằng gậy. Vì những mặc cảm này mà tôi có thể không hoàn thành được nhiệm vụ. Và nếu lưới điện được huấn luyện cho việc này, thì người ta biết rằng nó sẽ không nghĩ đến những vấn đề của cuộc cách mạng thế giới và việc nó bị đánh bằng gậy khi còn nhỏ khi thấy nhiệt độ ở một trong các mạch điện đã bắt đầu đi quá giới hạn cho phép. Cô ấy sẽ phân tích mọi thứ tốt hơn.

Không rõ ràng lắm. Grid đã được cho xem những con mèo "thời thơ ấu", và cô ấy bị tổn thương vì điều này, đồng thời nhiệt độ cao nhất trên biểu đồ giống như tai của mèo và cô ấy sẽ rút lui khỏi điều này. Tại sao tình huống này là không thể?

Lưới sẽ hoạt động sẽ là một lưới khác. Khi chúng ta làm điều đó ở mức độ phát triển công nghệ hiện tại (bây giờ tôi sẽ không phải là nhà văn khoa học viễn tưởng), ở giai đoạn phát triển công nghệ hiện tại, chúng ta sẽ không tạo ra cùng một mạng lưới phổ quát vừa nhận biết con mèo vừa kiểm soát tình hình ở thời điểm hiện tại. ga tàu. Chúng tôi không cần điều này. Chúng ta cần một lưới thực hiện rõ ràng một nhiệm vụ cụ thể. Hơn nữa, nếu nhiệm vụ cụ thể rất rộng, chẳng hạn như nhận dạng tất cả động vật, con người và cảm xúc của chúng từ các bức ảnh (bạn phải đồng ý, đây là một nhiệm vụ khá nghiêm túc), nó sẽ hoàn thành nhiệm vụ này. Các đầu ra của lưới được đào tạo này là riêng biệt, biệt lập và chúng ta có thể kết nối nó một cách đẹp mắt với một lưới khác có thể đưa ra quyết định hoặc có thể là một hệ thống chuyên gia. Chúng ta có thể giải quyết vấn đề này bao nhiêu tùy thích cho đến khi có được thứ mình cần. Giải pháp phổ quát không có ai đang tìm kiếm. Luôn luôn cần có một số nhiệm vụ cụ thể. Nếu vấn đề rất rộng thì sẽ có giải pháp rất rộng, nếu hẹp thì sẽ có giải pháp hẹp và đẹp.

Trên thực tế, để tái tạo con người, chúng ta sẽ cần rất nhiều mạng lưới thần kinh phức tạp này, được kết nối nối tiếp hoặc song song để tạo thành hình dáng giống như bộ não con người. Tôi hiểu chính xác?

Nếu bạn đặt mục tiêu - tái tạo hình dáng của một người có tay, chân và mọi thứ khác. Nghiêm túc. Với trí tuệ nhân tạo.

Tôi đang nói về tâm trí.

Đầu tiên, chúng ta hãy nhìn vào con người. Nó có vỏ não. Chúng ta có tiểu não. Chúng ta có vỏ não thị giác, vỏ não thính giác, vùng dưới đồi, v.v. Bán cầu trái và phải. Đây đều là những mắt lưới riêng biệt. Có một lớp sâu - tiềm thức: tất cả các mạng lưới này đều đi sâu. Có thể thấy chúng được kết nối với nhau.

Bạn có nhớ khi tôi nói với bạn cách chúng tôi kết hợp hai loại lưới - tích chập và hồi quy - và thu được mô tả từ hình ảnh về những gì đang xảy ra xung quanh chúng ta trên đường phố không? Theo tôi hiểu thì họ không đưa nhiều kiến ​​trúc vào đó, tức là chương trình cũng tự động tạo kết nối giữa các mắt lưới này bằng cách sử dụng cùng một thuật toán di truyền. Dù sao đi nữa, kỹ thuật, bằng cách này hay cách khác, vẫn tồn tại trong quá trình tiến hóa và trong con người.

Chỉ cần là con người để khiến robot hành xử giống con người là một nhiệm vụ rất rộng lớn. Tại một thời điểm nào đó, phần khó nhất sẽ không phải là viết mã mà là tìm ra những gì chúng ta muốn từ nó.

Nghiêm túc. Chúng ta có muốn nó dọn bát đĩa không? Hay đây sẽ là người yêu lý tưởng? Hay trở thành chiến binh hoàn hảo? Liệu chúng ta sẽ đặt bản năng tự bảo tồn vào đó để sau này có được thứ gì đó sẽ chiếm lấy hành tinh này hay không? Ở nước ta, nó được hình thành bởi quá trình tiến hóa một cách cứng nhắc và ở mức độ rất thấp. Tại sao anh ta phải cầm đồ? Câu hỏi cuối cùng. Tại sao chúng ta cần điều này? Chơi? Rất có thể, bạn sẽ nhìn thấy một người như vậy - một người máy và nói: “Tuyệt vời! Chúng tôi đã nhìn thấy bạn. Bây giờ chúng ta hãy giải quyết những vấn đề thông thường – trồng bánh mì, giết người.” Những công việc bình thường của con người.

Khỏe. Rõ ràng. Chúng tôi đã đi sâu vào tương lai. Tôi quay lại với nhiệm vụ và thực tế hiện tại. Câu hỏi đặt ra là sự hiểu biết đúng đắn về hoạt động của mạng lưới thần kinh và trí tuệ nhân tạo. Trong bài viết của chúng tôi có viết rằng, sau khi tạo ra một mạng lưới, rất ít người có thể hiểu được nó đưa ra quyết định dựa trên cơ sở nào. Đây có phải là sự thật hay không?

Trong hầu hết các trường hợp, có. Nếu bạn nhớ rằng tôi đã mô tả 9 nơ-ron - cách thức hoạt động của mỗi nơ-ron. Có 9 người trong số họ, nhưng đây là một ví dụ hoàn toàn phóng đại. Trước hết, tôi sẽ nhắc lại một lần nữa những gì đã có. Những gì xảy ra ở lớp ẩn không bao giờ được con người chính thức hóa. Chúng ta chỉ nói: “3 x 3. Đây là ba lối vào, đây là ba lối ra. Đây là các cặp: như nó vốn có, như nó phải vậy. Học hỏi." Cô ấy làm gì trên những lớp ẩn này, không ai biết.

Các lưới để giải quyết các vấn đề phức tạp không nhất thiết phải có nhiều lớp, nhưng chúng thường rất rộng, nghĩa là có các lớp rất lớn - mỗi lớp có một nghìn, mười nghìn nơ-ron. Nó tìm thấy quy tắc. Chúng ta chỉ có thể đánh giá quy tắc này tốt như thế nào. Bởi vì không ai tỉnh táo có thể kiểm tra chắc chắn. Thực tế của vấn đề là nếu họ có thể mã hóa tất cả những thứ này bằng logic chặt chẽ và nói chung là một người có thể làm được điều đó, thì sẽ có những lập trình viên cho việc này - những người như tôi chẳng hạn. Chúng tôi viết các vòng lặp, if, hàm.

Goto là điều chính.

Đi đến. Sau đó chúng tôi đánh nhau vì Goto. Mọi thứ mà chúng ta có thể chính thức hóa đều được cung cấp cho chúng ta bởi các ngôn ngữ lập trình. Mạng lưới thần kinh cung cấp một số quy tắc trừu tượng bằng cách nào đó tự thiết lập các quy tắc đó. Chúng ta chỉ có thể đánh giá mức độ đầy đủ của việc họ được đào tạo tốt như thế nào, chỉ vậy thôi.

Khỏe. Theo hiểu biết của tôi, các quy tắc là một loại bảng cụ thể nào đó nói rằng nếu đường chéo trong một hình vuông là từ phải sang trái thì đó là một con mèo, và nếu nó từ trái sang phải thì đó là một con chó. Những quy tắc này được viết ra ở đâu đó, tức là chúng ta thực sự có thể tìm hiểu sâu hơn về chúng và dẫn đến nguồn gốc của việc đưa ra những quyết định nhất định.

Tiếc là không có. Các quy tắc không phải là một cái bàn, không có chữ “nếu” ở đó. Có một tập hợp các hệ số và ngưỡng, nghĩa là, số lượng lớn những con số. Ví dụ: trong mạng 3 x 3 mà tôi đã nói đến, có thể có khoảng 20 số được đưa vào cài đặt. Trong mạng lưới 10 nghìn trên 100 sẽ có hàng tỷ hệ số như vậy. Tất cả.

Vậy thì tất cả chúng ta làm việc như thế nào? Bằng cách sử dụng các hệ số này, bạn có thể tạo ra một “hoặc” rõ ràng, chẳng hạn như một toán tử logic. Mọi thứ có thể mã hóa đều có thể được mã hóa bằng máy Turing - có một định lý như vậy. Theo đó, để chúng ta có một chiếc máy Turing (nó cũng hoạt động được với chuỗi thời gian) thì chúng ta cần những gì? Chúng ta cần một sự thay đổi. Chúng ta cần các toán tử logic cơ bản: “và”, “hoặc”, phép cộng, phép nhân. Điều này có thể được thực hiện bằng cách điều chỉnh các hệ số. Ví dụ: chúng ta có thể tạo một toán tử logic độc quyền “hoặc”, “và” hoặc bất kỳ toán tử logic nào bằng cách điều chỉnh các hệ số. Trong khi chúng tôi đang làm việc với một toán tử logic, chúng ta thấy rõ logic được phân bổ như thế nào, đầu ra là gì, chúng ta có thể kiểm tra mọi thứ.

Nhưng khi một lưới 10 nghìn x 10 nghìn bắt đầu, tức là một lưới khổng lồ, chúng ta không thể phân tích nó xây dựng những mạch logic nào để đáp ứng tập huấn luyện, bởi vì nó chỉ là một tập hợp các con số. Tất nhiên, nếu chúng ta thực sự muốn, chúng ta có thể tách một phần của nó và nghiên cứu sâu hơn về nó theo cách tương tự như cách chúng ta nghiên cứu bộ não con người, cho anh ta xem những con chó, mèo, vũ khí khác nhau, v.v.: tế bào thần kinh nào sẽ sáng lên ở đâu, cái nào cháy liên tục, cái nào “rơi ra”. Cách duy nhất. Nhưng không có bảng nào cung cấp logic cho việc đưa ra quyết định.

Một nơ-ron nói: “Tôi đã nhận ra một số hình ảnh trừu tượng A.” Tế bào thần kinh thứ hai nói: “Tôi đã nhận ra một số hình ảnh trừu tượng B.” Tế bào thần kinh thứ ba nói: “Tôi không nhận ra hình ảnh trừu tượng C.” Tế bào thần kinh đầu ra hỏi: “Bạn nhận ra chúng tốt đến mức nào?” Chúng có độ chính xác lần lượt là 80, 90 và 10%. Tế bào thần kinh đầu ra nói: “Vậy có 75% khả năng đây là một con mèo.”

Bây giờ bạn có một câu hỏi thầm: “Hình ảnh trừu tượng A này là gì?” Tôi nói rằng tôi không biết hình ảnh trừu tượng A là gì. Hình ảnh trừu tượng A này đến từ khoảng 20 hình ảnh trừu tượng phụ khác hoặc thiếu nó. Và đến lượt chúng, đã xuất phát từ thực tế là ở đâu đó có một đường chéo giao nhau với một đường chéo khác. Có lẽ, về mặt phân tích, chúng ta sẽ có thể hiểu - nó trông giống như một cái tai và một con mèo, bởi vì con chó sẽ không có đường chéo mà có thứ gì đó mờ, treo lơ lửng và có mùi khó chịu. Quyết định được đưa ra như thế này.

Mạng nơ-ron chỉ là một cách để biến bất kỳ logic nào thành một tập hợp các hệ số. Nhưng một khi đã điều chỉnh các hệ số này, chúng ta không thể phân tích logic này được nữa. Nó quá phức tạp đối với sự hiểu biết của con người. Đặc biệt là vì chúng ta đã quen với việc phân tích điều gì đó một cách logic rõ ràng. Nếu có thì bán cầu não trái của chúng ta cũng được điều chỉnh theo điều này. Nếu tôi tiến lên và đánh một võ sĩ thì rất có thể tôi sẽ cảm thấy tồi tệ. Trên thực tế, chúng tôi thậm chí không nghĩ như vậy. Chúng ta nghĩ: “Tôi sẽ cảm thấy tồi tệ”. Chúng tôi không đánh giá khả năng của võ sĩ.

Và ở đây chúng ta có logic mờ. Nếu tôi tiếp cận võ sĩ từ góc độ này, trong tình huống này, võ sĩ này hơi say và ánh sáng như thế này thì xác suất “lên bảng điểm” sẽ là 35%. Chúng tôi gọi đây là trực giác. Chúng ta có bán cầu não phải cho việc này. Nó hoạt động rất tốt. Khi không hiểu điều gì đó, chúng ta gọi đó là “tôn giáo”, “ma thuật” hay “logic nữ”, nếu muốn hay không. Hoặc chúng ta gọi ai đó là thiên tài. Chúng ta không thể phân tích hành động của mình. Ở đây cũng tương tự.

Khỏe. Câu hỏi tiếp theo diễn ra một cách hợp lý. Có một hệ thống mà logic vận hành không rõ ràng lắm, không thể hiểu được. Làm thế nào mạng lưới thần kinh có thể điều khiển một nhà máy điện hoặc nhà máy điện hạt nhân? Nếu con người không bao giờ hiểu được các quyết định của nó, thì trong một tình huống nhất định, nó có thể tăng tốc lò phản ứng hoặc ngược lại, tắt nó đi. Nhưng làm thế nào một hệ thống như vậy có thể được tin cậy với các dấu hiệu quan trọng hoặc hệ thống quan trọng?

Mọi thứ ở đây rất đơn giản. Tình cờ là tôi mới làm việc trong ngành điện được 5 năm, đặc biệt là về hệ thống điều khiển. Chúng tôi không chỉ có một hệ thống ra quyết định. Ví dụ, bây giờ là máy tính. Ở đó có tự động hóa rơle, tức là một số hệ thống dự phòng. Có ba hệ thống. Tự động hóa rơle. Nó hoạt động rất đơn giản. Nhiệt độ cao hơn – thế này, làm thế kia, thế thôi. Ăn hệ thống tự động sự quản lý. Đây là một cái máy tính. Bây giờ logic ở đó đã được lập trình viên lập trình. Rốt cuộc, có một sĩ quan trực ban buồn ngủ tự giải trí bằng cách chơi solitaire. Dù có bị cấm bao nhiêu, anh ta vẫn sẽ tìm cách chơi solitaire.

Chúng ta có thể lập kế hoạch theo bất kỳ cách nào chúng ta muốn. Cá nhân tôi sẽ làm điều này. Tôi sẽ rời khỏi tự động hóa chuyển tiếp. Theo tự động hóa máy tính, chúng ta có trạng thái nhất quán và không nhất quán. Ví dụ, khi nhiệt độ của lò phản ứng tăng lên, nếu nhiệt độ tăng trong vài giờ qua ở mức nào đó, thì tôi không thể giữ các thanh ở mức đó. Điều này được quy định trong GOST. Theo đó, khi tạo ra trạng thái không nhất quán, chúng ta chuyển từ logic mờ sang logic rõ ràng.

Và bây giờ là một sự tương tự rất thú vị. Điều tương tự cũng xảy ra với con người chúng ta. Chúng tôi có hai hệ thống ra quyết định. Chúng tôi gọi một cái là “logic” và cái thứ hai chúng tôi gọi là “trực giác” hay “tiềm thức”. Họ liên tục nhân bản lẫn nhau. Giả sử tôi muốn ăn kem, nhưng răng tôi đau. Nếu bạn không có hệ thống logic, rất có thể bạn sẽ ăn kem cho đến khi răng đau đến mức bạn không thể ăn được gì. Nhưng bạn có logic cho việc này nên bạn không ăn kem và đi khám bác sĩ. Bởi vì có người đã nói với bạn. Và trực giác vẫn không biết bác sĩ là ai. Theo logic, bạn đi khám vì có người đã nói với bạn hoặc bạn đọc được trên Internet.

Ở đây cũng tương tự. Bạn sẽ có hai hệ thống ở đây. Một cái đang điều khiển và cái còn lại là tự động. Nhiệm vụ của mạng lưới thần kinh ở đây sẽ là ngăn chặn việc tiếp cận giá trị giới hạn hoặc giá trị biên. Bạn hiểu không? Và vì cô ấy sẽ nhìn thấy nhiều kết nối hơn một người, ngay cả những người có kinh nghiệm nhất, nhìn thấy, nên rất có thể cô ấy sẽ làm việc tốt hơn nhiều.

Ở mức độ nào, ở mức độ nào mục tiêu Mạng lưới thần kinh bây giờ có thể thay thế một người? Hay nó đã có khả năng (sử dụng ví dụ về cờ vây) trong nhiều lĩnh vực chấp nhận giải pháp tốt nhất, hơn một người?

Đối với tôi, có vẻ như đây không phải là một câu trả lời rõ ràng chút nào, như trong ví dụ với cờ vây, mọi thứ có thể xảy ra bất cứ lúc nào. Tôi vừa nghe một bài giảng về chủ đề này. Bất cứ điều gì có thể xảy ra bất cứ lúc nào. Đối với tôi, có vẻ như điều này cũng gần giống với sự phát triển của máy tính cá nhân. Chúng tôi có những chiếc máy tính cá nhân đầu tiên tại Apollo. Theo tôi, Apple II, sản phẩm đã đến với đại chúng một cách nghiêm túc, đã xuất hiện sau 8 năm. Apollo 1969, Apple II, theo tôi là 1977. Trước đó, một số IBM khác đã xuất hiện. Mạng nơ-ron hiện nay có lẽ đã cũ hơn Apple II, nhưng với tư cách là một lập trình viên, tôi có thể nói với bạn rằng không có giải pháp trọn gói nào mà tôi có thể nhanh chóng triển khai và hiểu được. Khi nào chúng sẽ xuất hiện? Tôi đoán là điều này sẽ xảy ra trong vòng khoảng năm năm. Tại sao tôi lại đề cập đến con số cụ thể này? Bởi vì đây là những dự báo về thời điểm ô tô robot sẽ bình tĩnh vào Mỹ và bắt đầu lái.

Theo đó, trong 5 năm nữa, một sự thay thế nghiêm túc của nhiều người sẽ bắt đầu. Chính xác hơn, bây giờ mọi người sẽ nắm quyền kiểm soát. Điều gì sẽ xảy ra đầu tiên trong một khoảng thời gian dàiĐiều cần tiết kiệm là hệ thống máy tính có độ tin cậy hạn chế và chi phí bảo trì cũng như hệ thống khá cao. Nói một cách tương đối, miễn là những chi phí này cao hơn mức lương của người lái máy kéo, mạng lưới thần kinh sẽ không có tính cạnh tranh cao. Nhưng dần dần những chi phí này sẽ trở nên tương đương.

Ví dụ, hiện nay đã có máy kéo Nhật Bản có thể tự cắt cỏ. Đây không phải là một nhiệm vụ quá khó khăn đối với một chiếc máy kéo. Một chiếc máy kéo như vậy sẽ cắt toàn bộ cánh đồng và sẽ không đốn ngã những đứa trẻ ẩn trong lúa mì. Nhưng, ví dụ, một người lái máy kéo người Nga Vanya có giá 8 nghìn một tháng, và việc hỗ trợ một máy kéo của Nhật Bản có giá trung bình 1,5 nghìn đô la một tháng với một công viên tốt và một trang trại rộng lớn. Cho đến nay Vanya đang chiến thắng. Nhưng điều này sẽ kéo dài bao lâu? Khi nào hiệu suất của một máy kéo (không có Vanya) sẽ cao hơn đáng kể so với hiệu suất của mười Vanya? Đó là vấn đề thời gian.

Bạn nói rằng một trong những lĩnh vực ứng dụng là ô tô tự động, xe tự lái, ô tô robot. Hiện nay có rất nhiều lời bàn tán rằng một cuộc cách mạng đang diễn ra ở Mỹ, thậm chí không phải ở vận tải hành khách Và trong vận tải hàng hóa, khi trên xe tải lớn, tài xế sẽ được thay thế bằng robot, máy tự động và trí tuệ nhân tạo. Khi đó người ta sẽ bắt đầu phản đối trí tuệ nhân tạo? Họ sẽ phải làm gì để lấy lại được công việc của mình hoặc họ sẽ phải làm gì?

Tôi có rất ít hiểu biết về hệ thống chính trị và nhân đạo. Tôi không phải là người chuyên nghiệp nhưng tôi cũng đã suy nghĩ rất nhiều về điều này. Bạn có nhớ nó thế nào không? Chúng tôi đã có một số ví dụ như vậy. Ví dụ đầu tiên: máy đánh chữ thay thế thư pháp. Hãy nhớ điều này đã xảy ra? Sau đó là cuộc cách mạng công nghiệp. Máy tính xuất hiện rất tự nhiên bởi vì hóa ra, những người từng viết trên giấy rất hài lòng về nó. Máy tính dường như không làm được điều gì tương tự, thậm chí còn tạo ra việc làm.

Tôi nghĩ chuyện này thực sự nghiêm trọng một vấn đề lớn. Nhưng ở đây cũng có một chuẩn mực tích cực. Hãy lấy một số đất nước. Ví dụ, giả định Holland. Ví dụ, Hà Lan giả định kiếm được một tỷ đô la thông thường mỗi năm. Theo đó, cô ấy chi hàng tỷ đô la này vào ngân sách của mình - làm điều gì đó cho một số người. Chúng tôi lấy tất cả mọi người. Tính kinh tế được đo bằng tốc độ quay của dòng tiền. Ba đô la là đủ cho chúng ta cho cả nước, nhưng nếu chúng qua tay mọi người với tốc độ bốn lần một giây, thì hóa ra mọi người đều kiếm được và chi tiêu rất nhiều.

Theo đó, nếu nhà nước xây dựng nền kinh tế một cách thành thạo, nhưng tốc độ luân chuyển tiền tệ không giảm do sự xuất hiện của các hệ thống thần kinh này thì mọi thứ đều ổn. Tôi nghĩ rằng tất cả các bang sẽ phấn đấu vì điều này. Ví dụ: các thử nghiệm với thu nhập vô điều kiện hiện đang diễn ra hoặc thứ gì đó khác.

Nhưng nhìn chung vấn đề mọi người sẽ làm gì là rất gay gắt. Đây là một câu hỏi rất lớn.

Hôm nay tôi đang viết một chương trình. Theo tôi hiểu thì bạn viết bài? Tôi có hiểu đúng không?

Tất cả chúng ta sẽ được thay thế?

Đúng. Đây không phải la tro đua. Bạn có nhớ khi mọi người thường đan áo len của riêng mình không? Gần đây tôi đã đến Nepal và mua một chiếc áo len dệt kim thủ công. Không khác gì loại không dệt kim, nhưng nó có vẻ ngầu. Bạn có thể mua nó ở Nga. Nó sẽ đắt tiền. Về như nhau. Tuy nhiên, không phải thực tế là làm bằng tay sẽ tốt hơn. Tôi không nghĩ bạn và tôi muốn lái một chiếc xe được chế tạo bằng tay.

Đây là một câu hỏi khổng lồ - mọi người sẽ làm gì với sự ra đời của mạng lưới thần kinh.

Mạng lưới thần kinh, trí tuệ nhân tạo có thể giải quyết vấn đề sáng tạo? Ngay từ đầu, chúng tôi đã nói về thực tế là những hệ thống như vậy đã có thể mô tả các bức ảnh hoặc một số sự kiện trong các phần riêng biệt, có thể là viết chữ. Gần đây, chỉ mới tuần trước, đã có tin bộ phim đầu tiên dựa trên kịch bản trí tuệ nhân tạo đã được thực hiện. Liệu họ có thể thực sự tạo ra thứ gì đó mới, tức là lập trình, vẽ tranh, làm phim hoặc viết kịch bản chứ không chỉ lặp lại theo người khác?

Hai năm trước tôi cũng đã nghĩ về điều này, rằng mọi thứ đều ổn. Dù phát triển thế nào thì nó cũng sẽ như vậy. Và sau đó tôi đã nói điều này. Sự tiến hóa đã hạn chế khả năng sáng tạo của chúng ta vì một lý do đơn giản: vì chúng có sức tàn phá vừa phải. Nhưng trung bình đây là những gì bạn cần. Sự tiến hóa đôi khi tạo ra một người thuận tay trái chạy tới và tạo ra một loại hỗn loạn nào đó. Và càng tốt hơn nếu đó là một người thuận tay trái được đào tạo lại mắc chứng rối loạn lưỡng cực. Một số công việc. Anh ta sẽ chạy đến và tàn phá. Anh ta sẽ đưa toàn bộ xã hội tiến lên bằng cái giá phải trả là cuộc sống bình thường, hạnh phúc của chính mình. Điều này ổn. Một số Kurt Cobain, Chúa Giêsu Kitô. Đầy người. Sự tiến hóa có lợi vì loài người chuyển động. Nhưng nếu cô ấy khiến mọi người như thế này thì nhân loại sẽ tuyệt chủng. Bởi vì lũ khỉ sẽ đến và mọi người sẽ hoảng sợ: “Làm sao vậy?! Họ đang giết chúng ta”, họ sẽ nghĩ quá sớm rằng cuộc sống thật vô nghĩa, không cần thiết phải có con cái.

Nhưng trên mạng lưới thần kinh không có hạn chế nào như vậy. Tất cả chúng ta đều quen với việc xem xét sự sáng tạo điều bất thườngđơn giản là vì ít người làm việc đó chứ không phải vì chúng tôi đã phát hành thứ gì đó hoàn toàn mới. Bất kỳ sự sáng tạo nào cũng bao gồm việc lấy lại một trải nghiệm cũ, pha trộn nó với một chút ngẫu nhiên và thử nó theo một cách mới. Chúng tôi đã bỏ đi những điều kiện cũ và cho nó một số loại đồng phục mới. Hơn nữa, đồng phục được lấy từ một số khu vực lân cận. Ví dụ, nó như thế nào trong âm nhạc? Phong cách tối giản xuất hiện. Họ lấy sự tối giản từ thiết kế và đưa nó vào âm nhạc. Đó là tất cả. Và như thế.

Tôi đoán điều đó có thể không xảy ra ngay lập tức, nhưng vấn đề này sẽ được giải quyết dễ dàng hơn cả việc lái ô tô. Lái xe ô tô là một công việc quen thuộc về mặt tiến hóa đối với con người. Đó là lý do tại sao chúng tôi nghĩ nó dễ hơn viết nhạc. Và một mạng lưới thần kinh, viết nhạc dở, không thể giết chết một người. Do đó, mạng lưới thần kinh sẽ dễ dàng viết hơn là lái xe ô tô vào một thời điểm nhất định.

Cái này vấn đề gây tranh cãi– Có thể giết người bằng nhạc dở không?

Tôi đồng ý với bạn.

Khỏe. Câu hỏi tiếp theo. Các vấn đề sáng tạo cũng sẽ được giải quyết. Có hạn chế nào trong đó các kỹ năng hoặc năng lực của trí tuệ nhân tạo không được áp dụng không? Hay như người ta đã nói trong phim: “Tất cả sẽ là một chiếc tivi liên tục”, sẽ có một trí tuệ nhân tạo và mạng lưới thần kinh liên tục. Có lĩnh vực nào mà tính năng này vẫn không hoạt động hiệu quả không?

Sẽ có nhiều khu vực như vậy trong vòng 5 năm tới nếu mọi việc diễn ra theo hướng này. Nhưng nếu đây thực sự là cấp số nhân thì trong 20 năm nữa – không, sẽ không còn những khu vực như vậy nữa.

Tôi đã suy nghĩ về điều này rất lâu và đi đến kết luận rằng dần dần mạng lưới thần kinh sẽ làm được điều này. Đầu tiên, hãy tối ưu hóa sản xuất. Hãy. Hãy kết nối tất cả các máy với nó. Nó sẽ cung cấp một giải pháp chuyên môn và mọi người sẽ xác định liệu nó có đúng hay không. Đã kết nối. Hãy đặt toàn bộ tập đoàn Google hoặc Apple của chúng ta vào đó. Cô ấy sẽ xem xét và suy nghĩ về mức lương cần đặt ra, giám sát thị trường - bán cổ phiếu hoặc mua cổ phiếu, tham gia giao dịch tần suất cao, v.v. Hãy? Hãy. Xong. Và sau đó hãy để cô ấy giúp đỡ các chính trị gia của chúng tôi. Có rất nhiều người. Người ta biết rằng một chính trị gia giỏi là một chính trị gia có hiểu biết. Chúng ta cần một hệ thống chuyên gia. Sẽ giúp? Nó sẽ giúp ích, chúng tôi sẽ làm điều đó.

Vì vậy, nó sẽ tiếp tục phát triển, phát triển, phát triển chẳng hạn đến mức điều hành nhà nước. Cho đến một lúc nào đó ai đó mắc phải sai lầm chết người vì mục đích của mạng. Nhiệm vụ của mạng là tìm cách giúp mọi người trở nên tốt hơn. Cô ấy sẽ dần dần được giao trách nhiệm. Ví dụ, cô ấy sẽ có thể chạy xe buýt theo một lịch trình khác hoặc điều gì đó khác. Bạn biết rằng kỹ thuật NLP rất đơn giản. Đây anh đẩy, đây anh hắt hơi, đây anh tỏ ra có gì đó không ổn. Mọi người đã đưa ra quyết định mà bạn cần, và Krex-pex, chủ tịch, chúng tôi đã có mạng lưới thần kinh, trí tuệ nhân tạo.

Tôi nghĩ rằng điều này thực sự rất rất tuyệt vì một hệ thống như vậy sẽ có thể kiểm soát nhu cầu của mỗi người. Nhưng nhu cầu không phải là ai đó muốn là người đồng tính và ai đó sợ bạo lực, vì vậy tất cả chúng ta hãy hết sức khoan dung. Có những giải pháp khác cho vấn đề này. Hãy cách ly những người này một chút, cho họ thấy nội dung khác nhau. Và anh chàng này muốn tỏ ra cứng rắn, hãy gửi anh ta đến Quân đoàn Ngoại giao Pháp.

Sau đó, nó phụ thuộc vào lập trình. Tuy nhiên, rất có thể, mạng lưới thần kinh sẽ không thể hiện sự hung hăng trừ khi ai đó rất cẩn thận không làm điều này. Cô ấy cũng sẽ không có quá nhiều sự khoan dung. Cô ấy sẽ đưa ra một quyết định thực sự sáng suốt và sáng suốt. Trên thực tế, đây là sự cứu rỗi cho nhân loại, hiện nay có rất nhiều. Vì vậy, tôi nghĩ không cần phải lo sợ về điều này. Điều đáng lo ngại là thực sự không rõ chúng ta sẽ sớm làm việc cho ai.

Hãy quay trở lại thời đại của chúng ta. Bạn nói rằng chưa có giải pháp đóng hộp. Theo như tôi đã đọc và thấy thì chỉ có một số hệ thống mã nguồn mở, trên đó bạn có thể thực hành. Bạn có thể giới thiệu những ví dụ mà độc giả và người nghe của chúng tôi có thể thử đào tạo trí tuệ nhân tạo và đưa ra một số quyết định từ nó không?

Tất nhiên là có. Ý tôi là vẫn chưa tìm ra cách đưa “chiếc hộp” này vào kinh doanh, nhưng hệ thống đã bắt đầu hoạt động trên Internet. Những công cụ này nhiều hơn một chút cấp thấp. Tôi biết chính xác hai công cụ như vậy. Nó cũng phụ thuộc vào ngôn ngữ lập trình. Đầu tiên - điều thú vị nhất - là Word2Vec - nghĩa đen là “vectơ từ điển”. Ý tưởng là gì? Bạn “nạp” lượng kiến ​​thức khổng lồ vào nó (đây là điều tôi đã làm), nó biến các từ thành vectơ và chúng ta có thể thực hiện các phép tính số học với chúng.

Tôi đã có một ví dụ rất buồn cười. Tôi lấy cụm từ sau: “trai cộng với gái”. Cô ấy nói: “Lời gần gũi: chú rể.” Tôi: “Tuyệt.” Cô bé có danh sách lớn từ, nhưng một trong những từ đầu tiên là “chú rể”. Làm tốt. “Một cô gái cộng với một chàng trai.” Cô: “Thưa cô, thưa bà.” Tôi đã hiểu gần đúng. Nhưng sau đó sẽ đến phần thú vị nhất. Tôi nói: “Con gái trừ con trai.” Và rồi có điều gì đó bắt đầu khiến tôi khóc. Một cô gái trừ một chàng trai là “bị bỏ rơi, cố định, thành lập, loại bỏ, triển khai.” Tôi nói: "Và một chàng trai trừ một cô gái?", Và mạng lưới đối với tôi rất mơ hồ - "bằng thạc sĩ".

Hợp lý.

Tôi nói: “Được. Đóng từ gần với từ "ngu ngốc". Cô ấy nói: “Niềm vui, sự điên rồ, nhục dục, nỗi buồn, lòng tốt, tình yêu, vẻ đẹp, tính chủ quan.” Tôi nói: “Tuyệt.” Tôi đã đi một con đường khác. Có một điều như thế này: nếu A là B thì C là... Ví dụ. Nếu Paris là Pháp thì Rome là...? Cô ấy trả lời: “Ý.” Tôi nói: “Được. Nếu rượu là thú vị thì vodka là...?” - "Ngốc nghếch." Tôi nói: “Được rồi.” Cô ấy bắt đầu tức giận hơn nữa. TÔI ỔN. Con trai thì tốt, nhưng con gái thì…?” Cô ấy tệ". Tôi ổn. Con gái thì tốt, nhưng con trai thì…?” - "Tốt hơn". Đây là Word2Vec. Một điều rất khó chịu. Điên. Bạn cần phải tìm hiểu nó một chút, và bạn có thể bị mắc kẹt trong đó rất lâu. Nó tồn tại để hiểu các sắc thái cảm xúc của văn bản. Ví dụ: liệu người dùng có để lại nhận xét tiêu cực hay không. Đây là lần đầu tiên.

Công cụ xây dựng mã nguồn mở cơ bản thứ hai rất thú vị là Aforge.net. Cái này mở thư viện. Nó chứa tất cả các loại thuật toán di truyền, toàn bộ Klondike. Bạn có thể làm rất nhiều điều thú vị với nó.

Việc mày mò thú vị nhất với mạng lưới thần kinh là các thuật toán di truyền để tạo ra sinh vật sống. Chúng được tạo ra như thế nào? Họ tạo ra một sinh vật sống nhỏ phải di chuyển, né tránh kẻ săn mồi và ăn thức ăn. Tốt nhất, họ tạo ra hai sinh vật tiến hóa. Một là con mồi, hai là kẻ săn mồi. Nó có một cảm biến. Thông thường, các cảm biến là máy đo khoảng cách. Cho thấy những gì phía trước. Sinh vật có thể rẽ phải, trái, tiến, lùi và tiêu tốn thức ăn cho nó. Chúng tôi xác định thế giới vật chất. Chúng tôi kết nối tất cả các cảm biến với động cơ thông qua mạng lưới thần kinh và nói: “Dạy”. Theo đó, có người bị ăn thịt, có người sinh con. Sau một thời gian, chúng ta có được một con vi khuẩn xinh đẹp. Họ né tránh nhau, rượt đuổi nhau. Chiến thuật săn bắn có thể được phát triển.

Hoặc lựa chọn thứ hai. Đó là một thời gian dài trước đây. Một bài viết rất phổ biến trên Habré. Nhìn từ bên: từ bánh xe và ván, cần phải lắp ráp một loại xe lôi, loại xe này phải di chuyển dọc theo một bản đồ nhất định càng xa càng tốt. Nếu cô ấy đi xa, cô ấy sẽ sinh ra nhiều con cái hơn. Nếu nó đi qua gần đó thì sẽ có ít con hơn. Dần dần, những chiếc xe siêu ngầu như vậy đã được tự tạo ra ở đó và mọi thứ đều trở nên tốt đẹp. Đây là những gì tôi có thể khuyên bạn nên tự thưởng thức, hãy thử những nguồn này.

Mạng lưới thần kinh là một lớp phương pháp phân tích được xây dựng dựa trên các nguyên tắc (giả thuyết) để dạy các sinh vật có tư duy và hoạt động của não, giúp dự đoán giá trị của một số giá trị có thể thay thế trong các quan sát mới dựa trên kết quả của các quan sát khác (ví dụ: tương tự hoặc có thể thay thế khác) sau khi vượt qua giai đoạn được gọi là đào tạo về dữ liệu hiện có.

      1. Các khái niệm cơ bản về mạng nơ-ron

Thông thường, mạng lưới thần kinh được sử dụng để giải quyết các vấn đề sau:

    phân loại hình ảnh - một dấu hiệu cho thấy hình ảnh đầu vào, được biểu thị bằng vectơ đặc trưng, ​​thuộc về một hoặc nhiều lớp được xác định trước;

    phân cụm - phân loại hình ảnh trong trường hợp không có mẫu đào tạo có nhãn lớp;

    dự báo - dự đoán giá trị của y(tn+1) cho một chuỗi đã biết y(t1), y(t2) ... y(tn);

    tối ưu hóa - tìm giải pháp thỏa mãn hệ thống các ràng buộc và tối đa hóa hoặc tối thiểu hóa hàm mục tiêu. Bộ nhớ được giải quyết bằng ý nghĩa ( trí nhớ liên kết) - bộ nhớ khả dụng khi chỉ định nội dung được chỉ định;

    kiểm soát - tính toán ảnh hưởng đầu vào đó lên hệ thống mà hệ thống hoạt động theo quỹ đạo mong muốn.

Cơ sở cấu trúc của mạng nơ-ron là một nơ-ron hình thức. Mạng lưới thần kinh nảy sinh từ những nỗ lực tái tạo khả năng học hỏi của các hệ thống sinh học bằng cách mô hình hóa cấu trúc gốc thấp của não. Để làm được điều này, mô hình mạng lưới thần kinh dựa trên một yếu tố bắt chước, theo phép tính gần đúng đầu tiên, các đặc tính của một nơ-ron sinh học - một nơ-ron hình thức (sau đây gọi đơn giản là nơ-ron). Trong cơ thể con người, tế bào thần kinh là những tế bào đặc biệt có khả năng truyền tín hiệu điện hóa.

Một nơ-ron có cấu trúc phân nhánh để nhập thông tin (đuôi gai), nhân và đầu ra phân nhánh (sợi trục). Khi được kết nối theo một cách nhất định, các nơ-ron sẽ tạo thành một mạng lưới thần kinh. Mỗi nơ-ron được đặc trưng bởi một trạng thái hiện tại nhất định và có một nhóm khớp thần kinh - kết nối đầu vào một chiều được kết nối với đầu ra của các nơ-ron khác và cũng có một sợi trục - kết nối ban đầu của một nơ-ron nhất định, sau đó là tín hiệu (rối loạn hoặc ức chế) được gửi đến các khớp thần kinh của các nơ-ron sau (Hình 8.1).

Cơm. 8.1. Cấu trúc của một nơron hình thức.

Mỗi khớp thần kinh được đặc trưng bởi kích thước của kết nối khớp thần kinh hoặc trọng lượng wi của nó, có hàm lượng vật lý tương đương với độ dẫn điện.

Trạng thái hiện tại (mức độ kích hoạt) của một nơ-ron được xác định nếu tổng trọng số của các đầu vào của nó là:

(1)

trong đó một tập hợp các tín hiệu, được chỉ định x1, x2,..., xn, đến đầu vào của nơ-ron, mỗi tín hiệu tăng theo trọng số tương ứng w1, w2,...,wn và tạo thành mức kích hoạt của nó - S. Đầu ra của nơ-ron là một hàm kích hoạt mức độ của nó:

Y=f(S) (2)

Khi mạng nơ-ron hoạt động, nguyên tắc xử lý tín hiệu song song được thực hiện. Nó đạt được bằng cách kết hợp một số lượng lớn tế bào thần kinh thành các lớp được gọi là và kết nối theo một cách nhất định các tế bào thần kinh của các lớp khác nhau, cũng như, trong một số cấu hình, các tế bào thần kinh của cùng một lớp với nhau và sự tương tác của tất cả các tế bào thần kinh là được xử lý từng lớp.

R
là. 8.2. Kiến trúc của một mạng lưới thần kinh có n nơ-ron ở lớp đầu vào và ba nơ-ron ở lớp nguồn (perceptron một lớp).

Để làm ví dụ về mạng nơ-ron đơn giản nhất, hãy xem xét một perceptron một lớp có n nơ-ron ở lớp đầu vào và ba nơ-ron ở lớp nguồn (Hình 8.2). Khi một số tín hiệu đến n đầu vào, chúng sẽ đi qua các khớp thần kinh đến 3 nơ-ron nguồn. Hệ thống này tạo thành một lớp duy nhất của mạng lưới thần kinh và tạo ra ba tín hiệu ban đầu:

Rõ ràng, tất cả các hệ số trọng số của các khớp thần kinh của một lớp nơ-ron có thể được kết hợp thành một ma trận wj, mỗi phần tử trong đó wij chỉ định giá trị kết nối synap giữa nơ-ron thứ i của lớp đầu vào và nơ-ron thứ j của lớp nguồn (3).

(3)

Do đó, quá trình xảy ra trong mạng nơ-ron có thể được viết dưới dạng ma trận:

trong đó x và y lần lượt là các vectơ đầu vào và nguồn, f(v) là hàm kích hoạt được áp dụng theo từng phần tử cho các thành phần của vectơ v.

Việc lựa chọn cấu trúc mạng nơ-ron được thực hiện tùy theo đặc điểm và độ phức tạp của nhiệm vụ. Các cấu hình tối ưu đã tồn tại để giải quyết một số loại vấn đề nhất định. Nếu vấn đề không thể giảm xuống bất kỳ loại nào đã biết, nhà phát triển phải giải quyết vấn đề khó khăn là tổng hợp cấu hình mới.

Một cách phân loại có thể có của các mạng lưới thần kinh hiện có là:

Theo loại thông tin đầu vào:

    mạng phân tích thông tin nhị phân;

    mạng hoạt động với số thực.

Bằng phương pháp giảng dạy:

    các mạng cần được đào tạo trước khi có thể sử dụng;

    các mạng không cần đào tạo trước có thể tự học khi hoạt động.

Theo bản chất của việc phổ biến thông tin:

    một chiều, trong đó thông tin chỉ truyền theo một hướng từ lớp này sang lớp khác;

    mạng hồi quy, trong đó tín hiệu ban đầu của một phần tử có thể lại đến phần tử này và các phần tử mạng khác của lớp này hoặc lớp trước đó dưới dạng tín hiệu đầu vào.

Theo phương pháp chuyển đổi thông tin đầu vào:

    tự động liên kết;

    dị liên kết.

Phát triển thêm câu hỏi về khả năng phân loại các mạng thần kinh, điều quan trọng cần lưu ý là sự tồn tại của mạng nhị phân và mạng tương tự. Cái trước hoạt động với tín hiệu nhị phân và đầu ra của mỗi nơ-ron chỉ có thể nhận hai giá trị: trạng thái logic 0 (trạng thái treo) và trạng thái logic một (trạng thái kích thích). Một cách phân loại khác chia mạng thần kinh thành đồng bộ và không đồng bộ. Trong trường hợp đầu tiên, tại mỗi thời điểm, chỉ có một nơ-ron thay đổi trạng thái. Trong trường hợp thứ hai, trạng thái thay đổi ngay lập tức trong toàn bộ nhóm tế bào thần kinh, theo quy luật, trong toàn bộ lớp.

Mạng cũng có thể được phân loại theo số lớp. Trong bộ lễ phục. Hình 8.3 cho thấy một perceptron hai lớp có nguồn gốc từ perceptron trong Hình. 8.2 bằng cách thêm lớp thứ hai, bao gồm hai nơ-ron.

R
là. 8.3. Kiến trúc của mạng nơron truyền tín hiệu một chiều là một perceptron hai lớp.

Nếu chúng ta xem xét công việc của các mạng thần kinh nhằm giải quyết vấn đề phân loại hình ảnh, thì nhìn chung công việc của chúng tập trung vào việc phân loại (tổng quát hóa) các tín hiệu đầu vào thuộc siêu không gian n chiều thành một số lớp nhất định. Từ quan điểm toán học, điều này xảy ra bằng cách chia siêu không gian thành các siêu phẳng (ký hiệu cho trường hợp perceptron một lớp)

, (5),

Ở đâu k=1...m- số lớp.

Mỗi phạm vi kết quả là phạm vi của một lớp riêng biệt. Số lượng các lớp như vậy đối với một mạng nơ-ron loại perceptron không vượt quá 2m, trong đó m là số lượng đầu ra của mạng. Tuy nhiên, không phải tất cả chúng đều có thể được phân phối bởi một mạng lưới thần kinh nhất định.

Mạng nơ-ron (mạng nơ-ron nhân tạo) là một hệ thống được kết nối và tương tác bộ xử lý đơn giản (tế bào thần kinh nhân tạo). Những bộ xử lý như vậy thường khá đơn giản (đặc biệt khi so sánh với các bộ xử lý được sử dụng trong những máy tính cá nhân). Mỗi bộ xử lý trong mạng như vậy chỉ xử lý các tín hiệu mà nó nhận định kỳ và các tín hiệu mà nó gửi định kỳ đến các bộ xử lý khác. Và tuy nhiên, được kết nối đầy đủ mạng lưới lớn với sự tương tác được kiểm soát, các bộ xử lý này cùng nhau có khả năng thực hiện khá nhiệm vụ phức tạp, vì mạng lưới thần kinh học khi chúng hoạt động.

Trong nhiều năm liên tiếp, các nhà phát triển từ nhiều nơi trên thế giới đã trình diễn mạng lưới thần kinh có thể cải thiện ảnh hoặc vẽ ảnh từ đầu. Tại hội nghị Californian GTC 2019, nhóm Nghiên cứu đã trình diễn một điều thực sự đáng kinh ngạc - trí tuệ nhân tạo GauGAN, có thể tạo ra cảnh quan chân thực dựa trên các bản vẽ sơ đồ. Không giống như tất cả các dự án tương tự, sản phẩm mới có thể thêm bóng và phản chiếu ngay cả từ những viên đá nhỏ nhất và thay đổi các mùa.

Các nhóm nghiên cứu thường thử nghiệm nội dung video bằng mạng lưới thần kinh. Lấy ví dụ, vào cuối năm 2017 đã sử dụng mạng lưới thần kinh để thay đổi thời tiết và thời gian trong ngày trên video. Một dự án khác loại nàyđược đưa ra bởi các nhà nghiên cứu từ Đại học Carnegie Melon, người đã tạo ra một mạng lưới thần kinh để áp đặt các nét mặt của một người lên khuôn mặt của người khác.