سالهای نچندان دور، ارتباط بین انسان و کامپیوتر از طریق زبان طبیعی انسان، وجود نداشت. زبان کامپیوتر، صفر و یک است. این امر بسیار سخت و دشوار بود که انسان فرامین زبان خود را به رایانه بفهماند. متن و صوت که داده های ورودی به کامپیوتر بودند؛ تبدیل به صفر و یک میشدند؛ بعد از این تبدیل، رایانه قادر به درک درخواست می شد. هوش مصنوعی با تبدیل حرف های شما به رفتار، قادر به درک خروجی خواهد شد. این درک به اساس پردازش زبان طبیعی(natural language processing) شکل میگیرد.

تعامل انسان و کامپیوتر با زبان طبیعی

پردازش زبان طبیعی(NLP)، یکی از شاخه های هوش مصنوعی است؛ که تعامل میان انسان و کامپیوتر را از طریق زبان طبیعی برقرار کرده است(خواندن، رمزگشایی، فهم و درک زبان انسان). قبلا استخراج و فهم زبان انسانی در پردازش زبان طبیعی وجود داشته است که با یادگیری ماشین انجام میگرفته است. اما پردازش زبان طبیعی به دلیل قوانین حاکم بر زبان انسان در هنگام برقراری ارتباط با دیگران و پیچیدگی بسیار آن، از نظر شناخت و فهم برای کامپیوتر دشوار است.

تعامل معمولی انسان با ماشین می تواند شامل صحبت انسان با ماشین، ضبط صدای انسان توسط ماشین، صدای انسان به متن تبدیل شود، پردازش داده های متنی توسط ماشین، تبدیل داده متنی به صوت و پاسخ ماشین به کاربر به صورت صوتی باشد.

درک درست معنای کلمات و قوانین حاکم بر ترکیب کلمات با هم، برای انسان ساده، ولی برای ماشین کار سختی است. پیاده سازی و کشف الگوریتم های که داده های ساختارنیافته زبان انسان را به داده های منظم و قابل فهم برای ماشین تبدیل نماید؛ پردازش زبان طبیعی را برای ماشین ساده میکند.

شبکه های یادگیری عمیق(Deep Learning) امکان پردازش زبان طبیعی را برای ماشین فراهم کردند. در یادگیری عمیق تمام پارامترها هایپرپارامتر هستند(پارامترهای که طراح شبکه عصبی باید با سعی و خطا بهترین مقدار را برای آن بیابدمانند تعداد لایه مخفی، تعداد نورون هر لایه، نرخ یادگیری و نوع تابع فعالیت).دقت الگوریتم به هایپرپارامترها وابسته است.

نحو یا syntax چیدمان صحیح کلمات در کنار هم و تشکیل جمله درست از نطر دستور زبانی است. پردازش زبان طبیعی از آنالیز نحوی به درک قواعد گرامری آن زبان می رسد. تکنیکهای:

• کاهش(Lemmatization)
• تقسیم بندی مورفولوژیکی(Morphological segmentation)
• تقسیم بندی واژه ها(Word segmentation)
• تشخیص نقش کلمات(Part-of-speech tagging)
• تجزیه(Parsing)
• تعیین جمله ها(Sentence breaking)
• ریشه یابی(Stemming)

روشهای مورد استفاده برای درستی جمله از نظر دستور زبان است.

درک معنای درست یک متن هدف آنالیز معنایی در پردازش زبان طبیعی است. هر چند هنوز مسائل حل نشده ای برای آنالیز معنای، پردازش زبان طبیعی برای ماشین باقی مانده است. ولی با روش های مختلف سعی می گردد. معنای درست متن کسب شود. تکنیک های که در این زمینه استفاده می شود:

• شناسایی اسامی(Named entity recognition)
• ابهام زدایی از معنای کلمات(Word sense disambiguation)
• تولید زبان طبیعی(Natural language generation)

نتیجه این تلاش ها موجب شده تا شما با گفتن جمله”برایم آهنگی از اسکینرد پخش کن” کامپیوتر دستور را شما را به انجام می رساند. پردازش زبان طبیعی نقش مهمی در روابط میان انسان و ماشین داشته است. همین تعامل باعث شده است بسیار از کارها با سهولت و دقت بهتر انجام گیرد. تحقیقات در این زمینه همچنان در حال انجام می باشد.